Los protocolos tradicionales de bases de datos, diseñados antes de la era del big data, presentan limitaciones significativas para la gestión de grandes volúmenes de información. Muchos de estos protocolos envían resultados fila por fila, repitiendo datos como nombres y tipos de columnas en cada registro, lo que genera un «mensaje inflado» ineficiente. Así lo explica Guillermo Sánchez Dionis, líder de producto en DuckLabs, que destaca cómo este método supone una sobrecarga considerable cuando se manejan resultados extensos.
Para superar estos obstáculos, DuckDB ha desarrollado Quack, un nuevo protocolo basado en HTTP que transmite los resultados de consulta en bloques de datos columnares a medida que se generan. Después de una fase de previsualización lanzada en mayo, Quack salió a producción en octubre como parte del lanzamiento de DuckDB 2.0.0 LTS.
Durante un episodio reciente del podcast The New Stack, grabado en la sede de DuckLabs en Ámsterdam, Sánchez Dionis detalló cómo esta innovación permite a los desarrolladores comenzar a trabajar con los resultados antes de que la consulta haya terminado de ejecutarse, mejorando la eficiencia y la experiencia de usuario.
Un protocolo de base de datos es el conjunto de normas y formatos que regulan la comunicación entre una aplicación cliente y un servidor de base de datos. Sirve como lenguaje especializado para enviar consultas SQL, recibir tablas de datos estructurados y gestionar transacciones a través de la red, incluyendo aspectos como la conexión, autenticación, serialización de datos y manejo de errores.
No obstante, muchos de estos protocolos fueron concebidos para sistemas anteriores a la explosión de datos masivos y están basados en la serialización de filas. Esto implica que información repetitiva, como tipos y nombres de columnas, se adjunta a cada fila, lo que hace que el mensaje se vuelva pesado y poco adecuado para sistemas analíticos modernos.
Si bien los protocolos han evolucionado para aprovechar estructuras columnares, todavía suelen enviar valores individualmente o emplear métodos poco eficientes. El objetivo actual es utilizar ejecuciones vectorizadas y formatos columnar de datos más óptimos que puedan transmitirse de forma eficaz a través de la red.
Quack adopta un enfoque diferente y altamente eficiente. Al ser un protocolo cliente/servidor basado en HTTP, su primera versión estable forma parte de DuckDB 2.0.0 desde el 21 de octubre. Entre las novedades que ofrece para mejorar la experiencia de los desarrolladores destacan:
- El comando CONNECT permite conectar y consultar un servidor remoto Quack mediante comandos SQL estándar.
- El parámetro -serve en la línea de comandos inicia instantáneamente un servidor Quack, mientras que -connect permite establecer conexión con uno ya activo.
- Soporte para múltiples clientes escribiendo simultáneamente en la misma base de datos, gestionando las transacciones con el control de concurrencia Multiversión (MVCC) de DuckDB.
Sánchez Dionis explica que Quack utiliza los «data chunks» de DuckDB, su forma de representar datos en columnas, y los serializa de manera eficiente gracias a su motor vectorizado. Otro punto clave es que transmite los resultados de forma continua en streaming, sin esperar a que la consulta finalice por completo para enviar todos los datos agrupados.
Esta estrategia permite que el cliente reciba y utilice los resultados mientras el motor sigue procesando la consulta, agilizando el flujo de trabajo y reduciendo notablemente el consumo de memoria. Según Sánchez Dionis, esta característica es la mayor ventaja de Quack, ya que mantiene una huella muy ligera en los recursos del sistema.
Además, Quack es fácil de instalar y utilizar, permitiendo incluso que diferentes clientes en la misma máquina interactúen entre sí a través del protocolo. La escalabilidad queda en manos del equipo de desarrollo, que puede desplegar tantos servidores DuckDB como necesite, con un impacto mínimo en la infraestructura.
El equipo de DuckLabs sigue mejorando Quack, con actualizaciones previstas en las futuras versiones parche de DuckDB 2.0, enfocadas en aumentar la estabilidad del servidor y consolidar esta nueva forma de comunicación para bases de datos analíticas.