数据库行业日报
本期要点
· Pinot 1.6.0 发布:SQL DDL 建表,向量加 IVF 后端
· Databricks 实时模式进声明式管道并 GA,对标 Flink
· Pinecone 开源 PG 扩展 pg_pinecone
· OrioleDB 在 Supabase 公测,替换 PG 堆存储
· Brotli 漏洞波及面扩至 DuckDB 与 Apache Arrow
版本与产品发布
Apache Pinot 1.6.0 发布:SQL DDL、多维聚合与 IVF 向量索引 · olap
Apache Pinot 1.6.0 正式发布,距 RC0 进入投票不到两周。最直观的变化是表管理:经 controller 的 /sql/ddl 端点即可执行 CREATE TABLE / DROP TABLE / SHOW CREATE TABLE,物化视图也支持 DDL 和单阶段查询改写。此前 Pinot 建表主要靠 JSON table config 加 REST 调用,在易用性上一直落后于 ClickHouse、Doris 这类原生 SQL DDL 的引擎,这一版补上了这块。分析能力方面,两套查询引擎都支持了 GROUPING SETS / ROLLUP / CUBE,多阶段引擎新增流式 distinct 执行,lookup join 的规划也有改进。
向量检索在 HNSW 之外新增 IVF_FLAT、IVF_PQ、IVF_ON_DISK 三种后端,并支持过滤感知检索与半径查询。ClickHouse 的向量相似度索引目前走 HNSW 路线,Pinot 这次把 IVF 和落盘索引一并带上,面向的是内存装不下的大规模向量场景。数据类型方面新增用于演进型嵌套数据的 OPEN_STRUCT 和逻辑 UUID 类型,摄取端支持 Arrow IPC 批量写入与 BSON 输入。升级前要注意:Pinot 服务端现在要求 Java 25 及以上,Spark 连接器默认改为 Scala 2.13。[1]
Databricks:Spark 声明式管道的 Real-Time Mode 转 GA · streaming ⚠️ 厂商口径
Real-Time Mode(RTM)在 Spark Declarative Pipelines(SDP)中正式 GA。RTM 去年推出,是 Structured Streaming 引擎的演进:数据连续流动,所有查询阶段同时运行,上游产出即传给下游,不再等微批凑齐,端到端延迟做到毫秒级。这次进入 SDP 后,欺诈评分、实时告警、实时特征计算这类低延迟场景,也能沿用 SDP 自带的依赖解析、增量处理、故障恢复与数据质量约束;serverless 版本按查询实际占用的核数计费,不需要选型或配置集群。
Databricks 的定位很明确:让客户不必在 Spark 旁再维护一套 Flink。它用客户的特征计算负载做了对比,宣称 RTM 比 Flink 快最多 92%,并公开了数据集与查询仓库。不过这是厂商自己跑的基准,尚无第三方复现。[2]
Supabase:OrioleDB 存储引擎全套餐公测 · oltp ⚠️ 厂商口径
OrioleDB 在 Supabase 所有套餐开放公测,建项目时可选,计费与标准 Postgres 相同,官方明确说明暂不适合生产环境。它通过 Table Access Method(Postgres 的存储引擎插件接口)替换默认的 heap 存储。heap 的问题在于:每次更新都写入新行版本、留下 dead tuple,未改动列上的索引往往也要新增条目,再靠 autovacuum 清理;更新密集的表因此容易膨胀。连接串、RLS 与客户端库都不用改。本次公测版本为 OrioleDB beta19 + Postgres 17.11。
性能数据来自 Supabase 自建的开放基准站 DBArena:负载由 TPC-C 衍生而来,与官方 TPC-C 成绩不可比,代码与原始结果公开。在数据量为内存 4 倍的场景下,OrioleDB 在测试的每档规格上单位成本吞吐都最高;8XL(32 vCPU / 128 GiB)实例的每分钟事务数约为堆存储 Postgres 的 1.8 倍。[3]
Supabase:Multigres 私有 alpha,Postgres 三节点自动故障转移 · oltp
Multigres 由 Vitess 原班团队打造,今年 6 月以 Apache 2.0 开源 v0.1,这是它首次跑在 Supabase 平台上,目前为私有 alpha,仅向付费组织开放申请。启用后,项目在三个可用区各跑一个 Postgres 节点,自带连接池与自动故障转移。它不 fork Postgres,只在外围管理路由、复制、故障转移与备份。设计上的关键取舍是把故障转移当作共识问题处理:在同步复制之上实现通用共识协议,写入复制到足够节点后才向应用确认,提升新主节点前先确保它拥有全部已确认提交。切换期间,网关可以暂存请求,而不是直接向应用报连接错误。[4]
LanceDB v0.41.0:嵌入配置默认不信任,MemWAL 更名实时引擎 · vector
LanceDB v0.41.0 稳定版基于 Lance 14.0.2,破坏性变更较多,延续了 v0.40 系列 beta 频繁调整接口的节奏。最需要关注的是安全迁移:SentenceTransformerEmbeddings.trust_remote_code 默认改为 False,从表元数据还原远程代码模型或自定义 endpoint 时,必须在进程级显式批准,否则计算嵌入时会报 UntrustedEmbeddingConfigError。另外,原 LSM 接口先更名 MemWAL,再改为 RTE(realtime engine);物化视图一律全量刷新;新增授权 API,多个列表接口改为惰性迭代器。本地 SQL 计算列与物化视图仍属实验特性,官方 Python/Node 包默认不开启。[5]
EDB 预览 Postgres 分片横向扩展,计划 2027 年 2 月 GA · oltp ⚠️ 厂商口径
EDB 为 EDB Postgres AI Distributed 推出横向扩展预览:用分片把事务写入分散到多个 shard group,每组沿用现有的复制、自动故障转移与可配置持久性,目标是突破单机写入上限,计划 2027 年 2 月 GA。现阶段仍是预览加路线图。[6]
其他版本动态:Milvus v3.0.5 [7];Weaviate v1.40.3(LSM store 性能修复) [8];Materialize v26.47.2–v26.48.2 [9];CockroachDB v26.2.10 / v25.4.19 / v25.2.26 [10];YugabyteDB 2.31.0.0 / 2025.2.9.0 / 2026.1.4.0 构建 [11];TiDB v26.3.22 [12]、v8.5.x 热修 [13]
数据库 × AI
Pinecone 开源 pg_pinecone,把自家向量索引搬进 Postgres · vector ⚠️ 厂商口径
独立向量数据库的代表厂商 Pinecone 以 Apache 2.0 开源了 Postgres 扩展 pg_pinecone,直接作用于 pgvector 已有的向量列,要求 PostgreSQL 17/18 且已安装 pgvector。本地运行不需要 Pinecone 账号或外部 API,也可以切到 Pinecone 托管云执行检索,Postgres 继续作为主数据库。技术上,它不走 HNSW 的图结构,而是把向量聚类后压缩存储,并在检索过程中施加过滤;pgvector 的 HNSW 通常是检索后再过滤,过滤条件严格时容易漏召回。
Pinecone 自测数据:100 万向量的索引 136 MB,pgvector HNSW 为 4.1 GB;建索引 45 秒对 79 秒;99% 召回率下延迟 2.3ms 对 6.7ms。这与 Tiger Data 本月开源的 pg_vectorsearch(以分区索引 PRISM 替代 HNSW)方向一致,Andy Pavlo 不久前也评论说向量数据库的护城河只是一个索引。现在专业向量库厂商自己把索引做成 Postgres 扩展,并以托管云作为升级路径,"Postgres 内向量检索"的竞争重心正落到索引结构本身。[14]
Bridgewater 内部知识库:4.5 亿向量上的权限感知检索 · vector ⚠️ 单方口径
对冲基金 Bridgewater 产品工程负责人 Aaron Linsky 与 turbopuffer CTO Nikhil Benesch 在播客中披露:Vault 存有 1 亿份文档,每份文档带各自的访问权限,首版检索在文档持续增加后很快失效。Benesch 分析了两种常见做法的失败方式:后过滤先取近邻再剔除无权文档,权限范围窄的用户结果会变稀甚至为空;前过滤只在用户可见子集里比对,等于对大片语料做暴力扫描,向量索引形同虚设。turbopuffer 的解法是围绕访问控制重建索引结构,称生产系统在 4.5 亿向量上做到 P90 120ms。数字出自播客口述,未见公开基准。[15]
AlloyDB AI:库内完成嵌入模型零停机升级 · vector ⚠️ 厂商口径
更换嵌入模型通常意味着全量重新生成嵌入、重建索引并迁移 schema。Google Cloud 给出了在 AlloyDB AI 内完成这套流程的做法,示例把 text-embedding-005(768 维)换成 gemini-embedding-001(3072 维):模型端点管理在库内调用模型,auto embeddings 在后台生成新向量(宣称最高 3000 条/秒);再配合并发建索引、集合返回函数和原子列重命名,实现蓝绿或金丝雀式切换。官方另称 ScaNN 建索引比开源 HNSW 快 10 倍。[16]
腾讯灯塔 AI 对外开放:自然语言问数,直连 ClickHouse / StarRocks · ai-native ⚠️ 厂商口径
腾讯内部 BI 平台"腾讯灯塔"升级为 AI 数据分析套件并对外开放,提供自然语言生成看板、归因分析、指标监控与推送,数据库与数仓支持 MySQL、StarRocks、PostgreSQL、ClickHouse,也可以用 MCP 接入企业内部系统。值得关注的是隐私设计:大模型推理时只接触字段名、类型等元数据,真实数值通过占位符回填,不交给模型读取。至于"运营看板从 4-6 个工作日缩到 2 小时内"等效率数字,均为腾讯自述的案例。[17]
湖仓 · 开放表格式 · HTAP
MiniLake:在笔记本上模拟 Databricks API,DuckDB 执行 SQL · lakehouse
开源项目 MiniLake 在本地模拟 Databricks REST API,databricks-sdk、CLI、Terraform、Asset Bundles 指向 localhost 即可使用,不需要账号,也不产生云账单。它不是返回假数据的桩:SQL 在 DuckDB 上真实执行,每个 catalog 对应一个 DuckDB 库文件;外部表写成真正的 Parquet 加 _delta_log,写操作经真实 Spark 作业完成,读取走 DuckDB 的 delta_scan();Spark 通过官方 UCSingleCatalog 连接器解析表名。它还内置 67 个 MCP 工具供 agent 调用,超出支持范围的接口明确返回 501。在 HN 获 94 分。[18]
技术 · 架构 · 性能基准
TimescaleDB 自适应整数压缩 AIC:为读路径重做整数编码 · olap ⚠️ 厂商口径
Tiger Data 介绍了将取代 DeltaDelta 的 Adaptive Integer Compression(AIC)。DeltaDelta 存储相邻差值的差值,再用 Simple8bRLE 打包进 64 位块;它适合平稳递增的时序整数,但真实表里还有状态码、外键、多来源交错写入和小批次数据,而且 64 位块容纳的值太少,用不上 SIMD,解压偏慢。AIC 对每块最多 256 个值从 6 种编码中挑选,候选只限解压快的编码。官方测试中数据库整体小约 10%,典型查询快约 50%。AIC 在 2.31.0 作为预览默认关闭,计划在 2.32.0 默认开启。[19]
Brotli 解码器漏洞影响面扩大:DuckDB、Apache Arrow 在列
CVE-2026-111497 的后续排查显示,捆绑了有漏洞 Brotli 代码的项目除 ClickHouse 外,还包括 DuckDB、Apache Arrow、MuPDF、libjxl 等。研究演示了单个恶意请求即可远程打崩 ClickHouse,Arrow 会陷入死循环导致拒绝服务。另外,经由 JPEG XL 元数据也能触达漏洞,攻击面从 Web 流量扩展到文件处理流程。所有会自动解压外部内容的数据管道都应核对依赖版本。[20]
LIGHT:用动态图注意力做 learned join order 选择
期刊 Data Science and Engineering 的一篇论文提出 LIGHT:把查询建成以表为节点、以连接谓词为边的图,用动态图注意力捕捉表间依赖,针对 Balsa、RTOS 等强化学习优化器奖励波动大、容易陷入局部最优的问题做了改进。作者称它在 JOB 与 TPC-DS 上的执行性能优于 PostgreSQL 原生优化器和多种 learned optimizer,但报道未给出具体加速倍数。[21]
融资 · 并购 · 商业化
KineDB|Pre-seed|85 万欧元 · oltp
芬兰数据库初创 KineDB 完成 85 万欧元 pre-seed 融资,由 Superhero Capital 领投,NGL Ventures 及多位天使跟投。它在做一个通用数据库,同一个引擎既嵌在应用本地离线运行,又部署在后端云端,不再拆成离线库与云端库两套系统。首批瞄准网络不稳定的行业,比如井下采矿作业离线记录、联网后同步。资金主要用于招聘数据库、存储与查询引擎工程师。[22]
云厂商 · 生态 · 监管
Databricks 为 serverless 补齐成本管控 · cloud
Databricks 称其 serverless 计算用量过去一年增长超过 3 倍,现在把 SQL 与 Model Serving 已有的成本管控扩展到 notebook、作业与管道:classic 计算靠节点数和集群策略控费,serverless 则改为按人和工作负载控制。三件工具中,用于成本归属的计算标签处于 Beta,基于系统表的预算告警与成本看板已经可用,第三项尚未上线。serverless 渗透率提高之后,平台团队对可预测账单的要求也随之上升。[23]