FutureX · Database

本期要点

· Pinot 1.6.0 发布：SQL DDL 建表，向量加 IVF 后端

· Databricks 实时模式进声明式管道并 GA，对标 Flink

· Pinecone 开源 PG 扩展 pg_pinecone

· OrioleDB 在 Supabase 公测，替换 PG 堆存储

· Brotli 漏洞波及面扩至 DuckDB 与 Apache Arrow

▎ 版本与产品发布

Apache Pinot 1.6.0 发布：SQL DDL、多维聚合与 IVF 向量索引 · olap

Apache Pinot 1.6.0 正式发布，距 RC0 进入投票不到两周。最直观的变化是表管理：经 controller 的 /sql/ddl 端点即可执行 CREATE TABLE / DROP TABLE / SHOW CREATE TABLE，物化视图也支持 DDL 和单阶段查询改写。此前 Pinot 建表主要靠 JSON table config 加 REST 调用，在易用性上一直落后于 ClickHouse、Doris 这类原生 SQL DDL 的引擎，这一版补上了这块。分析能力方面，两套查询引擎都支持了 GROUPING SETS / ROLLUP / CUBE，多阶段引擎新增流式 distinct 执行，lookup join 的规划也有改进。

向量检索在 HNSW 之外新增 IVF_FLAT、IVF_PQ、IVF_ON_DISK 三种后端，并支持过滤感知检索与半径查询。ClickHouse 的向量相似度索引目前走 HNSW 路线，Pinot 这次把 IVF 和落盘索引一并带上，面向的是内存装不下的大规模向量场景。数据类型方面新增用于演进型嵌套数据的 OPEN_STRUCT 和逻辑 UUID 类型，摄取端支持 Arrow IPC 批量写入与 BSON 输入。升级前要注意：Pinot 服务端现在要求 Java 25 及以上，Spark 连接器默认改为 Scala 2.13。[1]

Databricks：Spark 声明式管道的 Real-Time Mode 转 GA · streaming ⚠️ 厂商口径

Real-Time Mode（RTM）在 Spark Declarative Pipelines（SDP）中正式 GA。RTM 去年推出，是 Structured Streaming 引擎的演进：数据连续流动，所有查询阶段同时运行，上游产出即传给下游，不再等微批凑齐，端到端延迟做到毫秒级。这次进入 SDP 后，欺诈评分、实时告警、实时特征计算这类低延迟场景，也能沿用 SDP 自带的依赖解析、增量处理、故障恢复与数据质量约束；serverless 版本按查询实际占用的核数计费，不需要选型或配置集群。

Databricks 的定位很明确：让客户不必在 Spark 旁再维护一套 Flink。它用客户的特征计算负载做了对比，宣称 RTM 比 Flink 快最多 92%，并公开了数据集与查询仓库。不过这是厂商自己跑的基准，尚无第三方复现。[2]

Supabase：OrioleDB 存储引擎全套餐公测 · oltp ⚠️ 厂商口径

OrioleDB 在 Supabase 所有套餐开放公测，建项目时可选，计费与标准 Postgres 相同，官方明确说明暂不适合生产环境。它通过 Table Access Method（Postgres 的存储引擎插件接口）替换默认的 heap 存储。heap 的问题在于：每次更新都写入新行版本、留下 dead tuple，未改动列上的索引往往也要新增条目，再靠 autovacuum 清理；更新密集的表因此容易膨胀。连接串、RLS 与客户端库都不用改。本次公测版本为 OrioleDB beta19 + Postgres 17.11。

性能数据来自 Supabase 自建的开放基准站 DBArena：负载由 TPC-C 衍生而来，与官方 TPC-C 成绩不可比，代码与原始结果公开。在数据量为内存 4 倍的场景下，OrioleDB 在测试的每档规格上单位成本吞吐都最高；8XL（32 vCPU / 128 GiB）实例的每分钟事务数约为堆存储 Postgres 的 1.8 倍。[3]

Supabase：Multigres 私有 alpha，Postgres 三节点自动故障转移 · oltp

Multigres 由 Vitess 原班团队打造，今年 6 月以 Apache 2.0 开源 v0.1，这是它首次跑在 Supabase 平台上，目前为私有 alpha，仅向付费组织开放申请。启用后，项目在三个可用区各跑一个 Postgres 节点，自带连接池与自动故障转移。它不 fork Postgres，只在外围管理路由、复制、故障转移与备份。设计上的关键取舍是把故障转移当作共识问题处理：在同步复制之上实现通用共识协议，写入复制到足够节点后才向应用确认，提升新主节点前先确保它拥有全部已确认提交。切换期间，网关可以暂存请求，而不是直接向应用报连接错误。[4]

LanceDB v0.41.0：嵌入配置默认不信任，MemWAL 更名实时引擎 · vector

LanceDB v0.41.0 稳定版基于 Lance 14.0.2，破坏性变更较多，延续了 v0.40 系列 beta 频繁调整接口的节奏。最需要关注的是安全迁移：SentenceTransformerEmbeddings.trust_remote_code 默认改为 False，从表元数据还原远程代码模型或自定义 endpoint 时，必须在进程级显式批准，否则计算嵌入时会报 UntrustedEmbeddingConfigError。另外，原 LSM 接口先更名 MemWAL，再改为 RTE（realtime engine）；物化视图一律全量刷新；新增授权 API，多个列表接口改为惰性迭代器。本地 SQL 计算列与物化视图仍属实验特性，官方 Python/Node 包默认不开启。[5]

EDB 预览 Postgres 分片横向扩展，计划 2027 年 2 月 GA · oltp ⚠️ 厂商口径

EDB 为 EDB Postgres AI Distributed 推出横向扩展预览：用分片把事务写入分散到多个 shard group，每组沿用现有的复制、自动故障转移与可配置持久性，目标是突破单机写入上限，计划 2027 年 2 月 GA。现阶段仍是预览加路线图。[6]

其他版本动态：
· Milvus v3.0.5 [7]
· Weaviate v1.40.3（LSM store 性能修复） [8]
· Materialize v26.47.2–v26.48.2 [9]
· CockroachDB v26.2.10 / v25.4.19 / v25.2.26 [10]
· YugabyteDB 2.31.0.0 / 2025.2.9.0 / 2026.1.4.0 构建 [11]
· TiDB v26.3.22 [12]、v8.5.x 热修 [13]

▎ 数据库 × AI

Pinecone 开源 pg_pinecone，把自家向量索引搬进 Postgres · vector ⚠️ 厂商口径

独立向量数据库的代表厂商 Pinecone 以 Apache 2.0 开源了 Postgres 扩展 pg_pinecone，直接作用于 pgvector 已有的向量列，要求 PostgreSQL 17/18 且已安装 pgvector。本地运行不需要 Pinecone 账号或外部 API，也可以切到 Pinecone 托管云执行检索，Postgres 继续作为主数据库。技术上，它不走 HNSW 的图结构，而是把向量聚类后压缩存储，并在检索过程中施加过滤；pgvector 的 HNSW 通常是检索后再过滤，过滤条件严格时容易漏召回。

Pinecone 自测数据：100 万向量的索引 136 MB，pgvector HNSW 为 4.1 GB；建索引 45 秒对 79 秒；99% 召回率下延迟 2.3ms 对 6.7ms。这与 Tiger Data 本月开源的 pg_vectorsearch（以分区索引 PRISM 替代 HNSW）方向一致，Andy Pavlo 不久前也评论说向量数据库的护城河只是一个索引。现在专业向量库厂商自己把索引做成 Postgres 扩展，并以托管云作为升级路径，"Postgres 内向量检索"的竞争重心正落到索引结构本身。[14]

Bridgewater 内部知识库：4.5 亿向量上的权限感知检索 · vector ⚠️ 单方口径

对冲基金 Bridgewater 产品工程负责人 Aaron Linsky 与 turbopuffer CTO Nikhil Benesch 在播客中披露：Vault 存有 1 亿份文档，每份文档带各自的访问权限，首版检索在文档持续增加后很快失效。Benesch 分析了两种常见做法的失败方式：后过滤先取近邻再剔除无权文档，权限范围窄的用户结果会变稀甚至为空；前过滤只在用户可见子集里比对，等于对大片语料做暴力扫描，向量索引形同虚设。turbopuffer 的解法是围绕访问控制重建索引结构，称生产系统在 4.5 亿向量上做到 P90 120ms。数字出自播客口述，未见公开基准。[15]

AlloyDB AI：库内完成嵌入模型零停机升级 · vector ⚠️ 厂商口径

更换嵌入模型通常意味着全量重新生成嵌入、重建索引并迁移 schema。Google Cloud 给出了在 AlloyDB AI 内完成这套流程的做法，示例把 text-embedding-005（768 维）换成 gemini-embedding-001（3072 维）：模型端点管理在库内调用模型，auto embeddings 在后台生成新向量（宣称最高 3000 条/秒）；再配合并发建索引、集合返回函数和原子列重命名，实现蓝绿或金丝雀式切换。官方另称 ScaNN 建索引比开源 HNSW 快 10 倍。[16]

腾讯灯塔 AI 对外开放：自然语言问数，直连 ClickHouse / StarRocks · ai-native ⚠️ 厂商口径

腾讯内部 BI 平台"腾讯灯塔"升级为 AI 数据分析套件并对外开放，提供自然语言生成看板、归因分析、指标监控与推送，数据库与数仓支持 MySQL、StarRocks、PostgreSQL、ClickHouse，也可以用 MCP 接入企业内部系统。值得关注的是隐私设计：大模型推理时只接触字段名、类型等元数据，真实数值通过占位符回填，不交给模型读取。至于"运营看板从 4-6 个工作日缩到 2 小时内"等效率数字，均为腾讯自述的案例。[17]

▎ 湖仓 · 开放表格式 · HTAP

MiniLake：在笔记本上模拟 Databricks API，DuckDB 执行 SQL · lakehouse

开源项目 MiniLake 在本地模拟 Databricks REST API，databricks-sdk、CLI、Terraform、Asset Bundles 指向 localhost 即可使用，不需要账号，也不产生云账单。它不是返回假数据的桩：SQL 在 DuckDB 上真实执行，每个 catalog 对应一个 DuckDB 库文件；外部表写成真正的 Parquet 加 _delta_log，写操作经真实 Spark 作业完成，读取走 DuckDB 的 delta_scan()；Spark 通过官方 UCSingleCatalog 连接器解析表名。它还内置 67 个 MCP 工具供 agent 调用，超出支持范围的接口明确返回 501。在 HN 获 94 分。[18]

▎ 技术 · 架构 · 性能基准

TimescaleDB 自适应整数压缩 AIC：为读路径重做整数编码 · olap ⚠️ 厂商口径

Tiger Data 介绍了将取代 DeltaDelta 的 Adaptive Integer Compression（AIC）。DeltaDelta 存储相邻差值的差值，再用 Simple8bRLE 打包进 64 位块；它适合平稳递增的时序整数，但真实表里还有状态码、外键、多来源交错写入和小批次数据，而且 64 位块容纳的值太少，用不上 SIMD，解压偏慢。AIC 对每块最多 256 个值从 6 种编码中挑选，候选只限解压快的编码。官方测试中数据库整体小约 10%，典型查询快约 50%。AIC 在 2.31.0 作为预览默认关闭，计划在 2.32.0 默认开启。[19]

Brotli 解码器漏洞影响面扩大：DuckDB、Apache Arrow 在列

CVE-2026-111497 的后续排查显示，捆绑了有漏洞 Brotli 代码的项目除 ClickHouse 外，还包括 DuckDB、Apache Arrow、MuPDF、libjxl 等。研究演示了单个恶意请求即可远程打崩 ClickHouse，Arrow 会陷入死循环导致拒绝服务。另外，经由 JPEG XL 元数据也能触达漏洞，攻击面从 Web 流量扩展到文件处理流程。所有会自动解压外部内容的数据管道都应核对依赖版本。[20]

LIGHT：用动态图注意力做 learned join order 选择

期刊 Data Science and Engineering 的一篇论文提出 LIGHT：把查询建成以表为节点、以连接谓词为边的图，用动态图注意力捕捉表间依赖，针对 Balsa、RTOS 等强化学习优化器奖励波动大、容易陷入局部最优的问题做了改进。作者称它在 JOB 与 TPC-DS 上的执行性能优于 PostgreSQL 原生优化器和多种 learned optimizer，但报道未给出具体加速倍数。[21]

▎ 融资 · 并购 · 商业化

KineDB｜Pre-seed｜85 万欧元 · oltp

芬兰数据库初创 KineDB 完成 85 万欧元 pre-seed 融资，由 Superhero Capital 领投，NGL Ventures 及多位天使跟投。它在做一个通用数据库，同一个引擎既嵌在应用本地离线运行，又部署在后端云端，不再拆成离线库与云端库两套系统。首批瞄准网络不稳定的行业，比如井下采矿作业离线记录、联网后同步。资金主要用于招聘数据库、存储与查询引擎工程师。[22]

▎ 云厂商 · 生态 · 监管

Databricks 为 serverless 补齐成本管控 · cloud

Databricks 称其 serverless 计算用量过去一年增长超过 3 倍，现在把 SQL 与 Model Serving 已有的成本管控扩展到 notebook、作业与管道：classic 计算靠节点数和集群策略控费，serverless 则改为按人和工作负载控制。三件工具中，用于成本归属的计算标签处于 Beta，基于系统表的预算告警与成本看板已经可用，第三项尚未上线。serverless 渗透率提高之后，平台团队对可预测账单的要求也随之上升。[23]

来源链接

[1] 〔来源〕Apache Pinot ｜ 10月29日 08:23 https://github.com/apache/pinot/releases/tag/release-1.6.0

[2] 〔来源〕Databricks ｜ 10月30日 06:48 https://www.databricks.com/blog/announcing-general-availability-real-time-mode-spark-declarative-pipelines-databricks

[3] 〔来源〕Supabase ｜ 10月28日 https://supabase.com/blog/orioledb-public-beta

[4] 〔来源〕Supabase ｜ 10月29日 https://supabase.com/blog/multigres-private-alpha

[5] 〔来源〕LanceDB ｜ 10月29日 16:12 https://github.com/lancedb/lancedb/releases/tag/v0.41.0

[6] 〔2 方报道〕VMblog；PR Newswire ｜ 10月30日 03:16 https://vmblog.com/news/edb-previews-horizontal-scaling-so-mission-critical-postgres-grows-with-every-customer-and-every-agent/

[7] 〔来源〕Milvus https://github.com/milvus-io/milvus/releases/tag/v3.0.5 https://github.com/milvus-io/milvus/releases/tag/pkg%2Fv3.0.5

[8] 〔来源〕Weaviate https://github.com/weaviate/weaviate/releases/tag/v1.40.3

[9] 〔来源〕Materialize https://github.com/MaterializeInc/materialize/releases/tag/v26.47.2 https://github.com/MaterializeInc/materialize/releases/tag/v26.48.0

[10] 〔来源〕CockroachDB https://github.com/cockroachdb/cockroach/releases/tag/v26.2.10 https://github.com/cockroachdb/cockroach/releases/tag/v25.4.19

[11] 〔来源〕YugabyteDB https://github.com/yugabyte/yugabyte-db/releases/tag/2.31.0.0-b621 https://github.com/yugabyte/yugabyte-db/releases/tag/2.31.0.0-b620

[12] 〔来源〕TiDB https://github.com/pingcap/tidb/releases/tag/v26.3.22

[13] 〔来源〕TiDB https://github.com/pingcap/tidb/releases/tag/v8.5.4-20261028-921338b https://github.com/pingcap/tidb/releases/tag/v8.5.7-20261028-89fe0b9

[14] 〔来源〕Techzine Global ｜ 约10月28日 https://www.techzine.eu/news/applications/145341/pinecone-brings-its-own-vector-search-technology-to-postgresql/

[15] 〔来源〕BigGo Finance ｜ 约10月26日 https://finance.biggo.com/news/ace4d50ae6d5df8f

[16] 〔来源〕Google Cloud ｜ 10月29日 03:31 https://cloud.google.com/blog/products/databases/upgrade-embedding-models-in-alloydb-ai-with-zero-downtime

[17] 〔来源〕AIBase ｜ 10月29日 11:03 https://news.aibase.com/zh/news/31950

[18] 〔来源〕dmux.github.io ｜ 10月27日 22:12 https://dmux.github.io/minilake/

[19] 〔来源〕TimescaleDB ｜ 10月29日 20:02 https://www.tigerdata.com/blog/adaptive-integer-compression-aic-in-timescaledb

[20] 〔来源〕Field Effect ｜ 10月29日 03:53 https://fieldeffect.com/blog/update-brotli-flaw-exposure-expands

[21] 〔来源〕Bioengineer.org ｜ 10月29日 09:02 https://bioengineer.org/new-ai-network-picks-faster-join-orders-for-database-queries/

[22] 〔来源〕Tech.eu ｜ 10月29日 15:01 https://tech.eu/2026/10/29/kinedb-raises-eur850k-to-rebuild-database-infrastructure-as-ai-reshapes-software-development/

[23] 〔来源〕Databricks ｜ 10月29日 23:19 https://www.databricks.com/blog/smarter-cost-controls-serverless

FutureX · 记录未来如何发生

素材来源多方媒体/网络新闻