FutureX · Database

本周要点

· Supabase 称新建库 70% 由 agent 创建,并收购 Turso,把 SQLite 和 Postgres 接成一条路径

· 向量库与通用库两头靠拢:Lakebase 把向量装进 Postgres,turbopuffer v3 把 ANN 降为二级索引

· Iceberg REST 规范合入 read-restrictions,多引擎直读开放表时的细粒度权限有了标准

▎ agent 批量建库已占多数,Supabase 用收购 Turso 把「SQLite 还是 Postgres」变成先后关系

Supabase 10 月 2 日宣布获得 1.5 亿美元新一轮融资,由 GIC 领投,距上一轮 5 亿美元 Series F 只有四个月;同时宣布收购 Turso。Turso 用 Rust 重写了 SQLite,单台服务器能管理数百万个按需加载、按需挂起的库。Supabase 自报每月新增约 400 万个数据库,其中 70% 由 agent 或 AI 工具创建。9 月 27 日一期记录的阿里云数据是 RDS PostgreSQL 新增实例约 80% 由 agent 创建。两个数字都是公司口径,分母也不同(一个是全平台新建库,一个是单一产品的新实例),不能直接比较高低,但方向一致。

9 月 20 日那期的判断是「agent 该配什么数据库,出现三种互斥答案」。Supabase 本周的做法是不再二选一:小而随开随用的负载放 SQLite,业务长大后转 Postgres,Turso 继续独立运营。同场 Select 大会的发布也围绕 agent 展开:Declarative Schemas 2.0 让 agent 只改 SQL schema 文件,迁移由 pg-delta 生成;应用可以自带 MCP server,agent 以登录用户的身份访问数据。另外,由 Vitess 团队打造的 Multigres 目前为私有 alpha,官方明确说不适合生产负载。

同周其他厂商面对的是同一个约束:短命的库很多,负载会突然冲高,但各家解法不同。pgEdge Starfleet 为每个实验开一个 copy-on-write 分支,并有意不提供 merge。Neon 称 Lakebase 按时间点建分支来做恢复,100 TB 的库也能秒级完成。MongoDB 则用 Atlas Infinite 把计算和存储解耦、分开计价,内部测试称每美元吞吐比 Atlas Core 高 189%。以上都是厂商架构说明或自测,未见独立实测。来源:Supabase、PR Newswire、pgEdge、Neon、The Register

▎ 向量检索正在退化成「一种索引」:Postgres 往里装,向量库往外拆

Databricks 给 Lakebase Postgres 推出 lakebase_vector 与 lakebase_text(BM25)两个扩展,已在 AWS 和 Azure GA。官方宣称在 VectorDBBench 100M 上吞吐是次优系统的 2 倍,P99 延迟 71 ms(召回率 97%),这些都是自测数字。它的立论点是 pgvector 的内存瓶颈:1 亿行 768 维向量需要约 330 GB 内存,索引溢出到磁盘后会慢 10–50 倍。

turbopuffer 从相反方向得出了同样的结论。v3 之前,它的所有索引都以 ANN 聚类地址为中心,连属性过滤的倒排索引也指向聚类 ID,官方称这种结构已经限制了 GROUP BY 和聚合。v3 换了一个新的主索引,让 ANN 与文本、正则等索引并列,目标是承接更多 SQL 查询。它的客户用法也已从 Cursor、Notion 式检索扩展到 Linear 同步引擎这类非搜索场景。目前只是路线说明,没有性能数字。

两家都把「向量优先」的布局看作瓶颈:一家从通用库一侧补上向量和 BM25,一家从向量库一侧补上通用查询。9 月 27 日一期报道了 PlanetScale Tin GA,全文检索回到库内;本周 Lakebase 把向量和 BM25 一起放进了 Postgres。专用向量库仍在拼内存效率:Weaviate v1.40.0-rc.2 加入 RQ-4 量化,这与上周 Pinterest 靠量化降本的思路一致。来源:Databricks、Unite.AI、turbopuffer、Weaviate

▎ 直读 Iceberg 的引擎越来越多,本周补上的是权限和 egress 两笔账

本周至少三个产品在扩大对开放表的直读。Aurora PostgreSQL 内嵌了 DuckDB,可以通过 Glue 联邦接入 Iceberg REST Catalog,在一条 SQL 里把实时事务数据和 S3 上的 Iceberg/Parquet 历史数据关联起来。AWS 说明这是 9 月 18 日收编 DuckLabs 团队后的首个落地产品。Cloudflare Basin 正式 GA,把数据以 Iceberg 格式存在 R2 上,Snowflake、Spark、DuckDB 可以直接读取,且不收 egress 费,但报道没有写明它的查询引擎和性能数字。ClickHouse 与 Microsoft 扩大合作,涉及 Fabric 集成和 OneLake 互通,具体形态还要等官方细节。

直读越普遍,权限缺口就越明显:此前 catalog 只能整表放行或拒绝,需要细粒度治理的用户只能退回厂商私有客户端或代理。Google 的作者撰文说明,REST Catalog 规范已合入可选的 read-restrictions 字段:loadTable 响应可以附带行过滤和列脱敏规则,行过滤先对原始值求值,再做脱敏。规范还要求,引擎遇到无法执行的规则时必须让查询失败,不能静默返回原始数据。按 Dremio 的版本解读,1.12.0 已包含这项改动。但这还只是规范层面的合并,各引擎的实现进度尚未公布。

同周,S3 Tables 补齐了 Iceberg V3 的全部数据类型,并支持 V2 表原地升级。deletion vectors 用紧凑的二进制位图取代大量小删除文件,row lineage 让下游不必全表扫描就能找到变更行。来源:AWS、SiliconANGLE、CFOtech、Techzine、Business Wire、Google Open Source Blog、Dremio

▎ 短讯

Snowflake 工程博客称,Adaptive Warehouses 用 delta 文件加 bitmap 处理稀疏修改,DELETE/UPDATE/MERGE 最高快 13.7 倍;这是自家基准,基线未经第三方验证。另外,Snowflake 拟私募发行 35 亿美元 0.00% 可转债,股价当日跌约 4%。

DuckDB 发布 v1.5.6。官方给出的 2.0-dev 预览数据是:在 Windows 上跑 TPC-H SF300,热运行总耗时从 822 秒降到 129 秒,主要归因于换用 clang-cl 编译器和新的内存分配器,官方也提醒这个倍数不会推广到所有负载。

MongoDB 9.0 宣称相比 8.0,find-one 最高快 35%、update-one 最高快 30%,并支持对加密数据做前缀、后缀和子串搜索;性能数字均为内部测试。

Aurora DSQL 支持了外键约束:事务按起始快照校验被引用行,不加锁;提交时检测并发冲突,冲突则报 serialization error,所以应用需要准备重试逻辑。

Databricks 的 ai_decide(Beta)和 Neon 的 pg_redact 都基于 TypeSafe AI 的决策模型 Jev,用直接输出概率或选项的分类式判断代替生成式 LLM;同周的 JEVDB 论文也走同一路线,但 Databricks 没有给出延迟和成本数字。

上期看点回看

· 有进展|PostgreSQL 19 RC:pgsql-hackers 公布的排期是 10 月 15 日发 RC1,晚于原观察窗口「10 月上旬」。

· 已发生|PostgreSQL 19 GA 日期已排定为 10 月 29 日。

· 已发生|Apache Iceberg 1.12.0 已于 9 月底正式发布。

· 已发生|read-restrictions 已合入 REST Catalog 规范,按 Dremio 的解读已随 1.12.0 发布;引擎侧实现尚未见到。

· 未见更新|Elastic「比 ClickHouse 快 8 倍」:本周没有看到第三方复现,也没有看到 ClickHouse 给出回应数据。

· 有进展|Weaviate v1.40.0:9 月 30 日发布 rc.2,功能已完备,正式版尚未发布。

· 未见更新|Rubrik Iceberg Protection:原定 9 月内 GA,期限已过,未见 GA 公告;已披露的目录覆盖仍只有 Glue 和 S3 Tables。

· 待到期|DuckDB v2.0 正式版:9 月 28 日的 v1.5.6 博文重申 v2.0.0 在 10 月发布。

下周看点

· Snowflake 35 亿美元可转债是否公布最终定价(转换价、规模)和资金用途。

· ClickHouse 是否公布 Fabric 集成和 OneLake 互通的具体产品形态与上线时间。

· Spark、Trino、DuckDB 等引擎是否出现支持 Iceberg read-restrictions 的实现,以及是否按规范在无法执行规则时让查询失败。

· PostgreSQL 19 RC1:10 月 15 日,GA 排期 10 月 29 日。

· Weaviate v1.40.0 由 rc 转为正式版(上期看点,未到期)。

· DuckDB v2.0 正式版:10 月下半月(上期看点,未到期)。

FutureX · 记录未来如何发生

素材来源多方媒体/网络新闻