FutureX · Database

本周要点

· PostgreSQL 19 GA 推迟到约 11 月 19 日,SQL/PGQ 等 8–10 项功能撤回

· Snowflake 用 pg_lake 把 Postgres 到数仓这一跳收进平台,中间层用 Iceberg

· EMR、BigQuery 和 pg_lake 同一周都在 catalog 层统一多种表格式

· 语义 SQL 产品陆续转正,论文测得 temperature 0 重跑最多 10.2% 行输出改变

▎ PostgreSQL 19 推迟三周,本周 Postgres 生态的新能力来自扩展和托管服务

PostgreSQL 19 RC1 按期在 10 月 15 日发布,GA 却从 10 月 29 日改到约 11 月 19 日,之前还要在 11 月 12 日加发一个 RC2。全球开发组撤回了 8–10 项重要功能,顺延到 PostgreSQL 20,其中包括 SQL/PGQ 属性图查询。

核心 committer Peter Eisentraut 解释了两层原因。一是部分功能有架构缺陷,在 beta 期内修不好。二是 LLM 辅助审查一次列出约 40 个边界缺陷,每个都不严重,但每个都有固定的处理开销,加起来就把发布前的时间用完了。他特别说明这与 vibe coding 无关:这些功能大多写于 LLM 审查成熟之前,是质量门槛在功能提交之后被抬高了。

同一周里,Postgres 一侧能看到的新能力都没有经过核心版本。pg_vectorsearch(alpha)和 pg_lake 3.5 是扩展;Neon Realtime 公测是托管服务里的 live query;TiDB Cloud Starter 公测 PostgreSQL 兼容、CedarDB 选择兼容 Postgres,都是在协议层接入。这几条路径各按自己的节奏发布。真正被推迟拖住的,是要跟进 19 大版本的 Aurora、AlloyDB 等托管服务和各类 wire 兼容系统。来源:The Register、PostgreSQL 全球开发组、Neon、PingCAP

▎ 「应用库→分析库」这段管道正被平台收进来,Snowflake 的中间层是 pg_lake 写出的 Iceberg

Snowflake Postgres data mirroring 本周 GA。它用 logical replication 捕获增删改,由 pg_lake 写入 Iceberg 变更日志表,Snowflake 一侧再按源事务边界整体推进。文档给的延迟约 30 秒,目前只支持 Postgres→Snowflake 单向。

10 月 13 日日报报道的 pg_lake 3.5 是同一组件的另一面。它不再绑定 Polaris 的 URL 布局,可以经 Lakekeeper、Nessie 等 REST catalog 读 Iceberg,但写入仍只支持 Polaris。也就是说,pg_lake 的读路径已经向多种 catalog 开放,写路径和镜像仍留在 Snowflake 自家体系里。

对照来看,ClickHouse 走的是同一条路:PeerDB 并入 ClickPipes 后提供 Postgres CDC,区别在于 Snowflake 的中间格式是开放表。反方向的做法这周也有两例。Stripe Data Pipeline 实时同步进 Postgres,Neon 可以一键直连,支付数据和应用数据在同一个库里 join。CedarDB 则主张用一个 Postgres 兼容引擎同时承载事务和分析。前一种把数据搬去分析库,后两种把数据收在应用库这边,争夺的是同一段管道。来源:Snowflake、Neon、TechCrunch

▎ 三朵云同周在 catalog 层统一多格式,备份厂商随即把 catalog 当作要单独恢复的对象

AWS EMR 8.1.0 的 RedirectingSessionCatalog 让 Iceberg、Hudi、Delta、Hive 共用一个 catalog,跨账号 join 不用复制数据,这些能力需手动开启。Google borderless Lakehouse 一批功能 GA:BigQuery 支持 Iceberg V3(deletion vectors、sort orders),并通过 runtime federation 与 Glue、Unity Catalog、Horizon 双向缓存;Gemini 跨云自然语言查询仍是预览。三家都没有要求用户换格式,统一点都放在 catalog 上。

权限也在往 catalog 收。10 月 11 日一期记录了 Horizon 接入 Scan Plan API,把 Iceberg 细粒度权限放在 catalog 侧;本周 pg_lake 的规划同样写明权限由 catalog 层统一决定。

Rubrik 的 Iceberg Protection 指出了这种结构的代价。Iceberg snapshot 只是元数据指针,表被删或被覆盖后,原生工具能恢复文件,却不会把表重新接回 catalog。Rubrik 同时备份数据和元数据,恢复时重建 catalog,覆盖 Glue 与 S3 Tables,本月晚些时候 GA。来源:AWS、IT Brief UK、Snowflake、TahawulTech.com

▎ 库内 AI 函数陆续转正,产品说明里还没有重复运行一致性

Snowflake Semantic Studio 10 月 13 日 GA,距 8 月 26 日公开预览不到两个月。semantic view 的编写移进 Workspaces,加了 git 版本管理,凭监控里的 request ID 就能让 CoCo 定位出错的定义。Databricks Predictive AI Functions 进入 Beta,新增 4 个 SQL 函数,升级后的 ai_forecast 底层换成 transformer 时序基础模型。

同周的论文 Same Query, Different Answer 重跑了三套语义查询基准,共 120 万次调用。temperature 0 下重跑 5 次,有 0.07%–10.2% 的行输出发生变化,单个任务最高 24.0%;在 UDA-Bench 上,只有几个百分点的抽取值变了,约三分之二的最终答案就跟着变了。

版本管理回答的是「定义改了会影响谁」,论文说的是定义不变、输出也会变,两者不是一回事。本周两家的发布说明都没有提重复运行的一致性。SemViews 论文给了另一条路:缓存复用以往的 LLM 标签,并带概率保证。来源:Snowflake、Databricks、arXiv

▎ 向量索引进入通用库,本周看到的成本在内存和复制链路两头

Tiger Data 开源 Postgres 扩展 pg_vectorsearch(alpha),用分区索引 PRISM 替代 HNSW。官方自测:1 亿向量下查询 6 ms,所需内存为 HNSW 的 1/4,建索引快 20 倍以上。公告没有给召回率,也没有第三方复测。它针对的是 pgvector HNSW 吃内存的问题,这也是团队迁往专用向量库的主要原因之一。

YugabyteDB 连续三期日报都在修向量索引:xCluster DDL 改为等向量索引建完再提交,修复 ybhnsw 下 DROP DATABASE 失败、CREATE INDEX 挂起、xCluster 跳过向量索引 schema 变更等问题,并新增 verify_vector_index 校验工具。在分布式库里,向量索引要和复制、DDL 一起保持一致,这部分运维成本都体现在本周的补丁里。来源:Tiger Data、YugabyteDB

▎ 短讯

Apache Pinot 1.6.0 RC0 进入投票,可以直接用 CREATE / DROP TABLE 等 SQL DDL 管理表,支持 dry-run;单元测试和集成测试零失败,正式版未发。

DuckDB 用 v2.0-dev 预览构建在 NVIDIA Vera 上跑完整 TPC-H SF1,000(含更新流与吞吐测试),据称比 96 核 Xeon 6 基线高 46%。这是自测,未经 TPC 审计。

Snowflake RPO Assurance GA,对符合条件的复制对按 SLA 承诺 RPO,未达标可申请服务抵扣。现有故障转移组默认留在旧引擎,需自行迁移。

Apache Auron 毕业为 ASF 顶级项目,用 Rust/DataFusion 原生执行 Spark 计划。项目方宣称比 Spark 3.5 快 2 倍,未见第三方复测。

ClickHouse 发布官方 header-only 纯 C 客户端 clickhouse-c,直连原生协议,仍在活跃开发。Databricks Lakehouse//RT 空间 SQL 进入 Beta,自报基准只统计了对手跑得下来的查询。

PingCAP 称将在 2026 年底前开源 TiDB X 核心代码,目前仍是计划。融资方面,Tamr 融资 2100 万美元(单方报道),RapidCanvas 完成约 2900 万美元 B 轮。

上期看点回看

· 未见更新|Spark、Trino、DuckDB 对接 Horizon 的 Scan Plan API 实现:本周只记到 Trino 484 发布,没有看到相关说明。

· 已发生|Apache Paimon 2.1.0 正式发布,同步发布 PyPaimon 2.1.0,变更以兼容性和谓词裁剪修复为主。

· 已发生|PostgreSQL 19 RC1 按期于 10 月 15 日发布。

· 延期|PostgreSQL 19 GA 由 10 月 29 日改为约 11 月 19 日,中间加发 RC2(11 月 12 日)。

· 待到期|DuckDB v2.0 正式版:本周只有 v2.0-dev 预览构建用于 Vera 基准,正式版未发,「10 月下半月」的窗口还没过。

下周看点

· Apache Pinot 1.6.0 RC0 投票是否通过并发布正式版,SQL DDL 是否原样保留。

· Rubrik Iceberg Protection 能否按「本月晚些时候」GA,恢复后的表能否在 Athena、Spark、Trino 里直接查询。

· PostgreSQL 19 RC2 定在 11 月 12 日、GA 约 11 月 19 日:期间是否出现需要再推迟或加发候选版的问题。

· DuckDB v2.0 正式版:10 月下半月(上期看点,未到期)。

FutureX · 记录未来如何发生

素材来源多方媒体/网络新闻