FutureX · Database
本周要点
· 分析型引擎这周的争议焦点从“快不快”转到“结果真不真”,ClickBench 有人提请移除 pgrust
· DuckDB 2.0.0 LTS 发布,有了服务端形态,但官方仍只建议在本机监听
· agent 记忆分成两条路,两家报的成绩口径不同,没法放在一起比
· Databricks 让 Iceberg 表能迁出 Unity Catalog,Snowflake 则不迁表直接读它
▎ 分析型引擎这周的问题集中在结果是不是真的,速度反而是次要的
ClickHouse CTO Alexey Milovidov 在 ClickBench 仓库提交 PR,要求移除 pgrust 的成绩。PR 列出的问题有:源码里为全部 43 条查询各手写了一份物理计划;多条查询直接用分片统计信息作答,不扫描数据;热跑阶段回放上一轮的缓存结果。按冷启动流程复测,Q20 冷跑 11.2 秒,第二次跑就降到 3 毫秒,公布的热跑成绩则是 7–23 毫秒。PR 估计它真实的热跑速度在几百毫秒。
pgrust 是大量借助 AI 编码 agent、用 Rust 重写 PostgreSQL 的项目。ClickBench 本身由 ClickHouse 维护,所以这次“裁判下场”在 HN 上也有质疑。PR 是否合并、pgrust 怎么回应,本周的日报里还没有。
另一个结果问题出在嵌入式读取路径上。一篇 DuckDB 与 ClickHouse 的选型文章引用了一项可复现基准:在 1 亿条事件的规模下,chDB 4.1.8 直接读 Parquet 时,有一条精确字符串匹配路径少返回 49 条记录且不报错。问题只出在这条路径上,与 ClickHouse 服务端无关。它和 pgrust 不是一回事,但说明的道理相同:结果没核对之前,耗时数字没有意义。
本周的版本更新也在往同一个方向改。QuestDB 10.1.0 过去会把 '1min' 这类不合规的时间间隔悄悄解析成 1 纳秒,现在直接报错;INT 运算也统一按 32 位回绕。Apache Pinot 1.6.0 RC1 让 SMART 聚合上报真实的近似结果标记。代价是依赖旧行为的查询要改写,受影响的物化视图要全量刷新。来源:ClickBench GitHub 仓库、quasa.io、QuestDB、Apache Pinot
▎ DuckDB 2.0 有了服务端形态,部署建议和支持周期都说明它还在过渡
DuckDB 2.0.0 LTS 于 10 月 21 日发布,自 1.5 以来合入近 2 万次提交。5 月在 1.5.3 里试水的 Quack 协议这次转正,任何 DuckDB 进程都能对外提供数据库服务。新增的 CONNECT 语句可以挂载 Quack、PostgreSQL 和 MySQL 远程库,并配了远程下推优化器。这样一来,嵌入式起家的 DuckDB 开始进入服务端 OLAP 引擎和轻量查询网关的地盘。
不过服务形态目前有明确边界:官方建议服务端只监听 localhost,对外要经 TLS 反向代理,多用户场景还在早期。按官方 8 月的预览文章,2.0 换了新的默认存储格式,C API 也重做了。为了给迁移留时间,1.5 的支持期延到 2027 年 3 月,1.4 维持到 2026 年 11 月下旬,2.0 至少支持到 2027 年 10 月,三条版本线同时维护。目前 CLI 和 Python 客户端已上线,Go、R、Java 客户端和部分扩展要晚几天。
agent mode 也随正式版发布。10 月 11 日那期引用的是 dev 版自测:agent 读回的 token 少了 59%,总成本几乎没降。本次发布没有给出新的正式版测量。来源:DuckDB 官方博客
▎ agent 记忆的两条路线各自报出好成绩,但用的不是同一把尺
Databricks 在 Agent Bricks 上推出 Agent Memory(Beta),存储层是自家的 Lakebase。底层的 MemCurrent 架构分两层:一层只追加、保存原始会话轨迹,另一层把轨迹提炼成结构化知识文件,由离线的“dreaming”流水线在后台合并更新。官方称在内部企业任务基准上,任务通过率约为无记忆时的 3 倍,token 少用 31%。这是自建基准,没有第三方复现。
Tiger Data 走的是另一条路。它开源的 searchgres.js 在一条 Postgres 查询里组合 BM25、语义排序和时间等过滤,只检索原始对话轮次,不做事实抽取。它在 LoCoMo 上拿到 F1 0.665,此前公开最佳是 0.613。10 月 22 日 Tiger Data 又发了一篇复盘:他们为内部 Slack agent 先后做过事实列表、知识图谱、树形三套记忆,结论是表达力最强的不是最好用的。searchgres.js 就是从树形方案的检索部分抽出来的。
这两组数字一个是厂商内部任务上的相对提升,一个是公开基准上的绝对分数,不能直接比。同周 arXiv 上的 MemDerive 正好指出,现有基准只给最终答案打分,查不出 agent 漏掉或用了过期的中间状态。能确定的共同点是存放位置:两家都把记忆放进自家的 Postgres 系 OLTP 层。Couchbase 据称也在 AWS 上推出了托管 Agent Memory,但目前只见于一篇二手报道。Andy Pavlo 本周说向量数据库“说到底只是一个索引”,和 Tiger Data 把记忆当成检索问题、放在通用 Postgres 里做的思路一致。来源:Databricks、Tiger Data、arXiv、SiliconANGLE、InfoQ
▎ 湖仓竞争的焦点从统一表格式转到表和工作负载能不能迁走
Databricks 称,Unity Catalog 是第一个同时支持 Iceberg REST 规范里 REGISTER 和 UNREGISTER 的 catalog,其中 UNREGISTER 是它贡献进规范的。表从 Unity Catalog 注销后可以由别的 catalog 接管,数据文件不动。博文还称 UC managed 表 99% 放在客户自有存储里,暗批“托管存储”路线只是名义上的开放。
Snowflake 10 月 23 日公布的 Spark 迁移方案则不要求换 catalog:计算层用 Snowpark Connect 原样运行 PySpark,元数据层用 catalog-linked database 把 Glue、Polaris、Unity Catalog、OneLake 等外部 catalog 映射进来,表的归属暂时不动。同一周,迁移 agent AIM 推出独立桌面应用(公开预览);Horizon Context 进入公测,元数据连接器覆盖 18 个来源,其中包括 Databricks 和 BigQuery。
两家的做法方向相反,目标却相同:Databricks 证明表能从它这里迁走,Snowflake 让客户不用先把表搬出 UC 就能把计算迁过来。10 月 18 日那期看到的是 EMR、BigQuery、pg_lake 在 catalog 层统一多种表格式,本周的竞争则落在 catalog 之间的进出上。目前只有 UC 宣称支持 UNREGISTER,其他 catalog 是否跟进还没有证据。来源:Databricks、Snowflake
▎ 短讯
PingCAP 确认内部系统遭未授权访问,部分内部经营数据被复制,源代码也可能被窃取,但称客户的数据库和业务数据不受影响。黑客组织 FulcrumSec 声称窃取了约 10.6TB 数据和 11 万多个 API 密钥,这些说法 PingCAP 尚未完全确认,也没有第三方核实。
ardentperf 指出,Postgres 15 引入的 recovery_prefetch 会在备库把主库的大块顺序 I/O 转成 8KB 随机读,副本读 IOPS 最多被放大到 16 倍。如果同时开了同步复制,备库一卡,主库也会被挂住。复现脚本已在 GitHub 公开。
Neon 统计显示,在同一统计窗口内,回补到 REL_19_STABLE 的提交从 724 个增至 1169 个,约增长 61%。作者认为原因是 LLM 更快地找出了存量缺陷;PG19 的 GA 大概率在 11 月。
Omdia 按 2025 年收入统计,OceanBase 以 15.5% 的份额居亚太分布式数据库首位。AWS 称其上架 Marketplace 近两年,业务规模增长了数倍。
印度 CA eMudhra 的 8 张中间证书私钥可被恢复,主流浏览器和操作系统已将其拉黑。自带证书库的数据库客户端要自己更新,Weaviate v1.36.24 和 LanceDB v0.41.0-beta.13 已经跟进。
上期看点回看
· 已发生|DuckDB v2.0 正式版:2.0.0 LTS 于 10 月 21 日发布,CLI 和 Python 客户端先行上线。
· 有进展|Apache Pinot 1.6.0:本周出现 RC1,说明 RC0 没有直接转为正式版;正式版尚未发布。
· 未见更新|Pinot SQL DDL 是否原样保留:RC1 的说明只提到 Lucene 回滚时重建索引和 SMART 聚合标记,没有涉及 DDL。
· 待到期|Rubrik Iceberg Protection 能否按“本月晚些时候”GA:本周日报和公开检索都没见到 GA 公告,10 月还没结束。
· 未见更新|恢复后的表能否在 Athena、Spark、Trino 里直接查询:仍只有发布时厂商的说法,没有 GA 之后的验证。
· 待到期|PostgreSQL 19 RC2(11 月 12 日)与 GA(约 11 月 19 日):两个节点都没到。Neon 10 月 21 日的文章称 GA 大概率在 11 月、不排除再延期,目前没有新的推迟公告。
下周看点
· ClickBench PR #2165 是否合并、pgrust 成绩是否下榜,以及 pgrust 方是否回应专用计划和结果回放的指控。
· PingCAP 是否公布受影响客户的范围和 API 密钥的核实结果,是否要求客户轮换密钥。
· DuckDB 2.0 的 Go、R、Java 客户端和剩余扩展,是否在官方说的“晚几天”内上线。
· Apache Pinot 1.6.0 RC1 投票是否通过并发布正式版。
· Rubrik Iceberg Protection GA:10 月内(上期看点,未到期)。
· PostgreSQL 19 RC2 定在 11 月 12 日、GA 约 11 月 19 日:期间是否出现需要再推迟或加发候选版的问题(上期看点,未到期)。
FutureX · 记录未来如何发生
素材来源多方媒体/网络新闻