数据库行业日报
本期要点
· PostgreSQL 19 推迟到约 11 月 19 日 GA,撤回 8-10 项重要功能,SQL/PGQ 也在其中
· 撤回的直接原因是 LLM 辅助代码审查:一次查出约 40 个缺陷,核心开发者来不及在发布前修完
· DuckDB v2.0-dev 在 NVIDIA Vera 上跑 TPC-H SF1,000,比 Intel Xeon 6 基线高 46%(官方自测)
· Snowflake 新一代复制引擎 GA,RPO Assurance 把恢复点目标写进 SLA
· Apache Pinot 1.6.0 RC0 进入投票,可以直接用 SQL DDL 建表、删表
版本与产品发布
PostgreSQL 19 延期至 11 月,8-10 项功能撤回 · oltp
PostgreSQL 19 原定 9 月底至 10 月初发布,现在预计约 11 月 19 日 GA。全球开发组撤回了 8 到 10 项重要功能,顺延到明年的 PostgreSQL 20。其中包括 2023 年写入 SQL 标准的属性图查询 SQL/PGQ,即在关系表上直接用图语法查询节点与边的关系。
核心 committer Peter Eisentraut(EDB 副总裁)在博客中给出两层原因。一是部分功能有较大的架构缺陷,很难在 beta 期间快速修好。二是 LLM 辅助代码审查集中查出了一长串边界情况问题,单个都不严重,放在过去往往要到发布后五年内才陆续修补。他的原话是:“你会盯着一份 40 个缺陷的清单,哪怕平均每个只需改三行,处理每一个都有固定开销,然后时间就用完了。”
他强调撤回与 “vibe coding” 无关:这些功能大多写于 LLM 审查成熟之前,问题出在质量门槛在功能提交之后被抬高了。他预计,除非 LLM 审查能力继续以现在的速度提升,后续开发周期会逐步恢复正常。对下游来说,Aurora、AlloyDB 等托管 Postgres,以及各类 wire 兼容的分布式系统,跟进 19 的时间表也会随之后移。[1]
Apache Pinot 1.6.0 RC0 进入社区投票:SQL DDL 管表 · olap
Apache Pinot 发布 1.6.0 的首个候选版本 RC0,进入社区审查与投票,距离正式版还有一步。头号亮点是 SQL DDL:可以直接用 CREATE TABLE / DROP TABLE / SHOW TABLES / SHOW CREATE TABLE 管理表元数据。据官方文档,这些语句由 controller 的独立 DDL 端点处理,不经 broker 查询接口,并支持只编译校验、不落盘的 dry-run。此前 Pinot 建表主要靠提交 JSON 格式的表配置和 schema。
发布说明附了一份较完整的验证清单:30,211 个单元测试和 1,772 个集成测试零失败,滚动升级与降级检查通过,最终二进制包在两套查询引擎上都跑通。Pinot 与 ClickHouse、Druid 同属实时 OLAP 赛道,DDL 补齐后,上手门槛和 SQL 原生体验向 ClickHouse 靠近了一步。[2]
其他版本动态:ClickHouse 同日推送四个维护版本(v26.9.20.23-stable、v26.8.29.10-lts、v26.7.32.7-stable、v26.3.53.4-lts);YugabyteDB 多个分支密集回补,集中在向量索引,包括修复 ybhnsw 索引上 CREATE INDEX 挂起、xCluster 跳过向量索引 schema 变更、新增 verify_vector_index 校验工具;TiDB v8.5.8 每日构建修复 JSON 格式化与语句清理中断问题;Materialize v26.47.0-rc.1。[3]
湖仓 · 开放表格式 · HTAP
Atlassian 在 Databricks 上用 OCSF 统一安全日志,日处理 440 亿事件 · lakehouse
Atlassian 的安全日志管道每天要接 440 亿条事件。多年收购留下了各不相同的日志格式,时间戳和 schema 都不统一。团队把全部日志标准化到开放的 OCSF 框架(Open Cybersecurity Schema Framework),在 Databricks 上建成自助式安全湖仓,已支撑 500 多个威胁检测信号。
他们选 OCSF 而不是 ECS、UDM,看中的是强类型校验和完全开放。约 4 万个字段的冗长定义反而把语义留在了数据里:五个漏洞扫描器的结果可以合成一个数据集,一条查询就能跨多个数据源。工程上,团队特意选择在传输途中转换的 ETL,而非 ELT,以支持实时检测。分区加 Z-ORDER 让代表性查询从约 45 秒降到 2-3 秒,换用 Graviton + Photon 后查询成本与耗时约降三分之二。这是可观测、安全日志场景从 SIEM 迁往湖仓的又一个大规模样本,而这一场景也是 ClickHouse 系的主战场之一。[4]
Databricks Lakehouse//RT 支持空间 SQL(Beta) · olap ⚠️ 厂商口径
Databricks 的实时数仓 Lakehouse//RT 开始支持空间 SQL 与空间 join,目前为 Beta。官方用 SpatialBench 对比“传统云数仓”(未点名),宣称平均快 3 倍、单查询最高快 20 倍,50 并发下最高快 38 倍,但只统计了对手跑得下来的查询。官方给出的定位是,让需要低延迟的空间应用不必再单独维护一套 PostGIS。[5]
技术 · 架构 · 性能基准
DuckDB:把表里的 JSON 文本列直接转成类型化列 · olap
很多 JSON 并不以文件形式出现,而是作为文本列存在表里,例如 Postgres 里的事件 payload。过去常见的绕法是先 COPY 成文件,再用 read_json 读回来。DuckDB 官方博客给出纯 SQL 的做法,分三步:先用聚合函数 json_group_structure 合并出整列的结构,大表可以只抽样 1 万行,代价是可能漏掉极少出现的键;再用 json_merge_patch 只改需要修正的字段类型,比如把时间戳从 VARCHAR 改成 TIMESTAMP;最后用 json_transform 加 unnest 展开成普通列。这样 JSON 只在导入时解析一次,之后的查询按列存储压缩,不再碰 JSON。逐字段用 ->> 提取则每取一个字段都要重新解析一遍。[6]
性能 · 基准
· DuckDB v2.0-dev × NVIDIA Vera:DuckDB 团队与 NVIDIA 合作,用预览版 1.6.0.dev379 跑完整 TPC-H SF1,000,不只是只读查询,还包含更新流与并发吞吐测试,取三次运行 QphH 的中位数。Vera 平台(88 核 Olympus,内存带宽最高 1.2 TB/s,限单路运行)比 96 核 Intel Xeon 6 基线高 46%。团队把优势归于高内存带宽、低延迟和大缓存对 join、聚合哈希表的帮助,并称两者若走官方审计,都有望进入 SF1,000 性能榜前三。这是 DuckDB 自测,未经 TPC 审计。⚠️ 基准口径 [7]
学界 · 研究前沿
· ConStore(arXiv 2610.21676):从百万到十亿级向量语料实测,top-K 较大时,从 SSD 取回内容的延迟可能与向量检索本身相当甚至更高。论文提出“边检索边预取”的内容存储引擎,针对的是 RAG 端到端延迟中常被忽视的一段。[8]
· Amora(arXiv 2610.21174):在云端向量库上做隐私 ANN 检索,查询向量不向服务器暴露。论文把 SimplePIR 用在分区图索引上,一次 PIR 查询可摊到多个顶点,以降低现有 SOTA 方案 Pacmann 的通信开销。[9]
· DataKernelBench(arXiv 2608.25061):测 LLM 能否为 GPU 数据库手写查询 kernel。在 H100、TPC-H SF10 上,最强的整查询 CUDA 配置在全部通过正确性校验的前提下,比 PyTorch 基线快 2.11 倍。提速主要来自 kernel 融合和执行策略调整,提供负载上下文比提供硬件上下文更有用。[10]
· TraHist(arXiv 2610.22310):面向轨迹数据的直方图基数估计,补的是查询优化器在时空数据上的短板。[11]
融资 · 并购 · 商业化
RapidCanvas|B 轮|约 2900 万美元 · ai-native
总部在奥斯汀的 RapidCanvas 完成近 2900 万美元 B 轮,由 Vertex Ventures 与 Hitachi Ventures 联合领投,估值未披露。公司用 agent 加无代码界面,自动完成数据准备、特征工程、模型选择到部署这一段机器学习中间层工作,面向的是企业数据科学团队,而不是写代码的开发者。坊间“可自动化 75% 数据科学工作”的说法未见于一手报道,不宜采信。[12]
云厂商 · 生态 · 监管
Snowflake 新一代账户复制 GA:RPO Assurance 写进 SLA · cloud
Snowflake 的 Optimized Refresh 与 RPO Assurance 转为 GA,两者共用一套全新的复制引擎。官方称预览客户的复制速度比上一代快 1.6 倍到 20 倍以上,幅度随负载而异,属厂商口径。Optimized Refresh 是“尽力而为”的低 RPO,覆盖大多数负载。RPO Assurance 的分量更重:据官方文档,Snowflake 对符合条件的复制对按 SLA 承诺 RPO 目标,未达标时客户可申请服务抵扣,相当于把灾备 RPO 从运维目标变成合同条款。复制范围除数据库外还包括用户、角色、授权与网络策略,故障切换后权限无需重建。现有故障转移组默认留在旧引擎,官方建议迁移。[13]
Stripe 数据管道实时同步进 Postgres,Neon 为直连目标 · oltp
Stripe Data Pipeline 新增实时同步到 Postgres 的能力,由 Stripe 端到端托管,免去自建 API 轮询或 webhook 管道。Neon 可以在 Stripe 控制台里一键直连,支付、订阅、客户数据直接写进应用所在的同一个 Lakebase Postgres 库,判断“是否付费用户”只需一次 join。表结构对应 Stripe API 对象,每张表另附 _raw_data 列保存完整 JSON。[14]
达梦数据支撑期货业首个 CTP 核心系统数据库切换 · oltp ⚠️ 厂商口径
前海期货 CTP 综合交易平台的核心系统完成数据库切换并上线,采用达梦数据守护集群 DMDW,号称期货业首例。CTP 连接国内六大期货交易所,覆盖交易、风控、结算。上线前累计跑了 2900 万笔报单测试,业务侧零代码改造。达梦援引 IDC 报告称,自己以 14.6% 的份额位居中国本地部署事务型数据库市场第一,属厂商援引口径。[15]