数据库行业日报

本期要点

· Chroma 签署协议加入 Replit,Chroma Cloud 12 月 22 日停止读取

· 一个 23 MB 的 Brotli 压缩请求即可让 ClickHouse 服务端崩溃

· BigQuery 一条 SQL 联查 Snowflake、Databricks、Glue 三家的 Iceberg 表

· Databricks AI Search 直接索引流表、物化视图与 Iceberg v3 表

· Oracle AI Lakehouse 扩展 Iceberg 写入,语义层 12 个月内交付

· PingCAP 事故报告:被导出的记录含 SQL 编辑器文本与集群标识

版本与产品发布

Polars 2.1.0:补齐 out-of-core 执行 · olap

Polars 2.0 把 LazyFrame 默认切到 streaming engine,不到三周后的 2.1.0 主要处理数据超出内存(out-of-core,即中间结果溢写到磁盘)时的执行。group-by 可在溢写时做 shuffle,窗口函数节点也能在溢写状态下计算;内存超预算时文件读取会等溢写完成再继续,溢写释放的内存立即还给操作系统,默认 spill 压缩级别降到 1,默认 prefetch 比例降到 0.5。另有一批 join 基数估计与 as-of join 优化,以及嵌套 Parquet 写入提速。本版有一项破坏性变更:eager 模式下不再允许字符串与数值混合运算。对拿 Polars 当单机 OLAP 引擎、和 DuckDB 比较的用户来说,大于内存的数据集能否稳定跑完,比单项提速更关键。[1]

DuckDB 2.0.0 补充一批小特性 · olap

DuckDB 官方在 2.0.0 LTS 发布一周后,补列了发布公告里没写的改进。Python 客户端首次提供 appender,可以缓冲逐行生成的数据、批量写入;CLI 新增 .manual 命令,可查函数签名与示例,还新增了查询自身执行历史的 shell_history() 表函数。官方也提醒,文档和博客可离线下载,作为 LLM 与编码 agent 的上下文。[2]

其他版本动态:ClickHouse v26.10.2.103-stable [3];StarRocks 4.1.7 [4]、4.0.17 [5];Weaviate v1.39.14 / v1.38.23(LSM store 性能修复)[6]、v1.37.18(证书安全补丁)[7];YugabyteDB 2026.1.4.0 构建 [8]、2025.2.9.0 构建 [9]、2025.2.8.1 构建 [10]、2024.2.12.0 构建 [11];LanceDB v0.41.0-beta.14 / beta.15(含 Python API 破坏性变更)[12];Materialize v26.48.0-rc.2 / rc.3 [13]

数据库 × AI

Databricks AI Search 直接索引流表、物化视图与 Iceberg 表 · vector

Databricks AI Search 原本只能从 Delta 表建索引,现在新增三类数据源:Streaming Tables、Materialized Views,以及 Iceberg v3+ 格式的 Managed 表。之前,用户得为这些表另建一份 Delta 副本,再自写同步管道;现在用同一套 Delta Sync index 流程直接指向源表即可。流表新增记录到达后即被索引,物化视图增量刷新后变更会同步进索引,适合"刚上架的商品"这类对新鲜度敏感的检索。Databricks 在这条路线上的意图是让湖仓表直接充当检索层的数据源,不再需要向量库与湖仓之间的同步管道。[14]

Supabase Compute 私有 alpha:agent 跑在数据库项目内 · agent

Supabase Compute 进入私有 alpha,目前只在 us-west-2 区域开放。它让 agent、后台任务和 API 与 Postgres 跑在同一个项目里,支持 Node、Deno 或任意 Dockerfile,单个任务可运行数分钟到数小时。Supabase 现有 Edge Function 的运行上限是 400 秒,跑不了长时 agent,这是推出 Compute 的直接原因。Supabase 引用的客户案例中,Dreambase 把数据 agent 迁上 Compute 后,查询 Postgres 的中位延迟从跨区域的 65 ms 降到 2.9 ms。agent 沙箱不在本期 alpha 范围内。[15]

Neon 官网搜索换成自家 Lakebase Search · vector

Neon 把 neon.com 的文档搜索从外部托管搜索服务迁到自家的 Lakebase Search。后者是两个 Postgres 扩展,分别提供向量索引 lakebase_ann 和全文索引 lakebase_bm25,为计算与存储分离的 Lakebase 架构设计。embedding、原文和两类索引存在同一个库里,混合检索可以在一个事务内和业务表一起查询。在 Postgres 里做混合检索的方案已经不少,Tiger Data 等也在做;Neon 这次的意义在于把自己的生产搜索换了上去。[16]

Snowflake:用自然语言配置 Snowpipe 转 GA · ai-native

Snowflake 的 agent 助手 CoCo 现在可以在一次对话里配好 Snowpipe 持续导入:它会对云存储中的文件采样、推断 schema,建好 stage、表和 pipe,再确认数据确实导入。目标表可以是标准表,也可以是 Snowflake 托管的 Iceberg 表。存储集成、IAM 角色和事件通知这些原本要等数据工程师处理的步骤也由它完成,默认每次改动前都要用户批准。[17]

Oracle Deep Data Security:在库内按最终用户身份授权 · agent

agent 通常经高权限连接动态生成 SQL,无法指望它自己守住最终用户的权限。Oracle 的做法是在数据库里用声明式 SQL 策略(data grant)在行、列、单元格三级按最终用户身份执行授权。DBRU 23.26.4 新增三项:data grant filter,用于收窄多条授权叠加后的权限;用 SQL macro 复用授权谓词;APEX 与 ORDS 可把最终用户身份传进数据库。[18]

湖仓 · 开放表格式 · HTAP

BigQuery 经 Iceberg REST catalog 跨三家联邦查询 · lakehouse

Google Cloud 给出了一套示范配置:BigQuery 同时连接 Databricks Unity Catalog、Snowflake Horizon Catalog 和 AWS Glue 三个外部 catalog,一条 SQL 就能把 BigQuery 本地销售数据与 Snowflake 里的客户表、Databricks 里的商品表、Glue 里的门店表 join 起来。之所以可行,是三家都实现了 Iceberg REST catalog 规范。BigQuery 定期同步对方的 schema 和快照指针,查询时凭对方签发的临时凭证直接读远端对象存储里的 Parquet 文件;计算全部在 Google Cloud 上执行,不启动 Databricks 集群或 Snowflake 仓库。按 Google 官方发布说明,跨云 Lakehouse 联邦目前仍是 Preview。这说明 REST catalog 规范已足以让第三方引擎直接读竞争对手 catalog 管理的表,各家开始在查询引擎和计算计费上竞争。[19]

Oracle AI Lakehouse:扩展 Iceberg 读写,语义层与模拟引擎在路线图上 · lakehouse ⚠️ 厂商口径

Oracle 在 AI World 大会首日发布 Autonomous AI Lakehouse 更新。已落地的部分是 Iceberg 支持扩展:可以直接用 SQL 创建、写入、更新、删除 Iceberg 表,并做带时间回溯(time travel)的数据产品。另据 Oracle 称,Data Lake Accelerator 在 100 TB TPC-DS 上查询快 3 倍,集群规模上限扩大 3 倍,测试由厂商自行完成。路线图部分包括:挂载外部 catalog 的 AI Data Catalog 和业务语义层(Business Semantic Layer)注明未来 12 个月内交付;把 Essbase 嵌入湖仓的 Business Simulation Engine 据 Tech Times 报道也在同一时间窗。语义层这条路线 Snowflake 本月已有 Semantic Studio GA,Oracle 目前仍停在路线图上。[20]

技术 · 架构 · 性能基准

Snowflake 用自家 PR 搭编码 agent 基准 SnowPR ⚠️ 厂商口径

Snowflake 认为公开基准的任务取自几十个开源项目,而模型正越来越多地针对这些项目调优,因此用自己已合并的 PR 搭了 SnowPR:共 65 个任务,覆盖 11 个产品领域,其中 62 个来自 4300 万行的 Java/C++ Bazel monorepo,以 PR 附带的隐藏测试判定通过与否。参测的有 Snowflake 自家 Cortex Code 的两种模式,以及 Cursor、Codex、Claude Code,尽量在同一模型上比较,每题跑 3 次,再对照每次尝试的成本。65 个任务里有 52 个改动的是查询编译、元数据、Iceberg 表等 Java 控制面,比开源基准更接近数据库内核团队的真实工作。[21]

学界 · 研究前沿

· Synchronized Rebuilds(arXiv 2610.33770):作者跑了 13 种 learned index、4000 多组实验,发现 5 个并发版本中有 3 个出现丢键或停止推进;gapped-array 类索引会成批同步重建节点,代价远高于 B-tree。标准基准两类问题都没测出来。[22]

· REACH(arXiv 2610.34109):地理圆形范围过滤 + ANN 只用一张近邻图完成。每个顶点的邻居按向量距离排好序,地理过滤时剩下的邻居仍保持有序,避免高选择性过滤下召回率骤降。[23]

· ACTIVE(arXiv 2610.35751):面向一个实体带两条向量、查询权重可变的场景,把 Pareto 前沿索引做成支持动态更新,解决现有方案建索引和更新太慢的问题。[24]

· LSM-Vec(arXiv 2505.17152,修订版):磁盘上的动态向量检索,把图连接和向量数据分开存储,只改图时不必重写向量,针对超出内存的 RAG 级向量集。[25]

融资 · 并购 · 商业化

Chroma|签署正式协议加入 Replit|条款未披露 · vector

开源向量库 ChromaDB 背后的公司 Chroma 宣布已与 Replit 签署正式协议,将加入对方,交易条款未披露。Chroma 用的措辞是"加入",部分外媒写成"收购"。ChromaDB 月下载量约 600 万次,GitHub 星标近 3 万;Replit 同时看重 Chroma 今年做的企业 agent 记忆系统 Foundation,它从 Codex、Claude Code 的工作记录和 Slack 消息中提取经验,供多个 agent 共享。Replit CEO Amjad Masad 和总裁 Michele Catasta 本来就是 Chroma 的早期投资人。对客户影响最大的是托管服务关停:Chroma Cloud 11 月 22 日起只读,12 月 22 日停止读取,用户需在此前完成迁移。开源版继续采用 Apache 2.0 许可,部分原本闭源的代码也已开放。独立向量库厂商被并入 agent 应用平台,与本月 Andy Pavlo"向量库护城河只是一个索引"的观点相互印证。[26]

云厂商 · 生态 · 监管

HTTP2Shell 漏洞波及 ClickHouse:单个请求可打崩服务端 · olap

Brotli 解码器的越界写漏洞 CVE-2026-111497 最早随 Node.js 安全更新公开,影响不止 Node.js。JFrog 研究人员向 ClickHouse 发送了一个带 23 MB Brotli 压缩体的 HTTP 请求,解码器状态损坏,服务端在清理阶段崩溃,正在执行的查询也随之中断。JFrog 在 10 月 25 日发布研究时,ClickHouse 的修复已合入代码,但还没有包含修复的正式版本。同一漏洞在 Apache Arrow(pyarrow)中表现为 534 字节输入就能触发死循环,在 .NET 和 FFmpeg 中表现为崩溃与内存破坏。上游 Brotli 的修复版本为 1.0.10、1.1.1 和 1.2.1,但各项目可能自行打补丁,判断是否受影响要看厂商补丁记录,不能只看版本号。[27]

PingCAP 公布入侵事件范围 · oltp ⚠️ 单方口径

PingCAP 的事件报告确认,被导出的记录包括用户名和邮箱,其中部分还含组织信息、SQL 编辑器文本、错误信息和集群标识符。外部取证未发现攻击者在生产系统中执行命令或保持持久访问,也未发现存储在 TiDB 中的数据受影响。公司建议客户轮换 TiDB Cloud 管理 API 密钥,并警惕定向钓鱼。勒索组织 FulcrumSec 另称拿到 413 个私有代码仓库和约 1,800 个客户外部数据库端点的管理员凭证,均未获证实;其首批公开的数据压缩后为 128.3 GB,远小于所称的 10.6 TB。[28]

Snowflake 宣布将以第一方服务形式登陆 OCI · cloud ⚠️ 计划口径

Snowflake 与 Oracle 扩大合作,Snowflake on OCI 将作为原生第一方服务上线,由 Oracle 直接采购和计费。计划中的集成包括 Fusion 应用、NetSuite、Autonomous Database 和 MySQL HeatWave。目前未公布上线时间,官方博文也注明示例场景"未必代表上线时的功能"。[29]

Stripe Data Pipeline 支持实时同步到 Postgres

Stripe 现在能在数秒内把 charges、customers、invoices 等所有带列表端点的 API 对象同步进用户自己的 Postgres,Neon 是首批支持的目标库之一。Neon 的示例应用里没有任何 webhook,退款、拒付都通过查询同步过来的表来处理。[30]

来源链接

[1] 〔来源〕Polars | 10月26日 https://github.com/pola-rs/polars/releases/tag/py-2.1.0

[2] 〔来源〕DuckDB | 10月26日 https://duckdb.org/2026/10/26/gems-of-duckdb-200.html

[3] 〔来源〕ClickHouse https://github.com/ClickHouse/ClickHouse/releases/tag/v26.10.2.103-stable

[4] 〔来源〕StarRocks https://github.com/StarRocks/starrocks/releases/tag/4.1.7

[5] 〔来源〕StarRocks https://github.com/StarRocks/starrocks/releases/tag/4.0.17

[6] 〔来源〕Weaviate https://github.com/weaviate/weaviate/releases/tag/v1.39.14 https://github.com/weaviate/weaviate/releases/tag/v1.38.23

[7] 〔来源〕Weaviate https://github.com/weaviate/weaviate/releases/tag/v1.37.18

[8] 〔来源〕YugabyteDB https://github.com/yugabyte/yugabyte-db/releases/tag/2026.1.4.0-b3 https://github.com/yugabyte/yugabyte-db/releases/tag/2026.1.4.0-b4

[9] 〔来源〕YugabyteDB https://github.com/yugabyte/yugabyte-db/releases/tag/2025.2.9.0-b20 https://github.com/yugabyte/yugabyte-db/releases/tag/2025.2.9.0-b21

[10] 〔来源〕YugabyteDB https://github.com/yugabyte/yugabyte-db/releases/tag/2025.2.8.1-b2 https://github.com/yugabyte/yugabyte-db/releases/tag/2025.2.8.1-b3

[11] 〔来源〕YugabyteDB https://github.com/yugabyte/yugabyte-db/releases/tag/2024.2.12.0-b37

[12] 〔来源〕LanceDB https://github.com/lancedb/lancedb/releases/tag/v0.41.0-beta.14 https://github.com/lancedb/lancedb/releases/tag/v0.41.0-beta.15

[13] 〔来源〕Materialize https://github.com/MaterializeInc/materialize/releases/tag/v26.48.0-rc.2 https://github.com/MaterializeInc/materialize/releases/tag/v26.48.0-rc.3

[14] 〔来源〕Databricks | 10月27日 https://www.databricks.com/blog/building-live-intelligence-databricks-ai-search-supports-streaming-tables-materialized-views

[15] 〔来源〕Supabase | 10月27日 https://supabase.com/blog/supabase-compute-private-alpha

[16] 〔来源〕Neon | 10月26日 https://neon.com/blog/neon-docs-search-lakebase-search

[17] 〔来源〕Snowflake | 10月28日 https://www.snowflake.com/en/blog/automated-snowpipe-setup-snowflake-coco/

[18] 〔来源〕Oracle Blogs | 10月26日 https://blogs.oracle.com/database/oracle-deep-data-security-expands-authorization-across-analytics-apex-ords-and-ai-agents

[19] 〔来源〕IT Brief UK | 10月27日 https://itbrief.co.uk/story/google-cloud-lets-bigquery-query-databricks-snowflake

[20] 〔6 方报道〕CSDN;Oracle;Tech Times;Small Business Trends;富途牛牛;等 6 家 | 10月26日 https://www.csdn.net/article/2026-10-27/169265472 https://www.techtimes.com/articles/329524/20261027/oracle-announces-ai-planning-engine-semantic-layer-stop-agents-misreading-business-data.htm

[21] 〔来源〕Snowflake | 10月28日 https://www.snowflake.com/en/blog/engineering/Benchmarking-coding-agents/

[22] 〔来源〕arXiv https://arxiv.org/abs/2610.33770

[23] 〔来源〕arXiv https://arxiv.org/abs/2610.34109

[24] 〔来源〕arXiv https://arxiv.org/abs/2610.35751

[25] 〔来源〕arXiv https://arxiv.org/abs/2505.17152

[26] 〔来源〕BlockBeats | 约10月24日 https://www.theblockbeats.info/flash/373575

[27] 〔3 方报道〕CyberSecurityNews;TechJuice;iTnews | 10月28日 https://cybersecuritynews.com/http2shell-vulnerability/ https://www.techjuice.pk/microsoft-net-emergency-patch-brotli-node2shell-vulnerability/

[28] 〔来源〕news.lavx.hu | 10月25日 https://news.lavx.hu/zh-Hans/article/pingcap-que-ren-nei-bu-zao-ru-qin-yuan-dai-ma-he-ke-hu-ji-lu-bei-xie-lou

[29] 〔来源〕Snowflake | 10月28日 https://www.snowflake.com/en/blog/snowflake-oracle-partnership-ai-data-cloud-oci/

[30] 〔来源〕Neon | 10月26日 https://neon.com/blog/building-with-stripe-data-pipeline-and-neon-backend