数据库行业日报
本期要点
· Polars 2.0.0 发布:据社区解读,LazyFrame 默认改走 streaming engine,部分操作不再保证行序
· Google 开源 EmbeddingGemma 2:270M–740M 参数,文本、代码、图像、视频、音频映射到同一 768 维空间
· Weaviate v1.40.0 正式发布,距 rc.2 不到一周
· Snowflake Optima 新增跨查询反馈,称 19 表连接查询由近 2 小时降到 30 秒(厂商口径)
版本与产品发布
Polars Python 2.0.0 发布 · olap
Polars 发布 Python 2.0.0,这是这个 DataFrame/查询引擎的首个大版本跃迁。发布页可见的破坏性变更包括:SQL 窗口函数现在在聚合后的行上运行,QUALIFY 在投影之前求值。社区对 RC 阶段的解读还提到几点:LazyFrame 查询默认改走新的 streaming engine;连接、分组、unpivot 等操作可能返回与输入不同的行序,依赖隐式行序的下游需要显式指定 maintain_order;累计有 36 项破坏性变更,移除约 75 个 API 和参数。这些数字出自二手解读,以官方升级指南为准。对 DuckDB、ClickHouse 本地分析的用户来说,单机列式分析的默认引擎之争又添一例:Polars 把更快的并行路径设为默认,同时放弃了行序保证。[1]
Weaviate v1.40.0 正式发布 · vector
Weaviate 发布 v1.40.0,10 月 1 日的 rc.2 已宣布功能完备,本次转为正式版。发布页正文未能取到,具体特性以官方发布说明为准。同日还有 v1.39.10、v1.38.20 两个维护版本放出,三条版本线同时在维护。[2]
其他版本动态:ClickHouse 同日推送 v26.9.12.8(stable)、v26.8.19.9(LTS)、v26.7.23.7、v26.3.43.4(LTS)等多条版本线补丁,另有 v26.9.11.2、v26.8.18.2 等前一日补丁;Qdrant v1.19.2 不再在每次 upsert 时重写完整 sparse posting list,稀疏向量写入显著提速,并修复 HNSW 构建未吃满线程的问题;LanceDB v0.40.0-beta.13 含破坏性变更(list_databases 改返回迭代器,各 SDK 拒绝零向量搜索探针);Weaviate v1.39.10 / v1.38.20 / v1.38.19 / v1.39.9 修复 LSM store 等问题;YugabyteDB 2026.1.3.0 与 2025.2.8.0 系列连续 backport 构建;DataFusion 55.2.0-rc1、Materialize v26.45.0-rc.4 候选版出炉。[3]
数据库 × AI
Google 开源 EmbeddingGemma 2:sub-1B 多模态嵌入模型 · vector ⚠️ 厂商口径
EmbeddingGemma 2 基于 Gemma 4,以 Apache 2.0 开源,把文本、代码、图像、视频、音频映射到同一 768 维空间。参数从仅文本/代码的 270M 到全模态的 740M,可在加载时省去不用的模态编码器。Google 宣称它优于参数量两倍于己的同类嵌入模型,这是未经第三方复现的自报结论。对向量库用户更实际的是 Matryoshka 式截断:可截到 512/256/128 维,bfloat16 下 100 万条 768 维向量约占 1.5 GB,截到 128 维只需约 250 MB,即 6 倍压缩,代价是召回,需要自行评估。这意味着跨模态检索可以只用一个向量列和一套索引,端侧和内存受限场景的索引成本也随之下降。[4]
KAIST 研发可随增删保持准确率的向量索引 · vector
KAIST 团队研发了在记录持续新增、删除后仍能保持 AI 搜索准确率的向量数据库索引,针对的是 HNSW 类图索引在频繁更新后质量退化的老问题。目前仅见媒体摘要,未见论文与基准数据,具体算法和增益幅度有待核实。[5]
DBtune 4.0、Collate × StarRocks、Meta 广告 MCP 登陆 Databricks · ai-native
DBtune 发布 4.0,扩展其 AI 驱动的 PostgreSQL 调优产品。Collate 演示将 StarRocks 接入对话式 AI,属于 ClickHouse 竞品侧的 agent 查询入口生态。Databricks 宣布 Meta 广告 MCP server 可接入其平台。三条均只见标题级信息,具体能力以官方说明为准。[6]
湖仓 · 开放表格式 · HTAP
Databricks 发文称"湖仓已追平数仓性能" · lakehouse ⚠️ 厂商口径
Databricks 官博称,其生产 SQL 负载组合在 2024 年底比 2022 年基线快 77%,约合 Databricks Performance Index 的 4 倍;该指数来自自家数十亿条生产查询,而非公开基准。近五个月内 BI 提升约 14%、数据探索约 13%、ETL 约 9%。另称 Lakehouse//RT(serverless 分析读取)可低至 10 ms、最高 12,000 QPS,直接查询受治理的湖仓表,免去独立的 OLAP 服务副本和 CDC 链路。后一点正对着 ClickHouse 系的实时分析定位。文中案例(Lumen 133 TB 迁移后查询快 90%)均为客户自报,缺少第三方对照。[7]
AWS 给出 DuckDB + S3 Tables + Glue 的低成本 ETL 参考方案 · lakehouse
AWS 博客介绍在 AWS Glue 上用 DuckDB 读写 Amazon S3 Tables(Iceberg 托管表)做 ETL,主打单节点引擎替代集群的成本路线。结合已报的 Aurora PostgreSQL 内嵌 DuckDB,AWS 在多条产品线同时押注 DuckDB 与 Iceberg 的组合。[8]
技术 · 架构 · 性能基准
Snowflake Optima Planning 新增跨查询反馈 · olap ⚠️ 厂商口径
Snowflake 称 Optima Planning 已能把执行反馈复用到全新查询。此前它只能识别重复出现的整条查询,现在还能按计划片段或单个算子(如共享视图里的 join 树、某个具体 join)匹配,新查询首次执行就能用上历史反馈。官方案例是一家美国医疗科技公司的生产负载:一条 19 表连接查询从近 2 小时降到 30 秒。这是挑选过的个例,不代表普遍收益。设计上,匹配只算候选,系统会判断反馈是否过度泛化,迁移过于激进时不应用,也无需手工配置。这是基于执行反馈的基数估计纠偏路线,与 Snowflake 近期的 Adaptive Warehouses 等自动调优投入一脉相承。[9]
学界 · 研究前沿
· Bounded Provisional Visibility(arXiv 2610.05826):针对持续摄入的 RAG 向量库,在新内容被检索到之前控制投毒内容的暴露面。[10]
· SALUS(arXiv 2610.05540):用多 agent 输出的弱监督自动审计 NL-to-SQL 基准本身的质量。[11]
· ModelLakeFishing(arXiv 2610.04904):面向百万级"模型湖"的高效检索,用于在海量可复用模型里找到合适的那个。[12]
· MaDI-Bench(arXiv 2606.30371):端到端数据集成基准(v2 更新版)。[13]
云厂商 · 生态 · 监管
Asos 称收到黑客推送,自称攻破其 Snowflake 实例 · cloud ⚠️ 单方口径
疑似黑客通过 Asos 手机 App 向其数据保护官和 IT 人员推送消息,声称已"完全攻破"其 Snowflake 实例,并威胁泄露客户数据,消息指向一个 Telegram 频道。Asos 截至周二上午未证实也未否认,股价一度跌至 10.2%,Snowflake 股价跌约 2%。Snowflake 此前有多起客户环境被攻破的先例,所以市场反应较快。目前只有攻击者的单方说法。Asos 8 月披露过一起影响约 138,828 名客户的凭证填充账户盗用事件,与这次是否相关未获证实。[14]
Qlik 获 AWS Data Competency 认证 · cloud
Qlik 宣布取得 AWS Data Competency,以"开放、端到端数据创新"为定位。属常规生态认证,信息量有限。[15]