━━━━━ 正文从此处全选复制 ━━━━━
FutureX · Database
本期要点
· Polars 2.0.0 发布:据社区解读,LazyFrame 默认改走 streaming engine,部分操作不再保证行序
· Google 开源 EmbeddingGemma 2:270M–740M 参数,文本、代码、图像、视频、音频映射到同一 768 维空间
· Weaviate v1.40.0 正式发布,距 rc.2 不到一周
· Snowflake Optima 新增跨查询反馈,称 19 表连接查询由近 2 小时降到 30 秒(厂商口径)
▎ 版本与产品发布
Polars Python 2.0.0 发布 · olap
Polars 推出了 Python 2.0.0。作为这款 DataFrame/查询引擎的第一次大版本升级,它在发布页上列出的破坏性变更中,有一项是 SQL 窗口函数改为在聚合之后的行上运行,而 QUALIFY 则排在投影之前求值。社区对 RC 阶段的解读还补充了几点。LazyFrame 查询默认交给新的 streaming engine 执行;连接、分组、unpivot 等操作返回的行序可能与输入不同,所以依赖隐式行序的下游代码要明确写出 maintain_order。解读中还说,累计共有 36 项破坏性变更,被移除的 API 和参数约 75 个。这些数字来自二手解读,应以官方升级指南为准。对在本地用 DuckDB、ClickHouse 做分析的用户而言,单机列式分析的默认引擎路线之争又多了一个例子:Polars 把速度更快的并行路径定为默认,代价是不再保证行序。[1]
Weaviate v1.40.0 正式发布 · vector
Weaviate 推出了 v1.40.0。10 月 1 日的 rc.2 当时已宣布功能完备,这次是它转为正式版。发布页的正文没有取到,具体有哪些特性,要看官方发布说明。同一天,v1.39.10 和 v1.38.20 两个维护版本也发布了,因此目前有三条版本线在同时维护。[2]
其他版本动态:ClickHouse 当天为多条版本线推送了补丁,包括 v26.9.12.8(stable)、v26.8.19.9(LTS)、v26.7.23.7 和 v26.3.43.4(LTS),前一天还有 v26.9.11.2、v26.8.18.2 等补丁;Qdrant v1.19.2 不再于每次 upsert 时重写完整的 sparse posting list,稀疏向量的写入因此明显加快,同时修复了 HNSW 构建没有用满线程的问题;LanceDB v0.40.0-beta.13 带来破坏性变更,list_databases 改为返回迭代器,各 SDK 也会拒绝零向量的搜索探针;Weaviate 的 v1.39.10、v1.38.20、v1.38.19 和 v1.39.9 修复了 LSM store 等问题;YugabyteDB 的 2026.1.3.0 与 2025.2.8.0 系列接连发布了 backport 构建;DataFusion 55.2.0-rc1 和 Materialize v26.45.0-rc.4 两个候选版也已出炉。[3]
▎ 数据库 × AI
Google 开源 EmbeddingGemma 2:sub-1B 多模态嵌入模型 · vector ⚠️ 厂商口径
EmbeddingGemma 2 建立在 Gemma 4 之上,以 Apache 2.0 协议开源,能把文本、代码、图像、视频和音频映射到同一个 768 维空间。它的参数规模从只处理文本和代码的 270M,到覆盖全部模态的 740M,加载时还可以省掉用不到的模态编码器。Google 宣称它的表现超过参数量是其两倍的同类嵌入模型,但这是自行报告的结论,没有第三方复现。对向量库用户来说,更有实际意义的是 Matryoshka 式截断,向量可以截到 512、256 或 128 维。以 bfloat16 存储时,100 万条 768 维向量约占 1.5 GB,截到 128 维后只需约 250 MB,也就是压缩到 6 倍之小,代价是召回率会受影响,需要使用者自己评估。由此,跨模态检索只需一个向量列和一套索引,端侧设备和内存受限的场景,索引成本也会随之降低。[4]
KAIST 研发可随增删保持准确率的向量索引 · vector
KAIST 团队研发出一种向量数据库索引,记录不断新增和删除之后,它依然能保持 AI 搜索的准确率。HNSW 这类图索引在频繁更新后质量下降,这是一个由来已久的问题,该索引正是针对它。目前能看到的只有媒体摘要,没有论文,也没有基准数据,所以具体算法和提升幅度还有待核实。[5]
DBtune 4.0、Collate × StarRocks、Meta 广告 MCP 登陆 Databricks · ai-native
DBtune 推出了 4.0,用来扩充它那款由 AI 驱动的 PostgreSQL 调优产品。Collate 演示了如何把 StarRocks 接入对话式 AI,这属于 ClickHouse 竞品一侧的 agent 查询入口生态。Databricks 则宣布,Meta 广告 MCP server 现在可以接入它的平台。这三条消息都只有标题层面的信息,具体能力要以官方说明为准。[6]
▎ 湖仓 · 开放表格式 · HTAP
Databricks 发文称"湖仓已追平数仓性能" · lakehouse ⚠️ 厂商口径
Databricks 在官方博客中表示,2024 年底其生产 SQL 负载组合的速度比 2022 年基线快 77%,折合 Databricks Performance Index 的 4 倍左右。这个指数取自该公司自家数十亿条生产查询,并不是公开基准。博客还称,近五个月里 BI 负载提升约 14%,数据探索约 13%,ETL 约 9%。此外,它说 Lakehouse//RT(serverless 分析读取)的延迟最低可达 10 ms,吞吐最高为 12,000 QPS,可以直接查询受治理的湖仓表,从而不再需要单独的 OLAP 服务副本和 CDC 链路。这最后一点针对的正是 ClickHouse 一系的实时分析定位。文中的案例,如 Lumen 迁移 133 TB 后查询快 90%,全部由客户自行报告,没有第三方对照。[7]
AWS 给出 DuckDB + S3 Tables + Glue 的低成本 ETL 参考方案 · lakehouse
AWS 的博客介绍了一种 ETL 做法:在 AWS Glue 上用 DuckDB 读写 Amazon S3 Tables(由 Iceberg 托管的表)。这条路线的卖点是以单节点引擎代替集群,从而降低成本。此前已有报道称 Aurora PostgreSQL 内嵌了 DuckDB,两者合起来看,AWS 正在多条产品线上同时押注 DuckDB 与 Iceberg 的组合。[8]
▎ 技术 · 架构 · 性能基准
Snowflake Optima Planning 新增跨查询反馈 · olap ⚠️ 厂商口径
Snowflake 表示,Optima Planning 现在可以把执行反馈用到全新的查询上。以前它只能识别重复出现的完整查询;现在它还能按计划片段或单个算子来匹配,例如共享视图里的 join 树,或者某一个具体的 join,所以新查询第一次执行,就能用上历史反馈。官方给出的案例来自一家美国医疗科技公司的生产负载,其中一条 19 表连接的查询,耗时从近 2 小时缩短到 30 秒。这是经过挑选的个例,并不代表普遍的收益。在设计上,匹配得到的只是候选项,系统会判断反馈是否被过度推广,迁移过于激进时就不会采用,用户也不必手工配置。这条路线是依据执行反馈来纠正基数估计的偏差,与 Snowflake 近期在 Adaptive Warehouses 等方面的自动调优投入一脉相承。[9]
学界 · 研究前沿
· Bounded Provisional Visibility(arXiv 2610.05826):它面向持续摄入数据的 RAG 向量库,在新内容能被检索到之前,先限制投毒内容可能暴露的范围。[10]
· SALUS(arXiv 2610.05540):它利用多个 agent 输出的弱监督信号,自动审查 NL-to-SQL 基准自身的质量。[11]
· ModelLakeFishing(arXiv 2610.04904):它针对百万量级的"模型湖"做高效检索,帮助人们在大量可复用的模型中找到合适的一个。[12]
· MaDI-Bench(arXiv 2606.30371):这是一个端到端的数据集成基准,此次为 v2 更新版。[13]
▎ 云厂商 · 生态 · 监管
Asos 称收到黑客推送,自称攻破其 Snowflake 实例 · cloud ⚠️ 单方口径
有疑似黑客的人通过 Asos 的手机 App,向该公司的数据保护官和 IT 人员发送了推送消息,声称已经"完全攻破"其 Snowflake 实例,并威胁要泄露客户数据,消息里还附了一个 Telegram 频道。截至周二上午,Asos 既没有证实也没有否认,其股价一度跌至 10.2%,Snowflake 的股价则下跌约 2%。Snowflake 此前出现过多起客户环境被攻破的先例,市场因此反应较快。现阶段只有攻击者的单方说法。Asos 在 8 月披露过一起凭证填充导致的账户盗用事件,影响约 138,828 名客户,它与这次事件是否有关,目前没有得到证实。[14]
Qlik 获 AWS Data Competency 认证 · cloud
Qlik 宣布已取得 AWS Data Competency,并把自己定位为"开放、端到端数据创新"。这属于常规的生态认证,能提供的信息有限。[15]
文中 [N] 为来源编号,全部来源链接请点文末「阅读原文」查看。
FutureX · 记录未来如何发生
素材来源多方媒体/网络新闻