Milvus 路线图
🌌 迈向下一代多模态数据库和数据湖
Milvus 产品路线图
欢迎阅读 Milvus 路线图!
我们正在将 Milvus 带入一个新时代--下一代多模态数据库--从结构化数据到非结构化数据,从实时检索到离线分析,从单集群性能到全球数据湖架构。
本路线图概述了Milvus v2.6(进行中)、**Milvus v3.0(目标是 2026 年底)和Milvus v3.1(长期开发)的核心目标,以及向量湖(数据湖/Loon)**的演进计划。
Milvus v2.6(进行中)
时间表:2025 年中 - 2025 年底
重点:升级数据模型,重构流架构,构建热/冷分层功能,推出向量湖原型(v0.1)。
🎯主要亮点
🔹数据模型升级
-
引入统一的Tensor / StructList数据类型,支持多 Embedding 结构,实现与ColBERT、CoLQwen、视频和多模态向量的兼容。
-
添加地理数据支持,包括点、区域和空间索引(基于libspatial),以扩展 LBS 和 GIS 中的用例。
-
支持带有时区数据类型的时间戳。
流节点架构重构
-
重写流式摄取管道,优化增量写入和实时计算。
-
显著提高并发性能和稳定性,为统一的实时和离线处理奠定基础。
-
引入新的消息队列引擎:啄木鸟。
🔹热/冷分层与存储架构(StorageV2)
-
支持双存储格式:Parquet和Vortex,提高并发性和内存效率。
-
通过自动冷热数据分离和智能调度实现分层存储。
🔹向量湖原型(v0.1)
-
通过 FFI 与Spark/DuckDB/DataFusion集成,实现离线 Schema 演进和 KNN 查询。
-
提供多模态数据可视化和 Spark ETL 演示,建立基础数据湖架构。
🌠 Milvus v3.0(目标日期:2026 年初)
时间表:2025 年末 - 2026 年初
重点:全面增强搜索体验、Schema 灵活性和非结构化数据支持,同时发布向量湖(v0.2)。
主要亮点
🔹全面改进搜索体验
-
引入**More Like This (MLT)**相似性搜索,支持带有位置或负面示例的搜索。
-
增加语义搜索功能,如突出显示和增强。
-
支持自定义字典和同义词表,在分析器层实现词汇和语义规则定义。
-
为查询引入聚合功能。
多租户和资源管理
-
支持多租户删除、统计和冷热分层。
-
改进资源隔离和调度策略,以支持单个集群中的数百万个表。
增强 Schema 和主键功能
-
实施全局主键重复数据删除(全局 PK 重复数据删除),以保证数据的一致性和唯一性。
-
支持灵活的 Schema 管理(添加/删除列、备份填充)。
-
允许在向量字段中使用NULL 值。
🔹扩展的非结构化数据类型(BLOB/文本)
-
引入BLOB 类型,为文件、图像和视频等二进制数据提供本地存储和引用。
-
引入TEXT 类型,提供增强的全文和基于内容的搜索功能。
企业级功能
-
支持基于快照的备份和恢复。
-
提供端到端跟踪和审计日志。
-
在多集群部署中实施主动-备用高可用性 (HA)。
🔹向量湖(v0.2)
-
支持文本/BLOB 存储和多版本快照管理。
-
集成 Spark,用于离线索引、聚类、重复数据删除和降维任务。
-
提供ChatPDF 冷查询和离线基准演示。
🪐 Milvus v3.1(长期愿景)
时间表:2026 年年中
重点:用户自定义函数 (UDF)、分布式计算集成、标量查询优化、动态分片以及正式发布向量湖 (v1.0)。
🎯主要亮点
用户定义函数和分布式计算生态系统
-
支持用户自定义函数(UDF),允许开发人员在检索和计算工作流中注入自定义逻辑。
-
与Ray Dataset / Daft深度集成,用于分布式 UDF 执行和多模态数据处理。
标量查询和本地格式演变
-
优化标量字段的过滤和聚合性能。
-
增强表达式评估和索引加速执行。
-
支持本地文件格式的就地更新。
高级搜索功能
-
添加以下功能:RankBy、OrderBy、Facet 和模糊匹配查询。
-
增强文本检索,支持
-
match_phrase_prefix -
Completion Suggester -
Term Suggester -
Phrase Suggester
-
动态分片和可扩展性
-
启用自动分片和负载平衡,实现无缝扩展。
-
改进全局索引构建,确保分布式搜索性能。
向量湖 V1.0
-
与Ray / Daft / PyTorch深度集成,支持分布式 UDF 和上下文工程用例。
-
提供RAG(检索增强生成)演示 ,并从 Iceberg 表导入。
共同构建 Milvus 的未来
Milvus 是一个由全球开发者社区驱动的开源项目。
我们热情邀请所有社区成员帮助打造下一代多模态数据库:
-
💬分享反馈:提出新功能或优化建议
-
🐛报告问题:通过 GitHub Issues 报告错误
-
🔧贡献代码:提交 PR 并帮助构建核心功能
-
⭐宣传:分享最佳实践和成功案例
👉GitHub: milvus-io/milvus