跳到主要内容
版本：v2.6.x

稀疏向量

稀疏向量是信息检索和自然语言处理中捕捉表层术语匹配的重要方法。虽然稠密向量在语义理解方面表现出色，但稀疏向量往往能提供更可预测的匹配结果，尤其是在搜索特殊术语或文本标识符时。

稀疏向量概述​

稀疏向量是一种特殊的高维向量，其中大部分元素为零，只有少数维度的值不为零。如下图所示，稠密向量通常表示为连续数组，其中每个位置都有一个值（例如[0.3, 0.8, 0.2, 0.3, 0.1] ）。相比之下，稀疏向量只存储非零元素及其维度的索引，通常以{ index: value} 的键值对表示（如[{2: 0.2}, ..., {9997: 0.5}, {9999: 0.7}] ）。

Sparse Vector Representation稀疏向量表示法

通过标记化和评分，文档可以表示为词袋向量，其中每个维度对应词汇表中的一个特定单词。只有文档中出现的单词才有非零值，从而形成稀疏向量表示法。稀疏向量可通过两种方法生成：

  • 传统的统计技术，如TF-IDF（词频-反向文档频率）和BM25（最佳匹配 25），根据词在语料库中的频率和重要性为词分配权重。这些方法将简单的统计数据计算为每个维度的分数，而每个维度代表一个标记。 Milvus 利用 BM25 方法提供内置的全文搜索功能，可自动将文本转换为稀疏向量，无需人工预处理。这种方法非常适合基于关键字的搜索，在这种搜索中，精确度和精确匹配非常重要。更多信息，请参阅全文搜索。

  • 神经稀疏 Embedding 模型是通过在大型数据集上训练生成稀疏表示的学习方法。它们通常是具有 Transformer 架构的深度学习模型，能够根据语义上下文对术语进行扩展和权衡。Milvus 还支持由SPLADE 等模型外部生成的稀疏嵌入。详情请参阅Embedding。

稀疏向量和原文可以存储在 Milvus 中，以便高效检索。下图概述了整个流程。

Sparse Vector Workflow稀疏向量工作流程

说明

除了稀疏向量，Milvus 还支持稠密向量和二进制向量。稠密向量是捕捉深层语义关系的理想选择，而二进制向量则在快速相似性比较和重复内容删除等场景中表现出色。更多信息，请参阅稠密向量和二进制向量。

数据格式​

在下面的章节中，我们将演示如何从 SPLADE 等学习到的稀疏 Embedding 模型中存储向量。如果您正在寻找对基于稠密向量的语义搜索进行补充的东西，我们推荐使用 BM25 进行全文搜索，而不是 SPLADE，因为这样做比较简单。如果你已经进行了质量评估，并决定使用 SPLADE，那么你可以参考Embedding，了解如何使用 SPLADE 生成稀疏向量。

Milvus 支持以下格式的稀疏向量输入：

  • 字典列表（格式为{dimension_index: value, ...})

    # Represent each sparse vector using a dictionary
    sparse_vectors = [{27: 0.5, 100: 0.3, 5369: 0.6} , {100: 0.1, 3: 0.8}]

  • 稀疏矩阵（使用scipy.sparse 类）

    from scipy.sparse import csr_matrix

    # First vector: indices [27, 100, 5369] with values [0.5, 0.3, 0.6]
    # Second vector: indices [3, 100] with values [0.8, 0.1]
    indices = [[27, 100, 5369], [3, 100]]
    values = [[0.5, 0.3, 0.6], [0.8, 0.1]]
    sparse_vectors = [csr_matrix((vals, ([0]*len(idx), idx)), shape=(1, 5369+1)) for idx, vals in zip(indices, values)]

  • 元组迭代列表（如[(dimension_index, value)])

    # Represent each sparse vector using a list of iterables (e.g. tuples)
    sparse_vector = [
        [(27, 0.5), (100, 0.3), (5369, 0.6)],
        [(100, 0.1), (3, 0.8)]
        ]

定义 Collection Schema​

创建 Collection 之前，需要指定 Collection Schema，其中定义字段，并可选择将文本字段转换为相应稀疏向量表示的函数。

添加字段​

要在 Milvus 中使用稀疏向量，需要创建一个模式包括以下字段的 Collection：

  • 一个SPARSE_FLOAT_VECTOR 字段，预留用于存储稀疏向量，可以从VARCHAR 字段自动生成，也可以直接在输入数据中提供。

  • 通常，稀疏向量所代表的原始文本也会存储在 Collection 中。您可以使用VARCHAR 字段来存储原始文本。

from pymilvus import MilvusClient, DataType

client = MilvusClient(uri="http://localhost:19530")

schema = client.create_schema(
    auto_id=True,
    enable_dynamic_fields=True,
)

schema.add_field(field_name="pk", datatype=DataType.VARCHAR, is_primary=True, max_length=100)
schema.add_field(field_name="sparse_vector", datatype=DataType.SPARSE_FLOAT_VECTOR)
schema.add_field(field_name="text", datatype=DataType.VARCHAR, max_length=65535, enable_analyzer=True)

在此示例中，添加了三个字段：

  • pk:该字段使用VARCHAR 数据类型存储主键，该数据类型是自动生成的，最大长度为 100 字节。

  • sparse_vector:该字段使用SPARSE_FLOAT_VECTOR 数据类型存储稀疏向量。

  • text:该字段使用VARCHAR 数据类型存储文本字符串，最大长度为 65535 字节。

说明

要启用 Milvus 或在数据插入过程中从指定文本字段生成稀疏向量 Embedding，必须采取涉及函数的额外步骤。有关详细信息，请参阅全文搜索。

设置索引参数​

为稀疏向量创建索引的过程与为稠密向量创建索引的过程类似，但在指定的索引类型 (index_type)、距离度量 (metric_type) 和索引参数 (params) 上有所不同。

index_params = client.prepare_index_params()

index_params.add_index(
    field_name="sparse_vector",
    index_name="sparse_inverted_index",
    index_type="SPARSE_INVERTED_INDEX",
    metric_type="IP",
    params={"inverted_index_algo": "DAAT_MAXSCORE"}, # or "DAAT_WAND" or "TAAT_NAIVE"
)

本示例使用SPARSE_INVERTED_INDEX 索引类型和IP 作为度量。有关详细信息，请参阅以下资源：

创建 Collection​

完成稀疏向量和索引设置后，就可以创建包含稀疏向量的 Collection。下面的示例使用 create_collection方法创建一个名为my_collection 的 Collection。

client.create_collection(
    collection_name="my_collection",
    schema=schema,
    index_params=index_params
)

插入数据​

必须为创建 Collection 时定义的所有字段提供数据，自动生成的字段除外（例如启用了auto_id 的主键）。如果使用内置的 BM25 函数自动生成稀疏向量，则在插入数据时也应省略稀疏向量字段。

data = [
    {
        "text": "information retrieval is a field of study.",
        "sparse_vector": {1: 0.5, 100: 0.3, 500: 0.8}
    },
    {
        "text": "information retrieval focuses on finding relevant information in large datasets.",
        "sparse_vector": {10: 0.1, 200: 0.7, 1000: 0.9}
    }
]

client.insert(
    collection_name="my_collection",
    data=data
)

要使用稀疏向量执行相似性搜索，请准备好查询数据和搜索参数。

# Prepare search parameters
search_params = {
    "params": {"drop_ratio_search": 0.2},  # A tunable drop ratio parameter with a valid range between 0 and 1
}

# Query with sparse vector
query_data = [{1: 0.2, 50: 0.4, 1000: 0.7}]

然后，使用search 方法执行相似性搜索：

res = client.search(
    collection_name="my_collection",
    data=query_data,
    limit=3,
    output_fields=["pk"],
    search_params=search_params,
    consistency_level="Strong"
)

print(res)

# Output
# data: ["[{'id': '453718927992172266', 'distance': 0.6299999952316284, 'entity': {'pk': '453718927992172266'}}, {'id': '453718927992172265', 'distance': 0.10000000149011612, 'entity': {'pk': '453718927992172265'}}]"]

有关相似性搜索参数的更多信息，请参阅基本向量搜索。