正则表达式 Compatible with Milvus 2.5.11+
regex 过滤器是一种正则表达式过滤器:令牌生成器生成的任何令牌只有在与您提供的表达式匹配时才会被保留,否则都会被丢弃。
配置
regex 过滤器是 Milvus 的自定义过滤器。要使用它,请在过滤器配置中指定"type": "regex" ,并使用expr 参数指定所需的正则表达式。
- Python
- Java
- NodeJS
- Go
- cURL
{
"tokenizer": "standard",
"filter": [{
"type": "regex",
"expr": "^(?!test)" # keep tokens that do NOT start with "test"
}]
}
// java
// node
// go
# curl
regex 过滤器接受以下可配置参数。
| 参数
|
参数
| | --- | --- | |
expr
|
应用于每个标记的正则表达式模式。匹配的标记将被保留;不匹配的标记将被删除。有关 regex语法的详细信息,请参阅语法。
|
regex 过滤器对标记符号生成器生成的术语进行操作,因此必须与标记符号生成器结合使用。
定义analyzer_params 后,可以在定义 Collection Schema 时将其应用到VARCHAR 字段。这样,Milvus 就可以使用指定的分析器对该字段中的文本进行处理,从而实现高效的标记化和过滤。有关详情,请参阅示例使用。
示例
在将分析器配置应用到 Collection 模式之前,请使用run_analyzer 方法验证其行为。
分析器配置
- Python
- Java
- NodeJS
- Go
- cURL
{
"tokenizer": "standard",
"filter": [{
"type": "regex",
"expr": "^(?!test)"
}]
}
// java
// node
// go
# curl
验证使用run_analyzer
- Python
- Java
- NodeJS
- Go
- cURL
# Sample text to analyze
sample_text = "testItem apple testCase banana"
# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)
// java
// node
// go
# curl
预期输出
['apple', 'banana']