Standard Analyzer
标准分析器是 Milvus 的默认分析器,如果没有指定分析器,它将自动应用于文本字段。它使用基于语法的标记化,因此对大多数语言都很有效。
English
Milvus 中的英语分析器旨在处理英语文本,应用特定语言规则进行标记化和过滤。
Chinese
中文分析器专为处理中文文本而设计,可提供有效的分段和标记化功能。
Arabic
内置 Arabic analyzer 通过规范化字母变体和数字、对词项进行词干提取,并移除阿拉伯语 stop words 来处理阿拉伯语文本。
Thai
内置 Thai analyzer 会将泰语文本切分为词,规范化 Unicode 十进制数字,并移除泰语停用词。