跳到主要内容
版本:v2.4.x

数据相关配置

dataCoord.channel.watchTimeoutInterval

说明默认值
观察通道的超时(秒)。数据节点 tickler 更新观察进度将重置超时计时器。300

dataCoord.channel.balanceWithRpc

说明默认值
是否通过 RPC 启用平衡,默认使用 etcd 监视为真

dataCoord.channel.legacyVersionWithoutRPCWatch

说明默认值
<= 此版本的数据节点被视为传统节点,没有基于 RPC 的 watch()。只有在滚动升级时才会使用,此时传统节点不会获得新通道2.4.1

dataCoord.channel.balanceSilentDuration

说明默认值
通道管理器开始后台通道平衡的持续时间300

dataCoord.channel.balanceInterval

说明默认值
频道管理器检查 dml 频道平衡状态的时间间隔360

dataCoord.channel.checkInterval

说明默认值
通道管理器前进通道状态的时间间隔(以秒为单位1

dataCoord.channel.notifyChannelOperationTimeout

说明默认值
通道操作通知超时(秒)。5

dataCoord.segment.maxSize

说明默认值
数据段的最大大小,单位:MB:datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定是否可以封存段。1024

dataCoord.segment.diskSegmentMaxSize

说明默认值
对于有磁盘索引的 Collection,段的最大大小(MB2048

dataCoord.segment.sealProportion

说明默认值
datacoord.segment.maxSize 与 datacoord.segment.sealProportion 的最小比例,用于封存数据段。datacoord.segment.maxSize 和 datacoord.segment.sealProportion 共同决定是否可以封存数据段。0.12

dataCoord.segment.assignmentExpiration

说明默认值
段分配的过期时间,单位:毫秒2000

dataCoord.segment.allocLatestExpireAttempt

说明默认值
重启后尝试从 rootCoord 分配最新 lastExpire 的时间200

dataCoord.segment.maxLife

说明默认值
段的最大生命周期(秒),24*60*6086400

dataCoord.segment.maxIdleTime

说明默认值
- 如果段在 maxIdleTime 内未接受 dml 记录,且段的大小大于
  • minSizeFromIdleToSealed 时,Milvus 会自动将其封存。
  • 段的最大空闲时间,单位为秒,10*60。 | 600 |

dataCoord.segment.minSizeFromIdleToSealed

说明默认值
从密封到空闲的最小分段大小(MB)。16

dataCoord.segment.maxBinlogFileNumber

说明默认值
- 一个段的最大 binlog 文件数,如果 binlog 文件数达到最大值,该段将被封存。
  • 段将被封存。 | 32 |

dataCoord.segment.smallProportion

说明默认值
当段的行数小于0.5

dataCoord.segment.compactableProportion

说明默认值
- (smallProportion * segment max # of rows)。
  • 如果压缩后的数据段有 | 0.85 |

dataCoord.segment.expansionRate

说明默认值
- 超过 (compactableProportion * segment max # of rows) 行数。
  • 必须大于或等于!!!!
  • 在压缩过程中,分段行数的大小可以超过分段最大行数的 (expansionRate-1) * 100%。 | 1.25 |

dataCoord.sealPolicy.channel.growingSegmentsMemSize

说明默认值
- 以 MB 为单位的大小阈值。
  • 如果每个分片的增长分段的总大小超过此阈值,最大的增长分段将被封存。 | 4096 |

dataCoord.autoUpgradeSegmentIndex

说明默认值
是否将分段索引自动升级为索引引擎版本

dataCoord.segmentFlushInterval

说明默认值
对同一分段进行闪烁操作的最小间隔时间(单位:秒2

dataCoord.enableCompaction

说明默认值
- 控制是否启用段压缩的开关值。
  • 压缩会将较小的分段合并为一个较大的分段,并清除超出 Time Travel 租期的已删除实体。 | 真 |

dataCoord.compaction.enableAutoCompaction

描述默认值
- 控制是否启用自动分段压缩的开关值,在此过程中,data coord 会在后台定位并合并可压缩的分段。
  • 此配置仅在 dataCoord.enableCompaction 设置为 true 时生效。 | true |

dataCoord.compaction.clustering.enable

说明默认值
启用聚类压缩true

dataCoord.compaction.clustering.autoEnable

说明默认值
启用自动聚类压缩

dataCoord.compaction.clustering.triggerInterval

描述默认值
聚类压缩触发间隔(秒600

dataCoord.compaction.clustering.minInterval

描述默认值
执行一个 Collection 的聚类压缩之间的最小间隔,以避免冗余压缩3600

dataCoord.compaction.clustering.maxInterval

说明默认值
如果一个数据集的聚类压缩时间没有超过 maxInterval,则强制压缩259200

dataCoord.compaction.clustering.newDataSizeThreshold

说明默认值
如果新数据大小大于 newDataSizeThreshold,则执行聚类压缩512m

dataCoord.compaction.clustering.maxTrainSizeRatio

说明默认值
Kmeans 训练中的最大数据大小比率,如果大于该比率,将减少采样以满足此限制0.8

dataCoord.compaction.clustering.maxCentroidsNum

说明默认值
均值训练中的最大中心点数量10240

dataCoord.compaction.clustering.minCentroidsNum

说明默认值
均值序列中的最小中心点数16

dataCoord.compaction.clustering.minClusterSizeRatio

说明默认值
均值训练中的最小聚类大小/平均大小0.01

dataCoord.compaction.clustering.maxClusterSizeRatio

说明默认值
最大聚类大小/克均值训练中的平均大小10

dataCoord.compaction.clustering.maxClusterSize

说明默认值
均值训练中的最大聚类大小5g

dataCoord.compaction.levelzero.forceTrigger.minSize

描述默认值
强制触发零级压缩的最小大小(以字节为单位),默认为 8MB8388608

dataCoord.compaction.levelzero.forceTrigger.maxSize

说明默认值
强制触发零级压缩的最大字节数,默认为 64MB67108864

dataCoord.compaction.levelzero.forceTrigger.deltalogMinNum

说明默认值
强制触发零级压缩的最小 deltalog 文件数量10

dataCoord.compaction.levelzero.forceTrigger.deltalogMaxNum

说明默认值
强制触发零级压缩的最大分录文件数,默认为 3030

dataCoord.syncSegmentsInterval

说明默认值
定期同步分段的时间间隔300

dataCoord.enableGarbageCollection

说明默认值
开关值,用于控制是否启用垃圾回收功能,以清除 MinIO 或 S3 服务中丢弃的数据。

dataCoord.gc.interval

说明默认值
数据协调器执行垃圾回收的时间间隔,单位:秒。3600

dataCoord.gc.missingTolerance

说明默认值
未记录的二进制日志 (binlog) 文件的保留时间。为该参数设置一个合理的大值可避免错误删除新创建的缺少元数据的 binlog 文件。单位:秒。86400

dataCoord.gc.dropTolerance

说明默认值
已删除段的 binlog 文件被清除前的保留时间,单位:秒。10800

dataCoord.gc.removeConcurrent

说明默认值
删除已删除 s3 对象的并发程序数32

dataCoord.gc.scanInterval

说明默认值
对象存储上的孤儿文件(文件在 oss 上,但尚未在 meta 上注册) 垃圾收集扫描间隔(小时168

dataCoord.brokerTimeout

说明默认值
5000ms,dataCoord 代理 rpc 超时5000

dataCoord.autoBalance

说明默认值
启用自动平衡

dataCoord.checkAutoBalanceConfigInterval

说明默认值
检查自动平衡配置的时间间隔10

dataCoord.import.filesPerPreImportTask

说明默认值
每个预导入任务允许的最大文件数。2

dataCoord.import.taskRetention

说明默认值
已完成或已失败状态下任务的保留时间(以秒为单位)。10800

dataCoord.import.maxSizeInMBPerImportTask

说明默认值
为防止生成小片段,我们将对导入的文件重新分组。该参数表示每个组(每个 ImportTask)中文件大小的总和。6144

dataCoord.import.scheduleInterval

说明默认值
调度导入的时间间隔,以秒为单位。2

dataCoord.import.checkIntervalHigh

说明默认值
检查导入的时间间隔(以秒为单位)设置为导入检查器的高频率。2

dataCoord.import.checkIntervalLow

说明默认值
检查导入的时间间隔(以秒为单位)设置为导入检查器的低频率。120

dataCoord.import.maxImportFileNumPerReq

说明默认值
单次导入请求允许的最大文件数。1024

dataCoord.import.waitForIndex

说明默认值
表示导入操作是否等待索引建立完成。

dataCoord.gracefulStopTimeout

说明默认值
强制停止节点而不优雅停止5

dataCoord.slot.clusteringCompactionUsage

说明默认值
聚类压缩任务的槽位使用量。16

dataCoord.slot.mixCompactionUsage

说明默认值
混合压缩任务的槽位使用量。8

dataCoord.slot.l0DeleteCompactionUsage

说明默认值
L0 压实作业的插槽使用量。8

dataCoord.ip

说明默认值
dataCoord 的 TCP/IP 地址。如果未指定,则使用第一个单播地址

dataCoord.port

说明默认值
数据协调中心的 TCP 端口13333

dataCoord.grpc.serverMaxSendSize

说明默认值
dataCoord 可以发送的每个 RPC 请求的最大大小,单位:字节536870912

dataCoord.grpc.serverMaxRecvSize

单位:字节默认值
dataCoord 可以接收的每个 RPC 请求的最大大小,单位:字节268435456

dataCoord.grpc.clientMaxSendSize

单位:字节默认值
dataCoord 客户端可发送的每个 RPC 请求的最大大小,单位:字节268435456

dataCoord.grpc.clientMaxRecvSize

单位:字节默认值
dataCoord 客户端可接收的每个 RPC 请求的最大大小,单位:字节536870912