跳到主要内容
版本：v2.6.x

使用 Docker Compose 运行支持 GPU 的 Milvus

本页面演示了如何使用 Docker Compose 启动一个支持 GPU 的 Milvus 实例。

先决条件​

说明

如果在拉取镜像时遇到问题，请通过 community@zilliz.com 联系我们并提供问题详情，我们将为你提供支持。

安装 Milvus​

若要使用 Docker Compose 安装支持 GPU 的 Milvus，请按照以下步骤操作。

1. 下载并配置 YAML 文件​

下载 milvus-standalone-docker-compose-gpu.yml 并手动将其保存为 docker-compose.yml，或使用以下命令进行操作。

Shell
wget https://github.com/milvus-io/milvus/releases/download/v2.6.22/milvus-standalone-docker-compose-gpu.yml -O docker-compose.yml

你需要对 YAML 文件中 standalone 服务的环境变量进行如下修改：

  • 若要为 Milvus 分配特定的 GPU 设备，请在 standalone 服务的定义中找到 deploy.resources.reservations.devices[0].devices_ids 字段，并将该字段的值替换为所需 GPU 的 ID。你可以使用 NVIDIA GPU 显示驱动程序中附带的 nvidia-smi 工具来确定 GPU 设备的 ID。Milvus 支持多个 GPU 设备。

将单个 GPU 设备分配给 Milvus：

YAML
...
standalone:
  ...
  deploy:
    resources:
      reservations:
        devices:
          - driver: nvidia
            capabilities: ["gpu"]
            device_ids: ["0"]
...

将多个 GPU 设备分配给 Milvus：

YAML
...
standalone:
  ...
  deploy:
    resources:
      reservations:
        devices:
          - driver: nvidia
            capabilities: ["gpu"]
            device_ids: ['0', '1']
...

2. 启动 Milvus​

在存放 docker-compose.yml 的目录中，运行以下命令启动 Milvus：

Shell
sudo docker compose up -d

Creating milvus-etcd  ... done
Creating milvus-minio ... done
Creating milvus-standalone ... done
说明

如果无法执行上述命令，请检查您的系统是否安装了 Docker Compose V1。如果是这种情况，建议您根据 本页 的说明迁移到 Docker Compose V2。

Milvus 启动后，

  • 名为 milvus-standalone、milvus-minio 和 milvus-etcd 的容器已启动。
  • milvus-etcd 容器未向主机暴露任何端口，并将数据映射到当前文件夹中的 volumes/etcd。
  • milvus-minio 容器在本地监听 9090 和 9091 端口，使用默认身份验证凭据，并将数据映射到当前文件夹中的 volumes/minio 目录。
  • Milvus Standalone 容器使用默认设置在本地监听 19530 端口，并将数据映射到当前目录下的 volumes/milvus 卷中。

您可以使用以下命令检查容器是否已启动并运行：

Text
$ sudo docker compose ps

      Name                     Command                  State                            Ports
--------------------------------------------------------------------------------------------------------------------
milvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp
milvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp
milvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp

您还可以访问 http://127.0.0.1:9091/webui/ 上的 Milvus WebUI，以了解有关您的 Milvus 实例的更多信息。有关详细信息，请参阅 Milvus WebUI。

如果您在 docker-compose.yml 中为 Milvus 分配了多个 GPU 设备，可以指定哪个 GPU 设备对 Milvus 可见或可供使用。

使 GPU 设备 0 对 Milvus 可见：

Shell
CUDA_VISIBLE_DEVICES=0 ./milvus run standalone

使 GPU 设备 0 和 1 对 Milvus 可见：

Shell
CUDA_VISIBLE_DEVICES=0,1 ./milvus run standalone

您可以按以下方式停止并删除此容器。

Shell
# Stop Milvus
sudo docker compose down

# Delete service data
sudo rm -rf volumes

配置内存池​

Milvus 启动并运行后，您可以通过修改 milvus.yaml 文件中的 initMemSize 和 maxMemSize 设置来自定义内存池。

说明

milvus.yaml 文件位于 Milvus 容器内的 /milvus/configs/ 目录中。

要配置内存池，请按以下方式修改 milvus.yaml 文件中的 initMemSize 和 maxMemSize 设置。

  1. 使用以下命令将 Milvus 容器中的 milvus.yaml 文件复制到本地机器。请将 <milvus_container_id> 替换为您的实际 Milvus 容器 ID。

    Shell
    docker cp <milvus_container_id>:/milvus/configs/milvus.yaml milvus.yaml

  2. 使用您喜欢的文本编辑器打开复制的 milvus.yaml 文件。例如，使用 vim：

    Shell
    vim milvus.yaml

  3. 根据需要编辑 initMemSize 和 maxMemSize 设置，并保存更改：

    YAML
    ...
    gpu:
      initMemSize: 0
      maxMemSize: 0
    ...
  • initMemSize: 内存池的初始大小。默认值为 1024。
  • maxMemSize: 内存池的最大大小。默认值为 2048。

  1. 使用以下命令将修改后的 milvus.yaml 文件复制回 Milvus 容器。请将 <milvus_container_id> 替换为您实际的 Milvus 容器 ID。

    Shell
    docker cp milvus.yaml <milvus_container_id>:/milvus/configs/milvus.yaml

  2. 重启 Milvus 容器以应用更改：

    Shell
    docker stop <milvus_container_id>
    docker start <milvus_container_id>

下一步​

在 Docker 中安装 Milvus 后，您可以：