AI聊天无敏感词:技术原理与应用实践
Linux环境下Milvus向量数据库的安装与应用
Milvus是一款全球领先的开源向量数据库,赋能AI应用和向量相似度搜索,加速非结构化数据检索。本文旨在指导读者在Linux环境下安装Milvus向量数据库,并通过实例和清晰的步骤,使非专业读者也能理解并成功安装这一技术工具。
Milvus简介
Milvus是一个开源的向量相似度搜索引擎,主要用于大规模向量数据的存储和查询。它支持多种向量类型,包括稠密向量、稀疏向量、二进制向量等,并提供了多种相似度度量方法,如欧氏距离、余弦相似度、Jaccard相似度等。Milvus支持分布式部署,可以在多台服务器上搭建分布式搜索集群,支持高并发查询和批量查询。Milvus通过提供简单易用的API,可以轻松地与各种应用程序集成,如图像搜索、推荐系统、自然语言处理等领域。此博文以centos环境下安装milvus为例进行介绍,博文实验环境如下:
- 操作系统:centos7.9
- docker版本:23.0.1
- milvus版本:2.2.9
安装环境要求
对于单机部署来说主要满足满足docker和docker compose组件版本要求就可以,另外几个相关软件是在通过docker compose安装milvus时自动安装的。
硬件要求
序号 | 硬件类型 | 最低配置要求 | 推荐配置 | 备注 |
---|---|---|---|---|
1 | CPU | intel二代以上CPU | 4核以上CPU | 目前不支持AMD CPU类型 |
2 | CPU指令集 | SSE4.2、AVX、AVX2、AVX-512 | SSE4.2、AVX、AVX2、AVX-512 | 确保CPU至少支持一个列出的SIMD扩展 |
3 | 内存 | 8G | 16G | |
4 | 硬盘驱动 | SATA 3.0 SSD或者更高 | NVMe SSD或者更高 |
软件要求
序号 | 软件 | 要求 | 备注 |
---|---|---|---|
1 | Linux系统 | Docker 19.03以上版本,Docker Compose 1.25.1以上版本 | |
2 | etcd | 3.5.0 | 对集群性能至关重要,与磁盘性能相关 |
3 | MinIO | RELEASE.2023-03-20T20-16-18Z | |
4 | Pulsar | 2.8.2 |
安装步骤
1. 安装docker
docker的安装见博文 Linux之docker安装,这里不再赘述。
2. 安装fio命令
yum install -y fio
3. 磁盘性能测试
理想情况下,磁盘的IOPS应超过500,而fsync延迟的99%以上应低于10ms。
4. 检查CPU支持的指令集
我们使用lscpu命令可以查看CPU支持的指令集,Flags的参数值就是该服务器支持的CPU指令集。
5. 检查docker版本
根据milvus安装要求,docker版本要求是19.03以上版本,我们这里安装的docker版本为23.0.1,满足要求。
docker -v
Docker version 23.0.1, build a5ee5b1
6. 安装docker compose组件
根据milvus安装要求,docker compose版本要求是1.25.1以上,我们这里安装的版本是1.29.2,满足要求。
yum -y install python3-pip
pip3 install --upgrade pip
pip install docker-compose
docker-compose version
docker-compose version 1.29.2, build unknown
7. 下载YAML文件
在/home目录下创建一个docker目录,当然这个可以自定义,这个目录将用于存储我们的milvus容器的volumes数据。
mkdir docker
cd docker/
wget https://github.com/milvus-io/milvus/releases/download/v2.2.9/milvus-standalone-docker-compose.yml -O docker-compose.yml
8. 安装milvus容器
在下载存储docker-compose.yml文件的目录下执行docker-compose up -d 命令开始安装milvus容器。
docker-compose up -d
9. 查看milvus容器运行状态
使用docker-compose安装完成milvus后自动启动了,可以使用命令docker ps或者docker-compose ps命令查看容器运行状态。看到milvus-etcd 、milvus-minio 、milvus-standalone三个容器说明安装成功。
10. milvus数据库连接测试
使用浏览器访问连接地址http://ip:9091/api/v1/health,返回{