embedding、rerank模型不少，需要一个框架来集中管理，选用了xinference，使用简单。采取容器化部署：
1、镜像下载：原始模型下载慢，采用渡渡鸟，下载
2、容器运行：有2个目录，暂未能明确如何使用：/root/.xinference/cache: 存放模型；/root/.cache/modelscope/hub/AI-ModelScope: 存放从魔塔下载的模型
docker run -itd --name xinference --restart=always --name=xinference \
-v /home/app/models:/models \ # 将本地模型映射进容器，所有本地模型都在这个目录下 -v /home/app/xinference:/opt/xinference -e XINFERENCE_ENV_HOME_PATH=/opt/xinference \ # 指定inference的主目录，暂时未明白用途 -e XINFERENCE_MODEL_SRC=modelscope \ # 指定模型的默认下载位置为魔塔，下载后的模型会保存在容器的~/.cache/modelscope/hub/AI-ModelScope目录 -e HTTP_PROXY=http://192.168.152.249:3128 -e HTTPS_PROXY=http://192.168.152.249:3128 -e NO_PROXY=192.0.0.1/8,localhost,127.0.0.1 \ # 如果在内网需要下载模型。。。 -p 9997:9997 \ --gpus all \ # 使用所有的gpu swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/xprobe/xinference:v1.6.1 \ # 来自渡渡鸟的镜像 xinference-local -H 0.0.0.0 \ --auth-config /opt/xinference/auth.json #启用鉴权，避免ui配置界面裸奔
鉴权信息配置文件：
# auth.json
{
"auth_config": {
"algorithm": "HS256",
"secret_key": "09d25e094faa6ca2556c818166b7a9563b93f7099ff6fbf4caa6cf63b88e8d3e7",
"token_expire_in_minutes": 30
},
"user_config": [
{
"username": "admin",
"password": "1qaz2wsx121",
"permissions": [
"admin"
],
"api_keys": [
"sk-72tkvudyGLPMi",
"sk-Z0TLIY4gt9w11"
]
},
{
"username": "test",
"password": "1qaz2wsx121",
"permissions": [
"models:list",
"models:read"
],
"api_keys": [
"sk-35tkasdyGLYMy",
"sk-ALTbg16ut981w"
]
}
]
}
3、模型加载：容器启动后到http://ip:9997下进行配置，启动需要的模型，需要填写Model Path：/models/model1，直接点击小火箭。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。