type
status
date
slug
summary
tags
category
icon
password
一、安装检查CANN（手册）
0. 检查驱动安装（手册）
1. 检查ascend_toolkit安装成功
2. 检查安装Kernels
3.Ascend Docker Runtime 要安装
- 步骤参考：这里
3.1 编译需要安装 go
yum install golang（❌不要这样装，版本太低有问题，要去官网下载）
- 设置镜像，不然包下载不下来
export GOPROXY=https://goproxy.cn,direct- 下载go 包
wget https://go.dev/dl/go1.24.2.linux-amd64.tar.gz - 安装 go 包
rm -rf /usr/local/go && tar -C /usr/local -xzf go1.24.2.linux-arm64.tar.gz3.2 检查
docker info | grep Runtimes | grep ascend因 lmdeploy 以及 vllm 等框架暂不支持 310，只能使用华为官方的框架进行部署
二、华为官方的推理镜像
mis-tei（embedding rerank）
- 镜像申请以及下载地址：这里，注意下载7.0.RC1-300I-Duo-aarch64版本
- 使用方式：参考
mindie（LLM VLM）
- 镜像申请以及下载地址：这里，注意选择 架构（x86/arm），系统，显卡，版本
- 容器使用方式：参考
- 官方example：参考
三、模型部署
华为框架部署的接口中 VLM 不适配 openai 的接口，rerank 不适配 jina 的接口，要写一个接口转发的服务
报错
因为普通用户无访问权限，将docker run 的时候用户改成root 解
1. embedding
- 将模型文件挂载进去，注意修改部署的 ip 和 端口
- 测试请求
2. rerank
- 将模型文件挂载进去，注意修改部署的 ip 和 端口
- 测试请求
3. VLM
- 先启动环境容器，后续操作在容器中操作
- 要安装额外的 VL 包
- 修改启动配置（着重修改标记的参数）
- 修改模型权重的 config.json 和权限
- 启动服务
- 测试服务
. LLM（跟 VLM 流程一致，不需要安装额外VL包）
- 先启动环境容器，后续操作在容器中操作
四、接口转发
requirements.txt
openai_ascend_trans.py
- 安装并启动服务
经过接口转发之后就可以注册到 new -api 上统一管理了
- 作者:SimonSun
- 链接:https://simonsun.xyz//article/tech-9
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
