研華正式發布國產化昇騰AI Box與Deepseek R1模型部署全流程！
加入技術交流群
隨著深度求索（DeepSeek）大模型的發布引發行業熱議，研華科技基于昇騰Atlas平臺邊緣AI Box MIC-ATL3S正式發布與Deepseek R1模型的部署流程。該平臺依托昇騰芯片的強大異構計算能力，結合研華邊緣AI Box高可靠特點，通過模型輕量化、算子適配等技術實現大模型邊緣端部署。
本文引用地址：http://www.104case.com/article/202502/467131.htm硬件部署
■ CPU：Atlas 310P
□ 10個DaVinciV200 AI core，主頻最高達1.08GHz
□ 16個64位TaishanV200M處理器核，核主頻最高1.9GHz
□ 8個DaVinciV200 Vector core，主頻最高達1GHz
■ 內存：24G LPDDR4
■ AI算力：176TOPS INT8
■ 操作系統：OpenEuler
■ 模型：DeepSeek-R1
推理模型
根據MIC-ATL3S硬件規格，我們選取了DeepSeek-R1-Distill-Qwen-1.5B這個精度和對硬件配置要求相對平衡的蒸餾模型進行適配和部署。
部署步驟
昇騰310P + openEuler22.03部署deepseek-R1
1. 安裝驅動包以及CANN
前往昇騰社區獲當前芯片版本的驅動、FW、以及CANN（昇騰異構計算架構）
driver：Ascend-hdk-310p-npu-driver_xxxxx_linux-aarch64_chip-enable.runFirmware：Ascend-hdk-310p-npu-firmware_xxxxx_chip-enable.runCANN：Ascend-cann-toolkit_xxxxx_linux-aarch64.run
2. 安裝依賴組件
3. 安裝mindspore （昇思模型框架）
4. DeepSeek-R1模型拉取
拉取模型指令，以1.5B為例
yum install git-lfs -ygit lfs installgit clone https://ai.gitee.com/hf-models/DeepSeek-R1-Distill-Qwen-1.5B
克隆完成示例如下，包含HF完整的倉庫：
5. 模型轉換
下載后的模型為safetensors格式，還不能直接使用，先用transformers轉換為ONNX格式，再使用atc轉換為OM(昇騰)格式才能使用。
創建python腳本將safetensors格式轉換為ONNX格式，最終轉換為OM格式。
執行腳本后會生成對應模型文件，生成對應格式模型文件 執行：
Python3 convert.py./convert.sh
最后，需要用一個簡單的python腳本去做互動窗口，運行指令：python3 deepseek_r1.py
示例：
總結：目前研華進行MIC-ATL3S適配更多Deepseek模型，以及與生態伙伴展開具體應用場景測試，后續我們會持續公布研華邊緣AI平臺產品的部署&測試內容，敬請關注。
研華昇騰310系列邊緣AI平臺
研華基于昇騰Atlas 310系列平臺開發出三款不同形態的邊緣AI產品：工業標準化AI模組、邊緣AI開發套件以及邊緣AI盒子。此系列產品算力高達176 Tops，專注于工業場景下的細分應用。同時，在軟件方面，研華聚焦底層開發，定期更新SDK套件以滿足客戶的開發需求，并自主研發工業領域遠程部署和管理工具。
評論