0
| 本文作者: 二維馬曉寧 | 2026-03-02 18:42 |
以往大家習慣將 AI 能力依賴于公有云服務,而隨著 OpenClaw 等智能體工具的快速普及,不管是個人開發者還是企業更需要一個 7×24 小時運行在本地、可直接響應指令的 “數字員工”。但云端方案存在的數據隱私風險與持續高昂的 API、Token 成本,讓工業級智能體在規模化落地時面臨瓶頸,獨立部署大模型服務已成為企業構建自主可控 AI 能力的必然選擇。
眾智FlagOS 是一款完全開源的 AI 系統軟件棧,支持多款異構 AI 芯片,可讓 AI 模型與智能體輕松實現快速部署。本次 FlagOS 聯合騰訊云 HAI(面向AI和科學計算的容器鏡像中心),將 Qwen3-4B-hygon-flagos 模型鏡像正式上線騰訊云 HAI 社區,開發者可直接拉取使用。基于該鏡像,可快速在加速卡上運行FlagOS + OpenClaw,實現小模型驅動智能體執行,為企業和開發者從公有云 API 轉向自建本地 AI 服務提供了可落地的實踐方案。
安裝及測試過程
基于 FlagOS 系統軟件棧的跨芯能力,眾智 FlagOS 社區把 Qwen3-4B 適配至多款GPU硬件。以下內容重點介紹如何部署與配置 FlagOS 版 Qwen3-4B的過程,僅用于復現實驗結果,不影響對 Agent 能力的判斷。
1. 安裝Qwen3-4B-hygon-flagos
a. 首先,從 HAI 社區平臺找到 Qwen3-4B-hygon-FlagOS,根據README.md拉取模型并啟動服務。
以 ModelScope為例,下載模型權重
Plain Text
pip install modelscope
modelscope download --model Qwen/Qwen3-4B --local_dir /share/Qwen3-4B
b. 點擊【部署當前鏡像】獲取鏡像拉取命令,從 HAI 社區拉取鏡像
Plain Text
docker pull haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0
c. 通過下面的代碼,啟動容器。
這段代碼可直接復制使用,也可以根據需要修改容器名,即在第4行--name=flagos對 name 進行修改。
SQL
#Container Startup
docker run -it \
--name=flagos \
--network=host \
--privileged \
--ipc=host \
--shm-size=16G \
--memory="512g" \
--ulimit stack=-1:-1 \
--ulimit memlock=-1:-1 \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
--device=/dev/kfd \
--device=/dev/dri \
--group-add video \
-u root \
-v /opt/hyhal:/opt/hyhal \
-v /share:/share \
haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0 \
/bin/bash
d. 進入容器(如果上一步修改了容器名,這里要將flagos對 name 進行修改。
Plain Text
docker exec -it flagos bash
e. 啟動服務
Plain Text
flagscale serve qwen3
2. 安裝配置OpenClaw
安裝過程: 參見:https://github.com/openclaw/openclaw?spm=5176.28103460.0.0.696675514ZMILC , 通過源碼方式,安裝 OpenClaw。
Python
git clone https://github.com/openclaw/openclaw.git
cd openclaw
pnpm install
pnpm ui:build # auto-installs UI deps on first run
pnpm build
pnpm openclaw onboard --install-daemon
# Dev loop (auto-reload on TS changes)
pnpm gateway:watch
配置過程:
a. 訪問鏈接以下鏈接:https://cloud.tencent.com/developer/article/2625144,文中有給出通用的"模型配置"文件格式,可以直接套用,套用后命令如下。
需要注意的是,配置本地模型時,廠商一定是加速推理工具如vllm。
SQL
pnpm openclaw config set 'models.providers.vllm_local' --json '{
"baseUrl": "http://1.15.51.106:9033/v1",
"apiKey": "anykey", #key不可為空,如果原來模型沒有配置key,任意填寫即可
"api": "openai-completions",
"models": [
{ "id": "Qwen3-4B-hygon-flagos", "name": "遠程模型" }
]
}'
執行之后出現如下信息提示:
啟用并設置為默認模型
Plain Text
合并配置模型
pnpm openclaw config set models.mode merge
Plain Text
切換為當前模式
pnpm openclaw models set vllm_local/Qwen3-4B-hygon-flagos
可以看到當前默認模型已經切換為 Qwen3-4B-hygon-flagos。
b. 執行下面代碼,可以看到模型已經切換完成。
Plain Text
pnpm openclaw configure
可以看到模型已經切換完成。
3. 配置 channel 為QQ
參考文檔: https://cloud.tencent.com/developer/article/2626045,這部分需要替換為自己的ID和secret。配置完成后,進行以下操作:
a. 啟動openclaw網關, 命令如下:
Plain Text
pnpm openclaw gateway
b. 啟動成功后,您可以在QQ軟件中嘗試和已經打通OpenClaw的QQ機器人進行單獨聊天,或者在群里與QQ機器人進行對話。如果QQ機器人能夠以AI的方式對話,則說明您已經成功完成OpenClaw應用接入QQ機器人。
接下來您就可以開始進一步探索OpenClaw接入QQ機器人之后的更多使用場景。
趨勢展望
這次在 OpenClaw 連接QQ的場景中對 Qwen3-4B-hygon-flagos 進行了測試,發現Agent 的能力邊界正在發生轉移。
關鍵信號:
? 小模型開始進入 Agent 執行層
Qwen3-4B-hygon-flagos 已經可以在 OpenClaw 中穩定承擔指令理解、工具調用、本地文件操作和協作入口控制等任務。這意味著,小模型第一次從“對話組件”走進了 Agent 的執行中樞。
? 真正的瓶頸不在模型,而在系統
無論 4B 還是更大的模型,在文檔寫入等能力上同樣受限,說明 Agent 的上限越來越多地由平臺權限、接口設計和工程抽象決定,而不是模型本身。
如果你要的是一個能在本地跑、能調工具、能接企業系統的 Agent 內核,
4B 級模型,已經開始成為一個現實且合理的默認選項。
#雷峰網(公眾號:雷峰網)
雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。