0
| 本文作者: nebula | 2023-07-05 12:14 |
近日,中國工業互聯網研究院(以下簡稱“工聯院”)針對人工智能大模型在中文工業領域的知識問答能力進行系統性評測。結果顯示,360集團(601360.SH,下稱“360”)自研大模型“360智腦”在多項指標超過GPT3.5,綜合表現位于國產大模型前列。
工聯院此次評測選取了工業領域典型的八大行業,集合五大院士,八大IEEE Fellow共13位頂級專家構成了專家委員會。每個行業抽取客觀題和主觀題,主觀題主要考察基礎能力、語句能力、概括能力和邏輯能力四大維度,最終八大行業共計超過1100道題,對大模型就行全方位評測。評測對象涵蓋GPT4、GPT3.5、360智腦、文心一言等國內外具有代表性的頭部大模型。

從評測結果可以看出,GPT4表現最佳,國內大模型表現亮眼,360智腦在多個行業均處于前列,其中裝備制造業和紡織行業更是超過GPT-3.5,表現優異。
雖然國內大模型在本次評測表現較好,以360智腦為代表的國產大模型甚至在部分行業趕超GPT3.5,但工聯院評測報告也指出,國內外通用大模型在工業知識問答領域探索仍處于初級階段,也缺乏行業針對性訓練。
其實,360近期已經推出一個企業級的AI大模型解決方案,基于360智腦的能力,綜合行業和企業的專業知識庫,打造“行業化、企業化、垂直化、小型化、專有化”企業級大模型,目前已在智慧城市、智慧企服場景下落地應用實踐,且雙雙入選“北京市通用人工智能大模型行業應用十大典型場景案例”。
這不是360智腦第一次在第三方評測中表現出優異成績,早在不久前中文通用大模型基準(SuperCLUE)評測中,360智腦數次上榜,且多項能力蟬聯國產大模型第一。
雷峰網(公眾號:雷峰網)
雷峰網版權文章,未經授權禁止轉載。詳情見轉載須知。