AI落地的算效彩票和精度盲盒難題，全局智算能解？

OpenAI訓(xùn)練GPT4算力的利用率大概是35%。

這是業(yè)內(nèi)普遍的水平，對于許多企業(yè)而言，提升算力利用率就像中彩票一樣難得。

AI訓(xùn)練面臨的是算效彩票，AI推理落地面臨著精度盲盒問題。

AI想要在垂直場景落地，模型的精度要達(dá)到95%以上，但因為各種因素的影響，實際落地時的精度就像是開盲盒一樣。

“大模型發(fā)展落地過程中，面臨的萬卡時代的算效彩票，深入行業(yè)的精度盲盒，以及高效調(diào)用的服務(wù)瓶頸，愈發(fā)需要系統(tǒng)性AI計算方案提供全方位、全周期支持。”寧暢總裁秦曉寧在2024年度戰(zhàn)略發(fā)布會上宣布了全局智算的戰(zhàn)略及新品。

寧暢總裁秦曉寧

秦曉寧介紹，寧暢的全局智算具備六大全特性，涵蓋軟硬件全體系及全液冷產(chǎn)品，提供從咨詢到運維的全流程服務(wù)，滿足全行業(yè)用戶大模型開發(fā)、適配、部署的全場景需求，并按用戶發(fā)展階段，定制專業(yè)且性價比高的AI計算方案。

如今的全局智算戰(zhàn)略，離不開寧暢成立之初義無反顧地研發(fā)當(dāng)時不火的AI服務(wù)器。

從買更多服務(wù)器的百模大戰(zhàn)，到需要軟硬一體方案的商業(yè)化落地

去年最瘋狂的時候，國內(nèi)每隔一天就會有一個AI大模型出現(xiàn)。

在這個百模大戰(zhàn)的時期，大模型公司的第一要務(wù)是購買更多更快更強(qiáng)的算力，也就是買更多GPU服務(wù)器。

當(dāng)服務(wù)器集群數(shù)量達(dá)到萬卡甚至十萬卡，算力的凈增長和服務(wù)器數(shù)量的增加不再是線性關(guān)系，需要從軟件、算法以及整體的優(yōu)化解決低算力利用率的問題。

“2024年，大模型從參數(shù)的競賽走向了商業(yè)化、產(chǎn)業(yè)化的落地階段。”秦曉寧說，“這個階段不僅要提供算力硬件，大需要在算力、算法、數(shù)據(jù)三個維度來提供更需要更強(qiáng)的支撐。”

大模型的落地需要考慮的因素更加復(fù)雜，包括安全性、部署速度，穩(wěn)定性等。

安全性關(guān)乎所有AI落地的場景，因為數(shù)據(jù)涉及到內(nèi)部信息、客戶數(shù)據(jù)等，這些數(shù)據(jù)高度敏感，需要考慮數(shù)據(jù)的安全合規(guī)性，只有做好高質(zhì)量數(shù)據(jù)的治理、清洗、標(biāo)注等一些列工作，才能讓大模型在具體場景中落地時不是開盲盒。

保證安全的前提下，部署時間也非常關(guān)鍵。調(diào)查數(shù)據(jù)顯示，超過64%的企業(yè)部署AI應(yīng)用的時間周期是90天甚至更長。想要加速AI的落地，需要解決訓(xùn)練和推理之間團(tuán)硬件數(shù)據(jù)無縫實時對接的問題，還需解決部署階段的冗余等問題。

實際應(yīng)用的階段，穩(wěn)定性非常關(guān)鍵，這要求有一個穩(wěn)定的運行環(huán)境，同時對健康能耗狀態(tài)全面的監(jiān)管。

顯然，應(yīng)對大模型對算力的需求既不是簡單的硬件堆疊，也不是單純的硬件能力就能解決，需要的是軟硬件的全棧能力。

所以寧暢推出全局智算戰(zhàn)略。

“原來我們更多的精力是放在基礎(chǔ)硬件架構(gòu)上，是在某一個點上加深專業(yè)度，現(xiàn)在我們下定決心，要把所有東西整合在一起，這對寧暢的要求更高。”秦曉寧說，“但是我們可能給客戶、最終行業(yè)帶來的改變更大。”

全局智計算如何提升AI的算效和精度？

寧暢最新推出的全局智算戰(zhàn)略，包含了六個層面。

最底層的硬件資源層，有通用的服務(wù)器、GPU、整機(jī)柜、存儲、網(wǎng)絡(luò)多種形態(tài)的產(chǎn)品。

“硬件層上面的集群設(shè)計層，不是將海量硬件簡單連接堆疊就能服務(wù)客戶的場景。寧暢會分析整個業(yè)務(wù)運行的特征和系統(tǒng)的量化需求，提供從微架構(gòu)、網(wǎng)絡(luò)、存儲、AI模型特征等一系列的方案化的設(shè)計。”秦曉寧介紹。

再上一層是算子優(yōu)化層，寧暢提供了AI算子自由化能力，目的是為了減少模型執(zhí)行時間，降低資源消耗。

算子優(yōu)化層之上是AI中臺層，全面支持NVIDIA AI Enterprise（NVAIE），也有寧暢自己的中臺NAIOM，可以提供基于AI算力系統(tǒng)深度整合的工作棧。

在AI中臺層之上就是業(yè)務(wù)層和場景層。

寧暢CTO趙雷介紹，“我們的全局智算，包含的是硬實力（硬件）、軟動力（軟件）、服務(wù)力（服務(wù)）三部分，剩下的三部分是通過這三個能力實現(xiàn)。”

硬件一直以來都是寧暢擅長并且專業(yè)的部分，也是全局智算的硬實力，具體體現(xiàn)在可實現(xiàn)多種交付形態(tài)靈活組合。

其中，寧暢B8000液冷整機(jī)柜服務(wù)器作為AI算力棧最具亮點的交付形態(tài)，采用電、液、網(wǎng)三路全盲插設(shè)計，部署周期相較傳統(tǒng)方式提升30倍。

在全局智算的軟件層面，基于系統(tǒng)工程及算法模型，以AI算子全棧優(yōu)化能力，為AI業(yè)務(wù)提供并行加速、性能分析、模型開發(fā)優(yōu)化等服務(wù)支持，構(gòu)建出從算力資源定制，到模型適配優(yōu)化，再到高效部署落地的大模型算力服務(wù)閉環(huán)，幫助用戶極速推進(jìn)AI應(yīng)用開發(fā)及管理。

“與以往不同，我們?yōu)槭裁匆鲕浖俊壁w雷分享，“我們需要計算能力分析，找到算力的缺口；也需要找到網(wǎng)絡(luò)擁堵的地方升級網(wǎng)絡(luò)；還需要根據(jù)AI應(yīng)用，讓機(jī)器的負(fù)載時最好的選擇。這些都需要軟件才能進(jìn)一步提升AI的運算能力和產(chǎn)品使用率。”

雷峰網(wǎng)(公眾號：雷峰網(wǎng))了解到，寧暢的AI軟件棧，是業(yè)內(nèi)相對標(biāo)準(zhǔn)化的軟件棧，結(jié)合了實際的案例和思考。

國內(nèi)首個AI算力棧加速AI落地

發(fā)布全局智算戰(zhàn)略的同時，寧暢也推出了戰(zhàn)略性新品AI算力棧——NEX AI Lab（Nettrix AI Open Lab），作為國內(nèi)首個AI算力棧，已在桐鄉(xiāng)市成功落地，目的是解決大模型產(chǎn)業(yè)落地的全周期問題。

NEX AI Lab是一個128臺GPU服務(wù)器組成的算力集群，同時使用了三種設(shè)備，集成加速計算節(jié)點、全閃存存儲節(jié)點，可為GPT、LLaMA、Stable Diffusion等AI模型，提供多元場景應(yīng)用優(yōu)化支持。

NEX AI Lab已經(jīng)運行了三周，證明了寧暢具備從硬件到軟件的全棧平臺服務(wù)能力。同時，NEX AI Lab可以提供免費的算力。

如果說從2020年4月份開始研發(fā)AI服務(wù)器時的忐忑，到2023年吃到AI服務(wù)器紅利，寧暢是押對了方向。

那么寧暢在2024年生成式AI落地的重要時刻推出全局智算戰(zhàn)略，就是抓住了乘風(fēng)而上的時代機(jī)遇。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。