0
| 本文作者： 劉伊倫 | 2024-12-20 17:45 |
12月12日，谷歌宣布其第六代TPU（張量處理器），Trillium正式上市。
谷歌計算和人工智能基礎設施副總裁兼總經理Mark Lohmeyer表示，谷歌旗下的大模型Gemini 2.0正是采用Trillium進行訓練， TPU是Google Cloud AI超級計算（AI Hypercomputer）的關鍵組件，集成了性能優化后的硬件、開放軟件、領先的機器學習框架以及靈活的消費模型。
以色列人工智能公司AI21 Labs的CTO Barak Lenz表示，AI21 Labs是自TPU v4以來的長期用戶，Trillium在規模、速度和成本效率方面都取得了顯著的進步。
在GPU加速一切的人工智能時代，TPU像極外來物種。畢竟在各大搜索軟件里輸入關鍵詞“TPU”，前幾條結果顯示的都是材料學科里的聚氨酯。
TPU因谷歌而出現，TPU市場因谷歌而繁榮。為何研發TPU，以及TPU團隊的工程師離開谷歌后如何將行業推向繁榮，背后的故事值得講述。
谷歌「被迫」研發TPU
2009年，Geoffrey Hinton將深度神經網絡應用于語音建模，在TIMIT（聲學-音素連續語音語料庫）上獲得當時的最佳成果，深度學習神經網絡技術在語音識別領域開始大放異彩。
如果說ChatGPT是當下人工智能浪潮的起點，那AlexNet神經網絡架構的出現就是上一個里程碑。
2012年，Alex Krizhesky、Ilya Sutskever和Hinton提出的AlexNet架構，通過使用GPU構建深度學習模型，刷新當時的圖像識別世界紀錄，并且準確率達到85%，在當年的ImageNet大賽中一舉奪冠。
人工智能在語音和圖像識別領域的應用引起了谷歌的關注，畢竟這兩個領域與谷歌的核心業務，如搜索、地圖、照片和翻譯等緊密相關。正值谷歌考慮推出面向全球的語音識別功能之際，研究團隊發現需要處理的人工智能計算量將超過其現有的算力。
谷歌首席科學家Jeff Dean在采訪時稱：“當時，我們粗略地估算了數億人與谷歌的產品對話會產生多少計算量，結果顯示谷歌需要部署多一倍的算力才可以滿足這樣的需求?！?/p>
做為大廠，谷歌天生帶有傲性。當時，谷歌團隊研究了市面上提供的所有算力解決方案，全部都被高層否決掉。
互聯網大爆發使算力需求呈現指數級上升，兩個明顯的的趨勢開始涌現，一是算力使用場景細分化，二是用戶對算力的需求不斷攀升，傳統的通用算力芯片很難再滿足一些特定場景的需求。
對專用芯片的投入日益受到關注，開發公司內部的深度學習專用處理器芯片成為谷歌的不二之選。
「出道即巔峰」，首代TPU推理速度為競品30倍
決策后，是迅速的執行。谷歌挖來惠普智能基礎設施實驗室高級總監Norm Jouppi、Pacmid的研發負責人Jonathan Ross、Arm架構開發商Calxeda的SoC工程總監Richard Ho以及高通高級工程師Ravi Narayanaswami等一批芯片行業資深從業人員，而這一批人員也勾勒出當下人工智能芯片領域巨頭博弈的核心人才畫像。
面對全世界最好的工程師，大廠光環和天價薪資略顯廉價，真正讓這幫人聚在一起的是開發出滿足全球人工智能算力需求的解決方案這一愿景。
谷歌云TPU業務創始人Zak Stone稱：“2012年，我創立了一家機器學習創業公司，為了以較低的成本獲得算力，我的聯合創始人會在網上購買二手的游戲GPU，然后在咖啡桌上搭建服務器，一旦我們在運行GPU的時候打開了微波爐，電源就會耗盡。加入谷歌后，我創建了云TPU項目，我知道我們必須把TPU打造成谷歌云的基礎設施?！?/p>
這也正是谷歌不直接出售TPU，而是通過谷歌云出售TPU算力的原因之一。另一方面，這種做法可以免于搭建供應鏈和硬件銷售團隊，節省對陌生業務的投入，同時反哺了谷歌云業務并且提高了硬件產品的保密程度。
從立項到落地，谷歌花了15個月。2015年，谷歌開發出第一代TPU處理器，并開始部署在谷歌的數據中心進行深度學習模型訓練。彼時，外界對于谷歌內部的基礎設施建設鮮有認知，而事實上，擊敗棋王李世石的AlphaGo正是由TPU驅動的。
研發TPU的團隊負責人Norm Jouppi稱：“TPU的設計過程異常迅速，這本身就是一項非凡的成就。更出乎意料的是，首批交付的硅片無需進行任何錯誤修正以及掩膜的更改，而正在同步進行的還有團隊組建，RTL（寄存器傳輸級）設計專家、驗證專家都急需補充，整個工作節奏非常緊張?！?/p>
機器學習硬件系統的首席工程師Andy Swing同樣表示：“我們原以為TPU的產量不會超過1萬顆，但最終生產了超過10萬顆，在廣告、搜索、語音、AlphaGo甚至自動駕駛等領域被廣泛采用?！?/p>
TPU跟GPU的核心差異在于，GPU更通用，而TPU則專用于加速機器學習工作負載，是一款ASIC（專用集成電路）芯片。TPU包含數千個乘法累加器，這些累加器直接連接，形成大型物理矩陣，即脈動陣列架構，這樣的處理使TPU可以在神經網絡計算中實現高計算吞吐量。
Google杰出工程師David Patterson稱：“TPU就像海倫（希臘神話中最美的女人），它的出現引起了成千芯片與之競逐。”
首款TPU發布后，英特爾便耗資數十億美元收購了多家芯片公司。阿里巴巴、亞馬遜等公司同樣開始研發類似產品。TPU重新喚起了人們對計算機架構的關注，后來的幾年內，出現了上百家相關初創企業，年均總融資額近20億美元，新想法層出不窮。
截至目前，谷歌TPU經歷了多次迭代，TPU系列產品的性能也實現了指數級的上升。TPU v1的峰值性能為92 TOPS，1TOPS代表處理器每秒鐘可進行1萬億次浮點運算，做為同期的競品，TPU v1的推理速度比英偉達K80 GPU和英特爾Haswell CPU快15到30倍。TPU v4的峰值性能達到1.1PFLOPS，即每秒進行1100萬億次浮點運算，首次突破每秒千萬億次浮點運算的大關，相較于TPU v1，性能提高了將近12倍。最新發布的Trillium性能為TPU v5e的4.7倍，官方稱是迄今為止性能最高、最節能的TPU。
所有這些處理能力還只是開始。
TPU的主要設計師Cliff Young認為，跟上深度學習的發展不僅需要增加用于訓練的芯片數量，現有的軟硬件架構設計也必須改變，需要運用全新的材料-應用協同設計概念。未來深度學習架構的設計需要包含從物理到應用的各個層面的協同設計，這是打破摩爾定律瓶頸的一種方式，是深度學習發展的新出路。
團隊表示：“當時，我們的TPU和Pod設置對建設數據中心能力很有意義，但現在我們正在改變數據中心的設計，以更好地滿足需求，當下的解決方案與未來的解決方案將非常不同。忘記單個芯片或單個TPU吧，我們正在構建一個載滿TPU的全球數據中心網絡。未來是全棧定制，從硅到一切。”
TPU夢之隊，從「隊友到對手」
當下，所有人都在眼紅英偉達在人工智能芯片市場占據的市場份額，而TPU讓谷歌成為英偉達之外另一個重要的算力供應商。全球超過60%獲得融資的生成式AI初創公司和近90%生成式AI獨角獸都在使用谷歌Cloud的AI基礎設施和Cloud TPU服務，包括Anthropic、Midjourney、Salesforce、Hugging Face和AssemblyAI等企業。
2024年7月，蘋果公布其使用了2048片TPUv5p芯片來訓練擁有27.3億參數的設備端模型AFM-on-device，以及使用8192片TPUv4芯片來訓練大型服務器端模型AFM-server。
這些數據回答了TPU在人工智能市場里的應用情況，也昭示著這個市場會涌入更大量的競爭者。而事實上，在TPU v1剛剛發布的時期，TPU團隊成員另立門戶或加入競對公司的現象就已初顯苗頭。畢竟在硅谷，當你萌生出創業想法時，成事法則中的一條就是從谷歌挖人。
Social Capital的創始人Chamath Palihapitiya深諳其中的門道，他總是那么尖銳且冒進，面對名流及精英他直言不諱，做為美國的SPAC（特殊目的收購公司）之王，帶著散戶逼空華爾街精英也讓他賺足了吆喝。
Palihapitiya就像投資界的馬斯克，掌握資本和流量杠桿讓他成為創業者背后的攢局人。
2015年，在谷歌的季度財報會上，Palihapitiya不經意間了解到谷歌正在自研AI芯片，為什么谷歌要跟英特爾競爭？問題在Palihapitiya心中浮現，他開始尋找答案。
2016年，TPU v1發布，跟市場上其他人一樣，Palihapitiya的策略是“no miss”，他認為這一次芯片創新可以讓Facebook、Amazon、Tesla等公司以及政府利用機器學習和計算機去做此前沒人能做的事情。
巨頭入局，Palihapitiya做局。他開始對谷歌TPU領域的工程師進行人才mapping，一年半的時間里，Palihapitiya挖走了谷歌芯片創始團隊里10人中的8位，背后的兩個關鍵角色是Jonathan Ross和軟件工程師Doug Wightman，而成立的這家新公司正是當下炙手可熱的AI芯片企業Groq。
今年的8月5日，Groq完成由Blackrock領投的新一輪6.4億美元融資，28億美元的估值讓Groq毫無疑問地成為AI芯片新貴。另一方面，Meta首席人工智能科學家Yann LeCun宣布擔任Groq的技術顧問，在Groq的官網上赫然掛著Yann LeCun對于Groq芯片的評價：“Groq芯片確實直擊要害?！?/strong>
而問題在于Meta內部也在研發AI芯片，競對公司間的人事往來不經讓外界感到意外。但可以推測出這背后離不開Palihapitiya的周旋，畢竟他曾擔任了五年多的Facebook（Meta前身）副總裁，化敵為友，是攢局人的基本素養。
Groq之外，是OpenAI對谷歌近乎瘋狂的“挖墻腳”。
瘋狂的背后，是Sam Altman激進的7萬億自研芯片戰略。此前，臺積電CEO CC Wei在采訪中表示：“Altman的計劃太激進了，讓人難以置信?！?/strong>
今年10月30日，外媒報道OpenAI與博通以及臺積電達成合作，計劃于2026年生產其首個定制芯片。
OpenAI造芯傳言靴子落地的背后，是Sam Altman網羅AI芯片人才計劃的收網。Sam Altman的用人法則只有一條，要么現在在谷歌，要么之前在谷歌。
近一年里，大量谷歌TPU團隊的研發人員密集加入OpenAI，Sam Altman搭建了以前谷歌高級工程總監Richard Ho為首的硬件研發團隊，主要成員包括Tensor SoC負責人Ravi Narayanaswami、高級硬件工程師Thomas Norrie、技術經理Sara Zebian、研究科學家Phitchaya以及設計驗證經理Jerry Huang等人。
而這一批人收獲的最多的評價正是：“他們是我合作過的最好的工程師之一。”
吸引最好的工程師，Sam Altman開出的條件是：參與構建人類有史以來最宏大的計算機系統、與大模型團隊的高度協作且不會面臨大公司內部的溝通阻礙，以及高薪。
TPU團隊在市場頗受認可的背后是任職于谷歌時研發TPU鍛煉的從0到1的工程能力，而專用于加速機器學習和神經網絡的設計正是當下市場最需要的。
商業層面，身居不同公司或許針尖對麥芒，但個人層面，他們都是谷歌TPU的同行者，更是AI芯片未來的締造者。
雷峰網(公眾號：雷峰網)參考材料：
https://cloud.google.com/blog/products/compute/trillium-tpu-is-ga
https://cloud.google.com/transform/ai-specialized-chips-tpu-history-gen-ai?e=48754805
https://www.censtry.com/blog/why-did-google-develop-its-own-tpu-chip-in-depth-disclosure-of-team-members.html
https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.
https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
