0
ChatGPT的發布在全球掀起了大模型產業化的浪潮,短短半年間,許多行業因大模型的出現而脫胎換骨。“大模型在改變人工智能的同時,也在改變著全世界”逐漸成為人們的共識。
在通用大模型領域,擁有著深厚技術儲備的騰訊、阿里、百度、華為等國內科技與互聯網巨頭企業接連發力,打造出混元、通義千問、文心一言、盤古等AI大模型,在大模型產業化的競爭浪潮中占據第一梯隊。
大模型之火越燒越烈,從通用大模型一路蔓延至專業性更強的醫療垂類大模型。
然而,受限于醫療行業的專業性與嚴肅性,基于專業語料、高質量數據的醫療垂直領域大模型研發門檻顯然更高。
自今年2月起,騰訊、阿里、百度、華為、訊飛、商湯,以及來自醫療信息化、醫療影像、互聯網醫療等領域的多家企業陸續公布了在醫療領域大模型方面的布局,近兩個月來,更是有多款醫療大模型先后發布。
在這條賽道之上,深耕醫療領域的專業玩家是否更具優勢?
雷峰網《醫健AI掘金志》基于公開資料,對布局醫療大模型的企業、研究機構及其相關產品進行了盤點。
(雷峰網(公眾號:雷峰網)《醫健AI掘金志》后續將推出更多醫療大模型相關話題文章,如《醫療信息化廠商的「GPT焦慮癥」》等,歡迎添加作者微信qiaoyw186搶先交流。)
2021年4月,華為發布盤古NLP(中文語言)大模型、盤古視覺大模型、盤古科學計算大模型,同年9月,華為推出用于藥物研發細分場景的大模型,盤古藥物分子大模型。
據介紹,該模型是由華為云聯合中國科學院上海藥物研究所共同訓練而成。依托華為云一站式醫療研發平臺 EIHealth,盤古藥物分子大模型學習了 17 億個藥物分子的化學結構。
國際歐亞科學院院士、華為云人工智能領域首席科學家田奇曾介紹,盤古大模型解決了傳統AI開發的作坊式開發、樣本標注代價大、模型維護困難、模型泛化不足、行業人短缺等難題。
在《醫健AI掘金志》此前與華為云醫療產品總監,醫療首席科學家喬楠博士的對話中,喬楠博士介紹,華為云基于盤古藥物分子大模型打造的AI輔助藥物設計平臺,能夠覆蓋藥物設計的全流程,為靶點發現、藥物篩選、分子優化三個環節提供支撐。
在靶點發現環節,2019年以來,華為云針對基因數據、基因多組學數據、基因調控網絡數據陸續發布了三個算法:AutoGenome、AutoOmics、AutoGGN,通過從細胞系、動物模型、病人身體組織中測到的多組學數據進行AI建模,為生物標記物發現和靶點發現等相關問題提供依據。
在藥物篩選環節,華為云打造了一個獨有的小分子庫生成功能,基于盤古藥物分子大模型,從模型學習到的類藥化學空間中均衡采樣,生成新穎且類藥性質更優的化合物分子庫,幫助加速藥物篩選過程。
在分子優化環節,分子搜索功能基于華為云盤古藥物分子大模型的小分子化合物表征,以使用者輸入的參考化合物結構為起點,從海量的小分子庫中搜索到相似結構和排序,可以實現百億級小分子的秒級搜索。
在實際應用中,華為云聯合西安交通大學第一附屬醫院劉冰教授團隊,基于華為云盤古藥物分子大模型研發出了近四十年來首個新靶點、新類別的抗生素,將藥物設計周期從數年縮短至數月,成本降低70%。
2022年7月25日,云南白藥公告其與華為達成全面合作,雙方將在人工智能藥物研發領域開展交流與合作,探索聯合科研創新機制。
今年6月6日,潤達醫療與華為云計算技術有限公司在上海正式簽署全面戰略合作協議,雙方將基于華為云平臺打造面向醫療領域的AI大模型,實現智慧醫療服務。
2022年5月,百度對外發布了文心生物計算大模型,并將生物領域研究對象的特性融入模型,構建面向化合物分子、蛋白分子、基因組學信息的生物計算領域預訓練大模型。
目前正式對外發布的文心生物計算大模型,包括化合物通用表征模型、蛋白結構分析模型以及單序列蛋白表征模型。
在實際應用中,文心生物計算大模型已幫助百克生物等醫藥公司縮短了化合物分子選型的周期。
今年3月16日,百度正式發布新一代大語言模型,生成式AI產品“文心一言”。在3月21日召開的的2023年百度&GBI生態峰會上,百度文心大模型首個落地醫藥行業的應用GBIBot正式發布。
這款醫藥垂類對話機器人,使用了百度靈醫智惠在醫療健康行業的技術積累,實現了文心大模型與GBI專業數據庫的有機結合。
據峰會當日介紹,百度已具備醫療健康大模型,對應的應用層即為智慧醫療。這一模型來自百度的三大中臺技術,即數據中臺、知識中臺和AI中臺。
百度曾基于國家級項目和數百家醫院實踐,制定醫療健康標準大數據,構建醫療健康大數據治理平臺,據峰會介紹,百度擁有超過1億的數據治理單據、2100萬日審核醫囑、13萬日推薦檢查、180萬日服務患者、20萬日服務醫生數量。
同時,百度還具有知識圖譜構建能力,可將優質病歷、診斷指南、專家共識、科研成果等知識信息由閱讀級轉換到計算、決策級。再基于AI中臺技術,百度由此形成了千億級參數的醫療健康大模型。
據此,GBI數據庫的接入可以使其數據資源經過前述技術處理,為藥企用戶提供更加智能的服務。
而對于藥企客戶而言,文心一言作為一種CPT(生成型預訓練變換模型),還將在前述技術的基礎上,提供多輪交互式對話。從用戶體驗的角度上說,這相較于此前的關鍵詞檢索、語義查詢更加精準便捷。
在今年5月舉辦的《中國AI藥物研發大會》上,百度生命科學解決方案架構師馬羅亞介紹了百度生命科學行業布局及解決方案。
其中,百度基于文心大模型,深入生命科學行業,推出螺旋槳系列產品,為藥物研發、基因檢測等提供算法工具,在蛋白質結構預測、mRNA序列優化、虛擬篩選、ADMET預測等方面具有較強優勢,可作為藥物研發階段重要工具,加速藥物研發進程。
2023年6月19日,騰訊云在國家科技傳播中心召開行業大模型及智能應用技術峰會,首次公布騰訊云行業大模型研發進展,啟動行業大模型共建合作。
據騰訊云介紹,此次公布的行業大模型解決方案立足不同企業的需求場景,依托騰訊云 TI 平臺打造行業大模型精選商店,為企業客戶提供 MaaS(Model-as-a-Service)一站式服務。
依托騰訊云 TI 平臺打造行業大模型精選商店,為企業客戶提供涵蓋模型預訓練、模型精調、智能應用開發等一站式行業大模型解決方案。
騰訊云MaaS的技術底座是一系列的行業大模型,包括金融、政府、文旅、傳媒、教育等。
基于這些基礎模型,騰訊云的客戶只要加入自己的場景數據,就可以生成契合自身業務需要的專屬模型;同時也可根據自身業務場景需求,定制不同參數、不同規格的模型服務。
在醫療健康領域,騰訊云可以幫助醫療機構構建和部署自己的疾病預測模型,提高診斷準確率和治療效果;在金融領域,騰訊云可以幫助銀行和保險公司構建和部署自己的風險評估模型,提高風險控制能力。
仁濟醫院作為騰訊此次行業大模型發布中醫療行業智能應用的全國示范醫療機構,運用騰訊行業大模型,以互聯網醫院適老化服務為著力點,再次升級互聯網醫院數智人智能客服,為患者提供便捷就醫的智慧化體驗。
4月11日,在阿里云峰會上,阿里云智能首席技術官周靖人正式宣布推出大語言模型“通義千問”,阿里巴巴所有產品未來將接入“通義千問”大模型,進行全面改造,包括天貓、釘釘、高德地圖、淘寶、優酷、盒馬等。
該模型基于阿里巴巴自主研發的StructBERT和PLUG等技術構建,擁有270億個參數,具備多輪對話、文案創作、邏輯推理、多模態理解、多語言支持等功能,可以理解和生成中文、英文、日文等多種語言,并且可以根據不同的任務和領域進行靈活調整。
據在醫療領域,利用“通義千問”模型可實現醫療問答、醫療知識圖譜、醫療報告生成等功能,提供專業的醫療咨詢和輔助診斷。
4月10日,在商湯技術交流日活動上,商湯科技董事長兼首席執行官徐立宣布推出大模型體系“日日新”大模型,體系包含自然語言生成、照片生成服務、感知模型預標注、模型研發。
商湯“日日新 SenseNova”大模型體系的基礎算力底座是商湯 AI 大裝置 SenseCore,其背靠商湯人工智能計算中心(AIDC),目前有 27000 塊的 GPU 在運行,能夠輸出 5000p 的總算力,500p 的國產化算力,可以同步支持 20 個千億參數超大模型訓練,為商湯日日新大模型體系提供了充足的算力支持。
基于大裝置的能力,商湯目前已構建了計算機視覺、自然語言處理、AI 內容生成、多模態、決策智能等多個領域的大模型,在醫療領域,推出了中文醫療語言大模型“商量·大醫”。
“商量·大醫”基于海量醫學知識和真實醫患互動對話數據打造,能夠通過多輪對話輔助支持導診、問診、健康咨詢、輔助決策等多場景,從而持續賦能醫療領域,提升醫院診療效率,為患者打造更好的服務體驗。
據商湯科技展示的案例,“商量·大醫”已落地新華醫院,能夠擔任健康咨詢助手,為用戶解答熬夜會帶來身體變化的原因, 并通過引導給用戶提供就醫掛號建議。
據創業慧康官微消息,4月12日,創業慧康與浙江大學計算機創新技術研究院、浙江省智慧醫療創新中心正式達成戰略協議,共同推動AI技術在醫療領域的應用及發展。
據介紹,此次合作的重點是推動AI大模型(如GPT、ChatGLM、LLaMA、T5、Segment Anything)在臨床醫療、公共衛生、個人健康等場景中的研究與開發,以重構醫療業務場景,結合權威的醫學臨床知識庫、健康管理知識庫,為AIGC模型提供高質量的訓練數據和確定性的Prompt上下文,使得人工智能模型生成結果安全可信。
6月14日與19日,創業慧康在互動平臺的回復中對公司打造的AI大模型聚合產品——BsoftGPT進行了介紹,產品將以API調用結合本地部署的方式聚合利用通用GPT模型,同時通過本地部署embedding向量數據庫以及公司自有的領域知識庫,通過醫療垂直領域的語言模型訓練和微調逐步實現產品力,并向公司內外部的應用場景,比如在醫療服務和個人健康等場景中輸出AI智能服務。
在臨床醫療服務方面,BSoftGPT可以根據醫生提供的病歷信息和臨床數據,自動化生成臨床決策建議和治療方案,從而輔助醫生進行臨床決策,提升現有的臨床決策支持系統CDSS的智能化水平;
在面向患者服務方面,BSoftGPT可以通過與患者進行自然語言交互,實現貫穿患者診前診中診后全流程的智能導診、管理。
BSoftGPT平臺將成為創業慧康AI能力的中臺,是公司關鍵技術基礎設施之一,能夠為公司的業務應用和研究開發提供支持和幫助。
5月12日,衛寧健康發文公布了公司在醫療垂直領域的大語言模型上的研究進展。
據介紹,衛寧健康自2017年起在醫療AI領域進行布局,并于2023年1月開展了衛寧健康醫療語言大模型WiNGPT的研發和訓練工作。
今年3月,實驗室已完成了WiNGPT可行性驗證并開始內測,WiNGPT采用通用GPT架構、60億參數,實現了從預訓練到微調的醫療大語言模型全過程自有研發;
5月,WiNGPT訓練的數據量已達到9720項藥品知識、 7200余項疾病知識、 2800余項檢查檢驗知識、1100余份指南文檔,總訓練Token數達37億。共包含7大類基礎任務(問答、多輪對話、信息抽取、歸一化、文本相似計算、摘要、分類、生成)與20多項子任務。
衛寧健康將大模型WiNGPT以Copilot輔助診斷模式融合到WiNEX產品中,WiNGPT Copilot產品面向專業醫療工作者,通過專業人士的審核和決策更好地服務最終患者,同時會使用知識庫、模板和規則來確保數據準確性。
WiNEX Copilot產品預計將于10月Winning World2023大會上正式發布。
2月17日,東軟集團宣布成為文心一言首批生態合作伙伴,優先內測試用文心一言,集成其技術能力,在產品研發、標準制定等多個領域展開深化合作。
4月28日,據東軟集團官微,東軟智能醫療科技研究院(以下簡稱研究院)已正式發布基于醫學影像分割大模型的飛標醫學影像標注平臺4.0版。
為解決模型碎片化的問題,研究院通過深入研究在醫學影像領域預訓練大模型技術,通過“預訓練大模型+下游任務微調”的方式,從大量標記和未標記的數據中捕獲知識,擴展模型的泛化能力。
同時,研究院結合東軟自身積累的帶有標注數據的大量數據集,對預訓練大模型進行二次訓練,并針對醫學影像的三維特點進行優化,推出了醫學影像分割大模型MISM。
借助醫學影像分割大模型MISM,飛標平臺4.0版可實現通過一個點、一個邊界框,一鍵分割出病灶或解剖結構的功能,能夠更精準的連續逐層標注。
6月20日,東與軟集團官微再次發文,介紹了近日推出的添翼醫療領域大模型。
添翼醫療領域大模型是同時面向醫生與患者雙方的產品。醫生可通過自然語言與添翼醫療領域大模型交互,快速、精準地完成醫療報告與病歷、醫囑開立;
同時,添翼醫療領域大模型還能夠為患者提供全面的診后健康飲食、營養與運動建議等服務。
其多模態數據融合能力,也將為醫院管理者提供對話式交互與數據洞察,簡化數據利用,助力醫院精細化管理。
5月25日,互聯網醫療公司醫聯正式發布了其自主研發的醫療大語言模型——MedGPT。該系統基于Transformer模型架構研發,致?于在真實醫療場景中發揮實際診療價值,實現從疾病預防、診斷、治療、康復的全流程智能化診療能力。
據介紹,MedGPT能夠通過多輪問診,引導患者收集足夠的診斷決策因?之后再進?到診斷環節,通過收集足夠信息并做出符合醫學的決策,以“治愈”為目的而進行人機交互。
通過獨有的將?然語??模型AI技術與?系列?程調優技術以及醫學?致性校驗技術相結合,并在模型微調訓練階段采??量真實醫?參與的RLHF(Reinforcement Learning from Human Feedback) 監督微調,有效提升模型的疾病特征判斷與模式識別能?,確保醫療準確性。
此外,醫聯還建立了基于專家評議的AI診療準確性與真實世界醫?對標測試機制,不斷將AI與真實診療場景對齊,最終實現準確診斷。
基于Transformer架構,MedGPT可以整合多種醫學檢驗檢測模態能力,首次實現線上問診到醫學檢查的?縫銜接。在問診環節結束之后,MedGPT會給患者開具必要的醫學檢查項目以進一步明確病情,患者則可以通過醫聯云檢驗等多模態能力進行檢查。
基于有效問診以及醫學檢查數據,MedGPT得以進行準確的疾病診斷,并為患者設計疾病治療方案。患者可以通過醫聯互聯網醫院實現送藥到家,MedGPT會在患者收到藥品后主動為患者進行用藥指導與管理、智能隨訪復診、康復指導等智能化疾病診療動作。
通過多模態應用的打通,MedGPT實現了預防、診斷、治療、康復的全流程診療。
MedGPT目前的參數規模為100B規模,預訓練階段使?了超過20億的醫學文本數據,微調訓練階段使?了800萬條的高質量結構化臨床診療數據,并投?超過100名醫?參與??反饋監督微調訓練。
目前,MedGPT 已經可以覆蓋 ICD10 的60%疾病病種,并在近期將研發重心傾斜在多發疾病,以提升數字醫院的普惠率。預計在 2023 年底,可以覆蓋80%病種的就診需求。
5月24日,云知聲發布山海大模型。云知聲創始人、CEO黃偉在發布會上介紹,將以山海大模型為基礎,打造MaaS 模式的AI 2.0解決方案,在通用能力基礎上,增強物聯、醫療等行業能力。
在醫療場景中,云知聲基于過往數據與經驗積累,依托山海大模型全面升級醫療業務線各產品智能化水平,發布手術病歷撰寫助手、門診病歷生成系統、商保智能理賠系統三大醫療產品應用,實現從助手到專家的躍遷。
5月20日,智慧眼發布了多模態醫療大模型“砭石”。“砭石”醫療大模型采用知識圖譜與大模型相結合的技術路線,實現對問診的文本數據、醫療影像數據、用戶的面部體征視頻數據和用戶睡眠音頻數據的多模態處理,實現醫療輔助診斷、智能認知、健康管理等多樣化的任務。
基于砭石的場景應用能力,智慧眼發布云慢病患者服務管理系統,包含醫院患者服務管理系統和藥店患者服務管理系統,將加速醫療行業數智化,為患者提供全生命周期健康管理服務。
智慧眼研究院負責人表示,“砭石”醫療大模型將以大模型為基礎,深入決策支持、醫保控費、醫藥服務、健康管理、保險支付等諸多場景:
通過砭石大模型輔助診療技術,為基層醫務人員提供病歷質控、輔助診斷、合理用藥、醫學知識檢索等技術支持;
搭建風險控制模型,以更為常態化、高效精準的方式挖掘數據之下的欺詐騙保行為,對購藥、門診、健康理療等行為進行自動化的分析、監管和預警;
開發云慢病患者服務管理系統,通過賦能B端服務C端,AI將聯通診前、診中、診后實現慢病管理的閉環,通過數字療法促進慢性病積極管理;
以砭石大模型為技術底座,打通了醫療服務的需求方、服務方、支付方和藥品提供方,提供智能導診、問診購藥、復診續方、醫生在線接診、開方審方、處方流轉、醫保結算、藥物配送和用藥跟蹤等一站式服務等。
5月17日,上海市算力網絡數字醫療創新實驗室全部自主研發的醫療算網大模型Uni-talk發布。
上海市算力網絡數字醫療創新實驗室由上海聯通、華山醫院、上海超算中心和華為聯合組建,“Uni-talk”算力網絡醫療大模型是實驗室成立以來交的“第一份答卷”。
“Uni-talk”是一款自主可控、行業定制的國產化大模型產品,在嚴格遵守國家數據安全管理要求下,實驗室將數據信息進行私有化部署與訓練,基于聯通算網智能管控與算力統一調度編排能力,在通用模型基礎能力之上,融入垂直領域專業知識,大幅提升場景感知和理解能力,逐步實現通用人工智能到醫療人工智能領域的融會貫通。
Uni-talk是首個基于算力網絡的醫療算法模型,依托上海聯通算網大腦,通過多元算力實時感知、云網協同、智能決策等算網融合關鍵技術,實現對跨區域異構算力的智能管控與統一編排,助力模型高效訓練迭代。
同時,“Uni-talk”在通用大規模多語言語料知識庫基礎上,基于醫療知識圖譜重點融合學習了醫學領域專業知識,知識庫收集整理接近億條醫療專業知識資料進行深度訓練學習,保障模型的推理質量、準確性與可靠性。華山醫院將Uni-talk應用于專業醫學文獻檢索、輔助診斷等多個場景。
6月29日,由上海人工智能實驗室牽頭,并聯合國內外頂級科研機構、高校及醫院共同發布全球首個醫療多模態基礎模型群“OpenMEDLab浦醫”。
“OpenMEDLab浦醫”融合了全球頂尖的AI研發能力、海量醫學數據以及醫學專家知識,首批發布的基礎模型群中,包含基于醫學圖像、醫學文本、生物信息、蛋白質工程等10余種數據模態訓練而成的基礎模型。
據介紹,基于計算機視覺、自然語言處理大模型對醫療圖像和文本通用特征的學習,上海人工智能實驗室首先針對不同醫療數據模態開發了一系列基模型,例如CT、MRI、超聲、內鏡、病理、醫學文本等,以充分學習和利用不同數據模態獨有的特征和模式。
基于上述多層級、多場景的基礎模型群,“OpenMEDLab浦醫”可以將先前醫學數據訓練中學習到的特征,高效應用于海量醫療下游問題中,從而實現針對不同任務的小數據、弱標注、高效率的訓練。同時,模型群兼顧性能與落地的平衡,在醫療場景中的部署應用更具便捷性,從而讓基礎模型在更多醫療長尾問題中得以落地應用。
“OpenMEDLab浦醫”研發團隊已與全國多家頭部三甲醫院及醫藥企業開展合作,全方位賦能醫院診療及藥物研發工作。
“OpenMEDLab浦醫”將于近期逐步開源,覆蓋醫學圖像、醫學文本、生物信息、蛋白質工程等10余種醫療數據模態,促進基于醫療基礎模型的跨領域、跨疾病、跨模態科研突破,推動醫療大模型的產業落地。
近日,香港中文大學(深圳)和深圳市大數據研究院的王本友教授團隊訓練并開源了一個新的醫療大模型 ——HuatuoGPT(華佗GPT),基于醫生回復和 ChatGPT 回復,讓語言模型成為醫生提供豐富且準確的問診。
研究團隊利用指令微調和強化學習在 ChatGPT 和醫生的回復中找到結合點,訓練并開源了一個新的醫療大模型 ——HuatuoGPT。
HuatuoGPT 致力于通過融合 ChatGPT 生成的 “蒸餾數據” 和真實世界醫生回復的數據,以使語言模型具備像醫生一樣的診斷能力和提供有用信息的能力,同時保持對用戶流暢的交互和內容的豐富性。
為了進一步提升模型生成的質量,HuatuoGPT 還應用了基于 AI 反饋的強化學習技術(RLAIF)。
使用 ChatGPT 對模型生成的內容進行評分,考慮內容的用戶友好程度,并結合醫生的回答作為參考,將醫生回復的質量納入考量。
利用 PPO 算法將模型的生成偏好調整到醫生和用戶之間的一致性,從而增強模型生成豐富、詳盡且正確的診斷。
5月30日,聯影智能CTO吳迪嘉在《第二屆長三角科技產業創新論壇暨AI大模型產業應用高峰論壇》上介紹,聯影智能通過AI應用賦能精準醫療,目前能夠做到多場景、多疾病(心臟、癌癥、大腦)、全病程療效評估與智能隨訪、一站式分析的應用,針對卒中提供篩查與診斷一體化影像平臺,落地全國首個數智化基層協同救治體系。
吳迪嘉介紹,基于多病種影像數據訓練的醫療影像模型,以及醫療文本/知識模型的創新基礎模型,聯影智能正在構建醫用通才大模型 ,進一步賦能中國未來醫療開發者,為醫療場景提供診療服務。
(雷峰網《醫健AI掘金志》后續將推出更多醫療大模型相關話題文章,如《醫療信息化廠商的「GPT焦慮癥」》等,歡迎添加作者微信qiaoyw186搶先交流。)
雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。