0
近期，雷鋒網醫健AI掘金志邀請科大訊飛醫療市場與解決方案部負責人劉洋，做客雷鋒網公開課，以“訊飛語音技術在疫情中的創新應用”為題，詳細介紹了訊飛醫療在語音技術在感知智能、認知智能層面的探索與最新成果。
后續將有更多課程上線，添加微信公眾號 醫健AI掘金志 在公眾號聊天框回復“聽課”，進群可收看本節課程視頻回放。
劉洋認為，AI技術的應用才是王道，場景選擇有時比技術選擇更加重要。其次，在切入各個應用時，要避免傳統的、簡單粗暴的端到端解決方案；最后，創新醫學和人工智能結合的路上，應該跳出單純的技術或者算法創新。除了選擇場景，選擇什么樣的數據，用什么樣的方式獲取數據，這也是構建各種人工智能醫學應用需要深入思考的問題。
在演講中，劉洋圍繞智醫助理電話機器人、智能醫學語音錄入、放從醫院隔離點智能管理三大方面，分享了訊飛醫療在實際應用成果。
以下為劉洋演講全文內容，醫健AI掘金志做了不改變原意的編輯
我是訊飛醫療的劉洋，感謝雷鋒網的邀請，今天分享的主題是《訊飛語音技術在疫情中的創新應用》。在進入正題之前，我分享一下自己對于醫療AI應用的觀點：應用才是王道，場景選擇有時比技術選擇更加重要。
其次，在切入各個應用時，要避免傳統的、簡單粗暴的端到端解決方案。
深度學習在很多領域里都發揮了巨大效能，例如人臉識別、語音識別，但是在醫療領域，可能還要更加謹慎。醫學的出發點之一就是保障患者免受傷害。
所以在訓練模型，包括選擇具體的切入點時，一定要注意，系統一定不能過于簡單粗暴。否則，市場會給我們非常嚴酷的教訓。
第三，我們在創新醫學和人工智能結合的路上，應該跳出單純的技術或者算法創新。除了選擇場景之外，選擇什么樣的數據，用什么樣的方式獲取數據，這也是構建各種人工智能醫學應用需要深入思考的。一些傳統的數據可能不適合深度學習算法。
首先看一下，訊飛從成立到現在走過的歷程。
現在是訊飛醫療的第4個年頭，我們是2016年在訊飛內部孵化的一個獨立團隊，目前秉承著兩條技術主線。
第一條主線是圍繞訊飛的主賽道——智能語音層面，主打是面向智慧醫院、便于醫生使用的工具。
第二條主線是圍繞認知智能層面——如何去構建基于醫學認知智能的輔助診斷系統。2017年，我們較早地與中科大第一附院共同建設智慧醫院，將語音應用到診療的各個環節，例如導醫、語音病歷還有智能隨訪。
此外，2017年，我們參加了國家執業醫師考試的筆試測試，得到一個非常不錯的成績。
基于這兩條路線，最近三年，我們在產業和應用上不斷探索。
2018年，我們把基于醫考的技術，嘗試在基層開展人工智能輔助診斷應用，從一個社區做到一個縣，2019年，我們已經覆蓋了50個縣。
截止2019年底，在人工智能基層輔診方面，我們已在全國超過100多個區縣得到應用，覆蓋將近4萬的基層醫生。
在語音交互層面，我們也從早期的單點語音識別，包括語音電子病歷，慢慢向綜合的門診解決方案擴展。
現在，訊飛醫療有300多名員工，10%的員工都是具有臨床背景的醫生，也正是在臨床和技術兩方面的儲備下，我們才有今年的成績。
在醫學和人工智能結合的道路上，不能只看技術。我們一直和醫院、主管部門還有客戶學習，也達成了很多的戰略合作。
另外，訊飛也承建了很多國家的平臺，包括唯一一個認知智能的國家重點實驗室，也入選科技部的新一代人工智能五大創新平臺。
我們積極跟醫療、衛生行業的各種協會、聯盟合作，共同推進人工智能在行業良性的發展。
我分享一下訊飛在語音層面的技術積累。
隨著深度學習技術的發展，可能會有人認為語音識別的門檻沒有以前高，實際上不完全是這樣。
對于通用場景下的語音識別，大家確實可以用一些開源工具，包括一些開源模型，很快地構建起來。
但是，應用場景現在越來越復雜，客戶對于語音識別的要求越來越復雜。比如如何在遠場識別做到比較好的收音、降低混響，以及嘈雜環境下，如何去提高收音效果？
這些是目前語音識別的主流方向，訊飛擁有十幾年的技術積累，每年也會參加一些國際知名的語音識別大賽。
可以看到訊飛對于復雜場景下的語音識別已經做的很好。也正是因為有這樣的技術積累，我們能夠比較快地在各種應用場景下快速構建相適應的模型。
我也會跟大家分享一下，為什么在醫學場景里面，抗干擾的能力以及遠場識別是如此重要。
第二個領域是語音合成，合成，就是讓機器像人一樣發音。如果是不追求情感，不追求自然、連續的話，快速構建這樣的能力并不是很難。但在現在的場景下，越來越要求我們能夠實現很好的自然度，還有連貫、柔和的合成效果，讓聲音聽起來更具情感，技術挑戰非常高。
所以，如果大家對語音合成感興趣，希望大家能夠技術選擇和工程實踐時，更多去考慮怎么讓聲音更加有特色。
現在，像高德地圖里各個明星的聲音，都是訊飛利用公開的語料自動合成的，效果已經可以做得非常自然。
在醫學領域，很多患者、居民在聽到語音服務時，也越來越要求聲音更加個性化，而且具有關懷感。這就對語音合成的效果提出非常高的挑戰。
這是在國際知名的Blizzard Challenge比賽里面，我們也是連續14年全球的冠軍。
除了語音領域之外，訊飛醫療團隊在其他一些醫學領域的AI技術積累上，也一直保持領先的的狀態，包括每年也會參加一些國際上知名的公開數據集測試，包括像LUNA、IDRiD，也包括像肝臟分割等等。
最后一部門，也是比較難的領域——認知智能的突破。
前段時間，獲得圖靈獎的LeCun，還有英特爾幾位大咖，他們都表示，人工智能的未來，一定屬于實現認知智能突破的機構和團隊。訊飛很早加入這個領域，在自然語言理解、認知智能推理等領域，我們都有非常強的技術積累。
我覺得，認知智能在醫學中的應用，有非常好的應用前景。醫生進行臨床學習時，要通過大量閱讀醫學文獻，這給機器在知識圖譜構建，還有自然語言理解的基礎上帶來挑戰。如果有一些突破的話，對于構建輔助醫生工作的虛擬助手，是一個非常好的技術積累。
基于上述的技術積累，我們才有可能在2017年通過這項考試。這件事對我們最大的幫助是，讓我們看到人工智能在很多領域的巨大作用。
但是，我們依然認為，現有的人工智能還處于弱人工智能狀態。
當然，這次醫考也給了我們非常強的信心：基于現有的NLP技術，我們有可能去打造一個具備全科醫生潛質的AI系統。
訊飛醫療在構建產品時的一個基本思路是，通過人機耦合的方式，一方面讓機器承擔更多的事務性工作，讓醫生把更多的時間留給需要人文關懷和專業知識的患者；
另一方面，我們讓機器去學習、沉淀臨床專家的知識，通過可計算的方法，去賦能基層醫生。
因為今天的主題是訊飛醫療語音在醫學，尤其是在疫情防控中的一些應用，所以我選了三個題。
過去4年，我們在醫學語音交互與臨床結合過程中，曾經探索過非常多的方向，有些方向沉淀下來，還有一些方向，我們認為可能是一些偽需求，或者是技術上還不可達的需求。
第一個，電話機器人。電話機器人可以歸類到聊天機器人，從業務邏輯上看，電話機器人并不難，無非就是有一個人工智能的后臺，可以自動響應居民、客戶的問題。
如果是基于這樣一個命題，我們去構建模型，很大概率會因為搜索空間的“爆炸”導致產品或者算法的不可解。
如果想把這個產品真正給居民服務的話，需要把這個題降維：
第一，先從呼出做起，不要考慮很復雜的呼入場景，因為呼入場景的問題非常開放。對于開放場景的聊天機器人來說，Siri或者是Cortana做的都不是特別好，最后有可能會答非所問。如果在醫療場景下進行這樣的嘗試，很可能會誤導我們的患者。
所以，重新定義這個問題非常重要。
所以，我們做的第一個降維就是把“呼入”這個場景優化掉。因為“呼出”可以讓機器人去主導聊天，讓人類去做機械式響應。這樣可以把問題的復雜度降到系統、算法、資源可達的程度。
第二、呼出覆蓋哪一種場景？是做一個通用型的呼出，還是基于決策樹的細分場景呼出，我們要考慮到哪些場景能夠真正可行。
第二，居民在聽的時候，不會輕易地掛斷電話，所以我會結合這兩個問題，帶大家看一看，訊飛是如何進行選擇的。
按照目前的實驗方法，我們設計了一套大概能夠覆蓋80%業務的話術。醫生在選擇外呼服務之前，是通過話術模板來定義一個或n個推廣方案，然后選擇被隨訪的人群，剩下的事情由機器進行自動化地執行和并發執行，這也是我之前提到的人機耦合的方式。
人做人類擅長的部分，機器做機器擅長的部分，實現好用的同時，進而實現商業轉化。
講一講在電話機器人這個領域里，我們需要關注的技術。
第一、語音合成。我之前提到，如果想做到好用，這里面，那么語言合成要盡可能自然、生動，這里可以用很多方法，可以用TTS的方法，然后調優，也可以用錄音拼接的方式。我覺得這都不是絕對的，關鍵是看你最終要做成的產品，它所面對的場景是什么？
比如說一個簡單的通知，你沒有必要用TTS的方法去做，因為有可能自然度不高。如果是需要多輪對話、自定義字段比較多的話，用拼接方法可能就不經濟。那么，應該考慮選擇一個比較合適的TTS模型進行語音合成。
第二、需要考慮的是電話信道下的語音識別，考慮到成本問題，大家在選擇外呼電話時，優選的話是基于 VIP的方式，但是它本身信號的采樣率會非常低，會導致進行語音識別的原始音頻信號是壓縮的，可能會有大量損失。
對人來說沒有太多的問題，因為人耳已經經過幾萬年進化，具有很強的容錯能力，但是對于機器來講，這樣一種音頻就找不到相應的邊界；其次，相關算法不能適應這種高壓縮的音頻信號。
第三個就是語義理解，為什么這點非常重要？
做一些復雜場景的電話交流時，要考慮上下文。而且非常關鍵的問題在于接聽的居民或者患者，對于同一個問題的回答，會有多種表述方式。比如問是否去過武漢？包括去過湖北，用戶可能會說，好像是路過一下。
在這些情況下，要對不同的回答具備相應的語義理解能力。所以在制定電話機器人時，對于語義的理解和識別，要考慮針對不同的場景，如何做到高效的配置。對于企業來說，要考慮到每個產品或者模塊的研發成本的，
第三個就是多輪對話，對于外呼場景來講，這點可能還好。但是我們要考慮的問題是多輪對話的管理。此外，在這個過程中，如何去引導居民快速實現信息或者數據的獲取。
總結下來，如果這些技術都能實現，我們就能做到更好的智能交互，根據用戶的不同類型，選擇不同的語音合成模型，也包括通過認知智能技術進行話術、語義的理解。
我也分享一點經驗。早些年我們測試時，也用過播音員的語音合成模型，也用年輕或者年老的聲音。
但是，真正在提供外呼服務時，我們給客戶更多的選擇，可以選根據不同的采訪對象，選擇不同的聲音。比如，對于老年人，采用輕快的聲音，他可能聽不懂，因為老年人的反應跟理解能力會有欠缺。因此，第一，發音要慢。其次，受訪者會有很多反問的場景，比如他說“沒聽清，你再說一遍。”
所以，后續在設計多人對話時，要多考慮這些問題，這是技術層面。解決了這些技術層面的問題，只是做了這件事情的第一步。從科研角度來看，這是沒問題的。但是，如果把這樣的技術變成產品推向市場，還有很多問題需要解決。
此外，對話可能會被打斷、可能會被掛掉、有可能答非所問、有可能延遲，都有可能導致語音識別的錯誤，使得聊天沒有更好的辦法進行下去，我們要從功能還有產品的交互設計角度去考慮。
電話機器人一旦上線，就像核武器一樣，它是個大規模殺傷性武器。
但是，如果你們沒有和運營商或者電話標注的團隊進行很好的合作，那么群呼號碼可能會被標志成一個騷擾電話。即使你的技術做的再好、合成效果也很棒，但是變成了一個騷擾電話，這樣依然沒辦法觸達我們的客戶。
另外，主管部門會考慮，當電話機器人具備上千次的并發量時，發布的內容要帶有一定的責任感，尤其要避免違法違紀的信息。還想再提的一點是人機協同。人機協同主要是什么？就是說，即使現在機器人的能力已經很好，但是依然存在不能解決、不能回答的問題。
怎么辦呢？最好的方法就是增加轉人工的方式，遇到解決不了的問題，可以跳轉到人工。比如說，方言的普通話的支持。基于我們全國幾千萬通的電話統計分析，如果機器人說的是普通話，接聽人大部分也都會用普通話回答，但是很難避免帶有口音的普通話。
這就需要你的系統，尤其是語音識別的引擎，支持多方言場景下的高效識別。
下面我簡單列舉一下我們之前做過的場景。
這是2018年的語音合成模型，聲音聽起來還是有些太正式，剛才是在基本公共衛生隨訪的場景下，大家能從實際錄音中聽出來，患者比較配合。
但是居民的回答情況有非常多不相關的內容，尤其是語音合成越好，這種情況就會越明顯。我們的系統在識別語音之后要進行結果的提取。
這是我們從大年臘月27、28，就開始積極準備疫情防控的電話語音機器人。從1月份到疫情高發的2月底，我們的團隊都沒有休息，也保障了全國將近30個省和直轄市的智能疫情防控工作。
對于六大人群，尤其是返程人員、居家隔離、重點人群等，我們在非常短的時期內一共上線100多套話術。
為什么上線這么多話術？這也是我前面提到的，如何去降維這個過程。如果把所有的話術揉在一起，耦合的太緊，產品的設計、算法的設計會具有非常大的風險。不同的話術，對應的就是一個典型的應用場景。
在疫情之前，我們也一直在做常態化的應用，目前，與家庭醫生簽約、基本公共衛生相關的一些應用，我們可以覆蓋80%以上、需要人類打電話完成的工作，我們有上百個話術模板。這些模板也可以供基層醫生應用。
這是我們疫情提前應用的情況。截止上周末的數據，我們每周都會新增近100萬的外呼量，也可以看到最近時間輸入型疫情更多，從地圖上能看出來。
像黑龍江、內蒙、新疆，是最近這段時間疫情電話活躍的地方。我們的平臺在疫情期間承諾免費提供給客戶，讓機器人覆蓋更多場景，幫助客戶減少簡單機械的勞動。
這個場景我講的時間多一點，這是一個非常典型、綜合的場景，包含了語音識別、語音合成、語義理解等多項技術。
現在，除了臺灣省還有香港外，全國所有省份都在用我們的智能語音外呼服務。
智能醫學語音錄入很好理解，相當于我們做了一個醫學版本的語音輸入法。
很多研究機構都做過相關的統計：醫生在職業生涯里面，有80%以上的時間是進行醫學文書的整理和錄入工作。丁香園也做過一些調研，國內的一些住院醫師每天要花4小時以上的時間寫病歷。
如何去降低醫生的工作強度，提高文書的錄入質量，這也是擺在各級醫護人員面前的難題。
從邏輯和業務上，這個問題很好理解，做一個語音識別就好了。但是實際上在國內很多的地方，發達地區或好一些。但是在更多的情況下，全國中西部地區的很多醫院還做不到。左邊這張圖是我們經常遇到的就診場景，這種場景顯而易見，不適合用語音錄入。一是，無法保證隱私；二是，現場環境會有大量雜音錄入系統。。
我們面對的第一個問題是，如何降噪，尤其在開放環境下如何去降噪。第二個問題，醫學語音錄入只能解決轉寫的問題，也就是“所說即所得”。但對于醫生來說，他要的不是“所說即所得”。
例如，大家平時使用轉寫服務，會發現有很多廢話，還有語氣詞、助詞，這些詞不適合直接寫到專業的醫學系統如電子病歷里。
這就需要我們把與診療無關、不規范的表述進行調整。
這是我們最早做的一個場景，在口腔領域做語音電子病歷。除了過濾閑聊的內容，系統還要做到醫學專業表述的自動替換，像一些牙位圖、計量單位、體征數據，都要轉換成臨床醫生習慣、符合臨床管理要求的文書。
因此，語音錄入只解決了信號輸入和轉換的問題，真正要在臨床上有價值，還是需要做語義理解。
第一步，解決降噪的問題。通用的方法大家都知道，做麥克風陣列，再加語義層面上的內容整理，我們做過很多版本，可以提一下我們新的應用模式：基于4G模塊的麥克風即插即用，不用裝任何軟件，就可以實現類似于醫學云的輸入。
它可以應用于各種場景，麥克風除了降噪，還有很強的指向性，只收錄醫生的語音。
軟件層面，在語音識別引擎里，訊飛輸入法會把大量語氣詞進行優化，這是一個基本的解決方法。相對復雜的模式，基于我們的硬件和語音識別能力，我們可以多往前走一步，跟具體的業務系統結合起來。這就是我們早期在做門診語音電子病歷等事情的邏輯。
一開始做醫學語音錄入時，很多人的想法是我講的簡單的端到端方式。但是，做到一定程度之后，你會發現這種方式并不能完整解決用戶的問題。除了病歷本身所要具備的功能之外，這里有非常多的問題。
例如，語音識別出來的結果，怎么達到電子病歷規范的管理要求。這里面有一個非常明顯的例子：醫生問患者，還有什么地方不舒服嗎？
患者會說一些詞不達意的話，怎么把患者的語言從醫生聲音里面剔出去。其次，怎么能夠把醫生錄入的信息自動匹配到電子病歷的具體位置上，比如哪些話應該錄在主訴的位置，哪些話錄入檢驗、檢查，而且匹配到具體的位置，這需要與業務系統進行深度融合。
大家可能會想到一種方式，做接口就好了，這是一種方法。但是對于第三方的廠商，做電子病歷比較厲害的，像嘉和還有其他大廠，他們的版本不容易為你的語音識別進行定制化改造。
因此，雖然你可以給他提供相應的API和接口，但是他們獲取到的也只是前面提到的轉寫數據，對于這些廠商來講，需要一個翻譯的過程，就是把轉寫的東西匹配到具體位置，再上傳到電子病歷的具體位置。
基于我的經驗來看，很多廠商做的并不是特別好。因此，就需要考慮自己做一套更適合語音的電子病歷。
當你去基于我們的某種技術去解決一個具體的應用場景，一定要考慮，符合人工智能應用的數據如何整理、采集、呈現？
為什么我們會做一個相對完整版的語音電子病歷？因為識別之后，怎么把這些信息上傳到病歷里，這里有非常多的細節，需要我們在應用過程中打磨。
這是另外一個場景，把語音識別匹配到一個超聲報告的具體位置上。例如，產科醫生在檢查時，并不會按照報告模板上的位置來寫，他可能先看到胎心，也會先寫羊水深度。
因此，我們就要自動去匹配相關的位置，然后填到相應的模板里去。
前面講了通用場景下的語音識別和轉寫，包括把語音識別轉寫的結果和一些具體的應用系統融合的解決方案。這次疫情期間，我們也給一線醫生帶來一些簡便的應用，幫助他們減少醫學文書工作。
左邊是在武漢的某一家方艙醫院應用場景，右邊是湖北另一家醫院影像科醫生寫報告的場景。
基于我們的移動醫生護理系統，我們做了一個輕量版的應用，幫助各級方艙醫院的醫生去進行更好的管理。
患者從醫院出院之后，要到方艙醫院隔離14天，如果檢測結果呈陰性，還要回到家中再康復14天。按照疫情管理的規范，臨床醫生需要從頭到尾管理患者的健康。
這就給醫護人員帶來非常多的工作量，每天需要去看一下患者在家隔離的數據。基于這樣的場景，我們拿相對成熟的云醫生的移動醫護助理，然后改成一個康復智能護航系統，主要就是為了解決移動查房，包括患者體征數據手機和健康宣教。
目前，這個產品覆蓋湖北全省17個地市，539個隔離監測點。醫生要給居民下達一些健康處方、醫囑，可以用語音的方式錄入。患者上報體征，也可以用語音錄入。
最后提兩個其他應用，一個是在全國近百個區縣做的基于醫學認知的基層全科CDSS系統，這也是訊飛醫療非常重要的一個方向，我們堅信人工智能具備全科醫生的潛質，對于國家醫改、提升全民健康素養是非常重要的。
這次疫情中，我們也發現很多基層醫療機構，因為缺乏必要的檢查工具，也缺乏新冠肺炎臨床診療指南的能力。除了沖在一線的醫生，基層的醫療力量沒有最大化。
在疫情爆發前，我們的智醫助理就按照臨床指南上線了這種新冠肺炎的診斷模型，讓幾百名醫生具備早期篩查新冠肺炎的能力。
除了提高診斷的合理率之外，還可以從源頭上去規范電子病歷，提高臨床數據質量。
這是我們醫學多模態和多場景下的語音工具在全國的應用情況。目前北、上、廣還有浙江一些頂級醫院在應用，也非常歡迎大家通過我們這個平臺，一起去為客戶打造更好的醫療AI應用。
這就是今天我分享的主要內容，謝謝大家。雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
