0
| 本文作者： 任平 | 2022-04-21 19:04 |
醫(yī)生專家的手動標注是醫(yī)學影像AI研究的基石。標注軟件需要盡可能節(jié)省醫(yī)生手動標注的耗時，減少醫(yī)生標注的痛苦，并幫助醫(yī)生提高標注的質(zhì)量與一致性。作為首款國產(chǎn)一站式醫(yī)學影像標注軟件，Pair軟件具備專業(yè)便捷、通用易用且智能化的特點。
據(jù)了解，Pair由深圳大學醫(yī)學超聲影像計算實驗室（Medical Ultrasound Image Computing Lab, MUSIC) 的倪東教授和楊鑫博士等帶隊研發(fā)。團隊成員10余人，Pair軟件歷時近3年研發(fā)，仍在持續(xù)大幅優(yōu)化中。Pair定位于解決醫(yī)學影像標注軟件長期存在的問題，致力于成為最優(yōu)秀、最專業(yè)、最懂醫(yī)生的國產(chǎn)醫(yī)學影像標注軟件。Pair自2020年7月于MICS大會公開以來，得到了很多前輩老師的重要指導和批評意見，確立了更多值得解決的問題。Pair目前已基本完成第一階段基礎標注功能的開發(fā)，即將進入第二階段的全面智能化，同時進一步豐富基礎標注功能。
此次將對Pair在2021年的重要更新做系統(tǒng)整理與呈現(xiàn)。Pair軟件的核心功能亮點如下：
Pair標注功能展示
研究項目通用，兼容各種影像模態(tài)和文件格式
Pair可兼容CT、X-Ray、MRI、PET、超聲、病理切片、細胞涂片等10余種影像模態(tài)，兼容2D、視頻、3D、病理、信號、放療勾畫文件等20余種文件格式。所有醫(yī)學影像AI研究項目可通過Pair完成標注，無需在不同項目間頻繁、耗時費力地切換、培訓不同的標注軟件。
標注功能豐富，覆蓋諸多影像AI研究的標注需求
Pair提供測量線、角度、多邊形、曲線、曲面、矩形框、關鍵點、分類標簽、文本屬性、時間軸、切面等20多項標注功能，涵蓋測量、分割、分類、目標檢測、關鍵點定位、動作預測等常見影像AI分析所需的標注類型。更重要的，Pair支持標注功能與類型的混合使用，充分適應復雜的研究與標注需求。
智能輔助標注，讓醫(yī)生從繁重的手動標注中解脫
Pair提供多層次的智能化輔助標注功能，可大幅減輕醫(yī)生的手動標注工作量。Pair提供閾值分割、魔術棒、曲線擬合、矩形框跟蹤、標簽記憶/復制等自動化輔助標注功能。Pair尤其配備獨有的用戶自定義AI標注和通用智能分割標注AutoSeg。兩項功能均可搭載深度學習模型，僅需普通電腦CPU，即可實現(xiàn)對解剖結(jié)構(gòu)的一鍵式智能標注。
標注流程規(guī)范化，支持大規(guī)模影像標注任務
Pair提供標注標簽的配置和管理功能，可有效避免標注者因誤操作或個人習慣而引發(fā)的標簽錯用和標注功能誤用，從而實現(xiàn)標注流程的規(guī)范化，有效降低標注結(jié)果的噪聲。Pair通過優(yōu)化內(nèi)存管理，可支持同時導入超1000例影像文件進行標注，支持2萬幀的超大視頻文件標注，支持2GB以上病理影像文件的標注。
病例隱私脫敏和影像加密，為研究項目提供安全保障
病例的隱私和影像是AI研究的寶貴資源，且面臨日益嚴重的泄露風險。通用易用的隱私脫敏工具和支持加密的標注軟件仍舊缺乏。Pair因此提供了完善的脫敏功能、多層權(quán)限的高階加解密標注功能，以實現(xiàn)病例隱私、醫(yī)學影像以及標注資源的多重安全。
簡潔易用的工作流，持續(xù)完善和豐富的教程用例資源
Pair擁有簡潔和直覺化的標注邏輯設計，以方便醫(yī)生快速入手并減少標注交互的耗時。Pair提供詳細的文檔說明及視頻演示，便于用戶快速熟悉軟件的操作流程，節(jié)省標注的培訓耗時。截止目前，Pair已更新15期制作精良的視頻教程，并將陸續(xù)邀請多位醫(yī)生專家分享使用Pair做高效標注的案例。
Pair與現(xiàn)有標注軟件的功能對比
截止目前，Pair已基本完成基礎功能框架的研發(fā)，正在朝全面智能化的方向快速前進，以進一步減輕醫(yī)生手動標注的痛苦。Pair保持高頻的更新優(yōu)化進度，追求對標注功能設計的極致專業(yè)，致力于成為基礎重要軟件。Pair在2021年內(nèi)已進行如下多項重要功能的更新與優(yōu)化：
通用智能分割標注AutoSeg
用戶自定義AI模型的輔助標注
視頻時間軸事件標注
多模態(tài)影像互補標注
全面支持放療勾畫的DICOM RT Struct
病例隱私脫敏和影像信息安全化軟件PairCode
實現(xiàn)Windows / Ubuntu / CentOS版本
下面我們將詳細介紹各大重要功能更新（備注：本文所示所有醫(yī)學影像均已做隱私信息脫敏處理）：
精細的分割標注是醫(yī)學影像標注中最為耗時的任務。不同的影像模態(tài)、解剖結(jié)構(gòu)和病灶需要不同專業(yè)與資質(zhì)的醫(yī)生進行繁重的逐點分割標注。為解決上述關鍵問題，Pair團隊研發(fā)了重磅的智能功能AutoSeg，旨在實現(xiàn)通用的解剖結(jié)構(gòu)精細分割標注，大幅節(jié)省手動標注的耗時，進而推動AI影像研究的快速實現(xiàn)與普及。AutoSeg的優(yōu)勢特性如下：
無需任何配置，簡單直接、方便易用
無需區(qū)分影像模態(tài)、解剖結(jié)構(gòu)、病灶類型
1秒完成，普通筆記本電腦即可使用
一鍵框定操作，實現(xiàn)精細分割標注
據(jù)統(tǒng)計，使用Pair的AutoSeg自動分割標注功能，可節(jié)省約70%的分割標注耗時。Pair基于華為開源的深度學習平臺MindSpore實現(xiàn)該功能，以MindSpore Lite完成最終部署。MindSpore Lite中高效的內(nèi)核算子實現(xiàn)可以充分發(fā)揮普通CPU的硬件算力，有效平衡了模型算力需求和模型精度要求，使得推理耗時縮短至1秒內(nèi)，極大地提升了AutoSeg的用戶體驗。
AutoSeg已在CT，MRI，超聲，X-ray，PET，掃描電鏡，病理，涂片，內(nèi)窺鏡等影像模態(tài)的多種解剖結(jié)構(gòu)和病灶上驗證和使用。AutoSeg的標注結(jié)果可便捷編輯修改，以方便用戶微調(diào)和快速確認。如下是AutoSeg在多樣化的影像和解剖結(jié)構(gòu)上的應用展示：
AutoSeg功能對腹部、胸部CT影像的標注示例一
AutoSeg功能對肝臟CT影像的標注示例二
AutoSeg功能對脊柱CT影像的標注展示
AutoSeg功能對超聲影像的標注展示
AutoSeg功能對腦部MRI影像的標注展示
AutoSeg功能對肺部X光影像的標注展示
AutoSeg功能對細胞涂片、切片的標注展示
AutoSeg功能對細胞切片的標注展示
AutoSeg功能對腸鏡影像的標注展示
AIA是Pair獨有的一鍵AI推理功能，無論是分類、分割、點定位、目標檢測以及多任務等，用戶僅需提供自定義AI模型，點擊AI按鈕即可快速自動生成輔助標注，微調(diào)標注結(jié)果便完成標注工作，節(jié)省標注時間，加快工作流程。目前，Pair的AIA輔助標注功能可支持谷歌的Tensorflow和臉書的Pytorch深度學習平臺，支持超過50種深度學習網(wǎng)絡模型架構(gòu)。Pair近期也添加了對國產(chǎn)的華為MindSpore深度學習框架模型的支持。
豐富的AI功能，包括分割、點定位、實例分割和檢測
醫(yī)學視頻影像通常由不同事件的影像片段沿時間軸構(gòu)成，不同片段會具有不同屬性的標注需求，如心臟在心動周期的不同動作、手術器械在手術不同階段的動作類型等。目前鮮有標注軟件提供對醫(yī)學視頻影像的時間軸標注功能。Pair提供的時間軸標注功能，通過便捷的交互設計，可快速對視頻的任意片段進行多種屬性的標注，高效推動視頻標注工作的進展。具體說來，在時間軸標注功能下，鼠標右鍵拖動選中的標簽到時間軸上對應的幀，即可完成對改視頻片段的屬性標注。Pair還提供時間軸跟隨功能，方便用戶觀察片段所屬的幀。若要修改標注，左鍵點擊對應時間軸的端點進行拖動即可，操作方便。
視頻時間軸標注
單一的影像模態(tài)使醫(yī)生對病灶的定位和標注存在明顯局限性。通過多模態(tài)信息的同步觀察與互補使用，有利于醫(yī)生準確標注病灶，如結(jié)合MRI中的T1與T2影像、多模態(tài)的超聲影像、PET和CT影像、不同熒光染色的細胞涂片影像等。Pair提供的多模態(tài)影像互補標注功能可在標注過程同步顯示不同模態(tài)的影像，降低醫(yī)生對目標區(qū)域的定位和輪廓勾畫的不確定度，有效幫助醫(yī)生進行識別和標注。Pair提供的多模態(tài)標注功能可兼容二維、視頻、三維和病理圖像。
多模態(tài)影像互補標注過程
鑒于放射科對AI研究的重大需求，Pair新增了對放射影像DICOM RT Structure文件格式的全面支持。放射科醫(yī)生將TPS (Treatment Planning System)放療規(guī)劃系統(tǒng)中勾畫的放療靶區(qū)輪廓線以RT Struct格式導出后，可直接在Pair中打開，進行可視化和進一步的標注優(yōu)化。Pair可支持超1000條RT輪廓線的標注交互。Pair更可以將RT Struct內(nèi)的輪廓線填充并導出成分割標注結(jié)果文件，如nii, nii.gz等格式，極大地方便放射科醫(yī)生使用專業(yè)的影像組學軟件，如TexRAD、MaZda等，進行后續(xù)的高階分析與研究。
在醫(yī)學影像標注過程中，有效地保護患者隱私和確保標注資源的安全至關重要。現(xiàn)有的標注軟件在標注流程上往往存在較高安全風險：
影像未脫敏，病人隱私信息無保護；
影像資源和標注結(jié)果資源存在高泄露風險；
為滿足保護病患隱私信息和影像資源安全的需求，Pair提供了安全化輔助軟件PairCode，為影像標注任務提供全流程的加密防護，實現(xiàn)標注資源的雙重安全保護。PairCode提供如下兩方面的功能：
DICOM影像脫敏
醫(yī)學影像中，DICOM數(shù)據(jù)的頭文件往往存有患者的隱私敏感信息。當原始數(shù)據(jù)在作為標注對象流動時，易發(fā)生患者隱私泄露。通過使用PairCode的數(shù)據(jù)脫敏功能，項目管理者可批量、自定義地擦除或修改敏感條目，如DICOM頭文件信息中的患者信息、檢查信息等，以保護患者隱私。
具體地，在PairCode的脫敏功能中，DICOM頭文件中與隱私相關的信息被細分為五部分，用戶可根據(jù)項目對頭文件信息進行自定義的修改或刪除操作。同時，PairCode會提供脫敏信息的查找密碼本，記錄頭文件信息的原始內(nèi)容和修改后的內(nèi)容，以便于后續(xù)的回溯工作。PairCode可支持超10GB批量影像文件的處理。
標注資源加解密
為實現(xiàn)標注資源安全私有化、降低資源泄露風險，PairCode提供影像和標注的加解密功能，保障數(shù)據(jù)的安全流通：
項目管理者可對資源進行自定義加解密；
支持超過20種專業(yè)醫(yī)學影像格式的便捷加解密；
非對稱高階加密，用戶標注體驗零負擔。
PairCode提供公有加密和私有加密兩種加密方式，加密后的影像和標注結(jié)果的查詢和修改只能通過Pair軟件進行，以此來保障數(shù)據(jù)安全。使用PairCode對數(shù)據(jù)進行加密后，標注人員僅需加載配置文件即可對加密影像進行標注工作，軟件也將自動對標注結(jié)果進行加密，無需額外的手動加密操作。
目前，Pair已實現(xiàn)了Windows 、Ubuntu和CentOS三種不同操作系統(tǒng)的版本，以滿足醫(yī)生、工程師和集群服務器的標注需求。用戶可自主選擇版本進行安裝與使用。通過Pair不同操作系統(tǒng)版本進行標注的結(jié)果，可使用其他系統(tǒng)進行查看和修改，便于標注結(jié)果在項目小組成員間的流通。此外，Pair還設置了中英文兩種語言版本，便于不同語種的用戶進行使用。
專家用戶評語
蔡躍新教授，中山大學孫逸仙紀念醫(yī)院耳鼻喉科
“Pair軟件真正實現(xiàn)了科研項目間的通用化標注支持，是我們嘗試的其他標注軟件所不能比的。我們團隊的多個三維影像相關的AI研究項目，均采用Pair進行標注。項目開展期間，得到了Pair團隊的及時響應與積極支持。希望Pair軟件能發(fā)展得越來越好，更方便AI相關的研究，成為更多醫(yī)生喜歡的軟件。”
楊毅博士，四川大學華西醫(yī)院骨科
“我們的CT三維影像的標注在遇到Pair軟件后，得到了明顯的提速和提質(zhì)，課題也得以很快開展。它的功能簡單直接，幾乎沒有學習難度，很多智能化標注功能令我印象深刻。PairCode軟件也非常好地滿足了我們對大批量影像脫敏的專業(yè)需求。Pair團隊總是能很快處理我們提出的個性化需求，是很好的合作團隊。希望Pair可以幫助降低AI研究的門檻，幫助更多醫(yī)生更快更好地完成AI課題。”
張子健，醫(yī)學物理師，中南大學湘雅醫(yī)院腫瘤科
“在使用Pair軟件之前，我們的數(shù)據(jù)標注工作隨著不同的數(shù)據(jù)類型可能需要在不同的軟件之間切換，但一次偶然的相遇，讓我們團隊接觸到了Pair，它為我們團隊的多模態(tài)數(shù)據(jù)標注，尤其是CT-PET的放療勾畫，提供了一個一體化的平臺。Pair的使用簡單易上手，大家標注的效率得到了極大的提高。在開展項目的部分場景，由于需要一些個性化的功能，也能得到Pair團隊的充分支持。衷心希望Pair團隊能越做越好，越做越強。”
截止目前，Pair已在超過2000位用戶和300多個海內(nèi)外的知名研究機構(gòu)、醫(yī)院和企業(yè)間使用，且收到了非常多有價值的反饋和功能建議。Pair會以穩(wěn)定活躍的研發(fā)團隊進行持續(xù)的優(yōu)化與升級，致力于把Pair打造成國產(chǎn)的基礎、專業(yè)化軟件，推動AI新基建。
即刻體驗與試用
下載鏈接內(nèi)提供Pair不同操作系統(tǒng)、不同版本的安裝包，還有Pair的AIA模型文件和示例測試圖像等資源，方便體驗者即刻體驗AI輔助標注帶來的便捷性。若要體驗上述新增功能，請下載Pair2.5版本。
https://www.jianguoyun.com/p/DUQd8gcQh-n1CBiLvcgD
以下為Pair在Bilibili提供的相關功能的視頻教程，歡迎大家點贊、投幣、收藏一鍵三連。
https://space.bilibili.com/616429598
聯(lián)系方式
更多詳細資料，可關注Pair微信賬號和B站官方賬號
由衷致謝
感謝各領域的醫(yī)生們對Pair的肯定和批評反饋，感謝醫(yī)學影像分析領域內(nèi)的專家們對Pair的關注和指導。感謝華為開源生態(tài)和MindSpore團隊對AutoSeg功能開發(fā)與優(yōu)化的迅速響應和大力支持。感謝團隊成員的齊心付出和不懈堅持，包括但不限于：陳超宇、劉文星、胡歆迪、史文龍、林銘容、羅依然、何雙池、劉思菁、劉戀、周涵、王鍵、呂芬、高睿、王凱妮等。
雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
