麻省理工學(xué)院在《npj digital medicine》發(fā)表了一項(xiàng)研究“Integrated multimodal artificial intelligence framework for healthcare applications”，介紹了一個(gè)全面的人工智能醫(yī)學(xué)框架，該框架旨在通過(guò)多模態(tài)輸入優(yōu)化醫(yī)療AI系統(tǒng)，通過(guò)標(biāo)準(zhǔn)化的數(shù)據(jù)預(yù)處理和機(jī)器學(xué)習(xí)建模，適用于醫(yī)療環(huán)境的研究和應(yīng)用。
隨著人工智能（Arti?cial intelligence，AI）和機(jī)器學(xué)習(xí)（machine learning，ML）技術(shù)的不斷進(jìn)步，這些技術(shù)在臨床實(shí)踐和醫(yī)療運(yùn)營(yíng)中的應(yīng)用變得日益重要。它們?cè)谔嵘R床效率和改善患者治療結(jié)果方面展現(xiàn)出巨大潛力。具體來(lái)說(shuō)，多模態(tài)AI/ML系統(tǒng)能通過(guò)整合電子健康記錄（electronic health record，EHR）中的多種數(shù)據(jù)形式，如表格數(shù)據(jù)、圖像、時(shí)間序列和文本等，對(duì)醫(yī)療專(zhuān)業(yè)人員的決策過(guò)程進(jìn)行模擬，從而顯著提高預(yù)測(cè)的準(zhǔn)確性和響應(yīng)速度。
該研究中介紹的HAIM模塊化ML框架，專(zhuān)為處理和整合多種數(shù)據(jù)模式而設(shè)計(jì)，通過(guò)一個(gè)統(tǒng)一的處理和特征聚合平臺(tái)，顯著提升AI/ML系統(tǒng)的整體性能。作為一個(gè)開(kāi)源項(xiàng)目，HAIM框架支持臨床醫(yī)生和研究人員更有效地利用本地?cái)?shù)據(jù)集解決臨床相關(guān)的預(yù)測(cè)任務(wù)，從而最大化多模態(tài)數(shù)據(jù)的實(shí)際應(yīng)用價(jià)值。本研究數(shù)據(jù)集采用Medical Information Cart for Intensive Care (MIMIC)-IV數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)為公開(kāi)可訪問(wèn)數(shù)據(jù)庫(kù)，收錄了2008年至2019年間在波士頓Beth Israel Deaconess醫(yī)療中心（Beth Israel Deaconess Medical Center，BIDMC）重癥監(jiān)護(hù)室或急診科的383,220名患者的去隱私化數(shù)據(jù)。MIMIC-IV數(shù)據(jù)庫(kù)的最新版本（v1.0）在前一版本MIMIC-III基礎(chǔ)上進(jìn)行了優(yōu)化，提供了超過(guò)40,000名住院患者的EHR。此外，還使用了含377,110張放射影像及其文本報(bào)告的MIMIC胸部X光數(shù)據(jù)庫(kù)v2.0.0。這些數(shù)據(jù)與MIMIC-IV v1.0中的患者記錄相對(duì)應(yīng)，并被整合成一個(gè)統(tǒng)一的多模態(tài)數(shù)據(jù)集（HAIM-MIMIC-MM），用于本研究的所有機(jī)器學(xué)習(xí)用例分析。通過(guò)查詢(xún)聚合的多模態(tài)數(shù)據(jù)集HAIM-MIMIC-MM，為每個(gè)單獨(dú)的住院事件生成了包含廣泛患者特定信息的個(gè)體文件。這些文件匯集了包括入院、轉(zhuǎn)院記錄、人口統(tǒng)計(jì)數(shù)據(jù)、實(shí)驗(yàn)室測(cè)量值、醫(yī)囑、微生物培養(yǎng)、藥物管理、處方、程序事件、靜脈和流體輸入、傳感器輸出、測(cè)量事件、放射影像、放射報(bào)告、心電圖、超聲心動(dòng)圖報(bào)告、筆記及醫(yī)院賬單信息等在內(nèi)的多維數(shù)據(jù)。（3）患者數(shù)據(jù)處理和多模態(tài)特征提取對(duì)每個(gè)患者文件進(jìn)行獨(dú)立處理，為每種數(shù)據(jù)類(lèi)型生成固定維度的向量嵌入。這些嵌入包括表格數(shù)據(jù)（如人口統(tǒng)計(jì)學(xué)數(shù)據(jù)）、結(jié)構(gòu)化時(shí)間序列事件（如圖表事件、實(shí)驗(yàn)室事件、程序事件）、非結(jié)構(gòu)化自由文本（如放射學(xué)筆記、心電圖筆記、超聲心動(dòng)圖筆記）、單圖像視覺(jué)（如視覺(jué)概率、視覺(jué)密集層特征）和多圖像視覺(jué)（如聚合視覺(jué)概率、聚合視覺(jué)密集層特征）。利用預(yù)訓(xùn)練模型（例如Clinical BERT和Densenet121）提取文本和圖像數(shù)據(jù)的嵌入，并將這些嵌入整合成單一的多模態(tài)融合嵌入，輸入到HAIM框架進(jìn)行下游任務(wù)建模。針對(duì)模態(tài)缺失數(shù)據(jù)，數(shù)值型模態(tài)數(shù)據(jù)，研究團(tuán)隊(duì)采用了零值填補(bǔ)，而字符文本型模態(tài)的數(shù)據(jù)，則采用空字符串填補(bǔ)。通過(guò)從HAIM-MIMIC-MM數(shù)據(jù)庫(kù)中提取的多模態(tài)融合嵌入，構(gòu)建了用于診斷胸部病理、預(yù)測(cè)住院時(shí)長(zhǎng)和48小時(shí)內(nèi)死亡率的分類(lèi)模型。模型采用XGBoost方法，通過(guò)五次不同的數(shù)據(jù)切分，將嵌入隨機(jī)分為訓(xùn)練集（80%）和測(cè)試集（20%）。同時(shí)在訓(xùn)練集上使用五折交叉驗(yàn)證進(jìn)行超參數(shù)搜索，獲取最優(yōu)的超參數(shù)組合，以評(píng)估模型性能并確保數(shù)據(jù)的完整性和可靠性。在整合的多模態(tài)臨床數(shù)據(jù)集（HAIM-MIMIC-MM）上，HAIM框架展現(xiàn)了其可行性和多功能性。此數(shù)據(jù)集包含34,537個(gè)樣本，覆蓋了7,279次住院和6,485名患者。HAIM框架在先前的基礎(chǔ)上進(jìn)行了優(yōu)化，增加了可擴(kuò)展的患者中心數(shù)據(jù)預(yù)處理和標(biāo)準(zhǔn)化特征提取階段。這些改進(jìn)支持了基于用戶(hù)定義的預(yù)測(cè)目標(biāo)的模型快速原型化、測(cè)試和部署。模型表現(xiàn)中，隨著模態(tài)和數(shù)據(jù)來(lái)源的增多，平均AUROC值呈現(xiàn)一致性增長(zhǎng)，同時(shí)AUROC標(biāo)準(zhǔn)差也有明顯的下降。
HAIM框架生成的模型在處理多源和多模態(tài)輸入時(shí)性能顯著提升。相比傳統(tǒng)的單模態(tài)系統(tǒng)，模型在胸部X光病理預(yù)測(cè)、住院時(shí)長(zhǎng)及48小時(shí)內(nèi)死亡率預(yù)測(cè)等方面均有所增強(qiáng)，其中胸部病理預(yù)測(cè)的具體改進(jìn)包括骨折（ΔAUROC = 6%）、肺部病變（ΔAUROC = 7%）等，最高提升至水腫和心臟增大的預(yù)測(cè)（ΔAUROC = 10%）。（3）數(shù)據(jù)源和模態(tài)對(duì)模型性能的影響研究團(tuán)隊(duì)進(jìn)一步分析了數(shù)據(jù)源和模態(tài)對(duì)模型性能的具體貢獻(xiàn)，通過(guò)計(jì)算每個(gè)數(shù)據(jù)源和模態(tài)對(duì)AUROC性能的Shapley值，揭示了各因素的影響力。在胸部病理診斷中，視覺(jué)數(shù)據(jù)的貢獻(xiàn)最大；而在預(yù)測(cè)住院時(shí)長(zhǎng)和48小時(shí)死亡率方面，患者歷史時(shí)間序列數(shù)據(jù)更為重要。此外，Shapley值的分析還能夠監(jiān)測(cè)特征提取和模型訓(xùn)練階段的錯(cuò)誤傳播和信息損失。雖然存在多模態(tài)數(shù)據(jù)的冗余，但結(jié)果顯示，各單一模態(tài)都對(duì)模型預(yù)測(cè)能力呈現(xiàn)積極的單調(diào)趨勢(shì)。
這些結(jié)果驗(yàn)證了HAIM框架在多模態(tài)輸入處理和預(yù)訓(xùn)練特征提取方面的價(jià)值和局限，證明了其在生成多種臨床任務(wù)預(yù)測(cè)模型方面的經(jīng)濟(jì)效益和有效性。該文證明了多模態(tài)融合學(xué)習(xí)在處理臨床任務(wù)上的積極作用，并通過(guò)大規(guī)模實(shí)驗(yàn)驗(yàn)證了其有效性，為醫(yī)療保健領(lǐng)域中AI系統(tǒng)的發(fā)展和應(yīng)用提供了重要的理論和實(shí)踐貢獻(xiàn)。Ref:
Soenksen, L.R., Ma, Y., Zeng, C. et al. Integrated multimodal artificial intelligence framework for healthcare applications. npj Digit. Med. 5, 149 (2022).
