在醫(yī)學(xué)領(lǐng)域，LLM不僅能通過醫(yī)學(xué)研究生的水平考試，還能幫助臨床醫(yī)生進(jìn)行診斷。不過，這些均為受控基準(zhǔn)測(cè)試中的表現(xiàn)。那么，在無法核對(duì)答案、患者眾多且資源有限的真實(shí)環(huán)境中，LLM表現(xiàn)究竟如何呢？為找到答案，兩個(gè)獨(dú)立研究團(tuán)隊(duì)分別在盧旺達(dá)與巴基斯坦進(jìn)行了研究。 在盧旺達(dá)，研究人員測(cè)試了LLM能否在4個(gè)衛(wèi)生資源匱乏地區(qū)為患者提供準(zhǔn)確的臨床信息。“這些地區(qū)面臨醫(yī)護(hù)人員短缺問題，無法接診全部患者，多數(shù)患者由培訓(xùn)不足的社區(qū)工作者來接診和分診?！痹撗芯孔髡?、非營(yíng)利性國(guó)際健康組織PATH的首席AI官Bilal Mateen說。 Mateen團(tuán)隊(duì)讓當(dāng)?shù)丶s100名社區(qū)衛(wèi)生工作者編制了一份包含5600個(gè)臨床問題的清單，均為患者最常提出的問題。研究人員將5個(gè)LLM對(duì)其中約500個(gè)問題的回答，與經(jīng)過培訓(xùn)的當(dāng)?shù)嘏R床醫(yī)生的回答進(jìn)行了對(duì)比。結(jié)果顯示，在11個(gè)評(píng)價(jià)指標(biāo)上，所有LLM的表現(xiàn)均優(yōu)于當(dāng)?shù)蒯t(yī)生。此外，LLM還可使用盧旺達(dá)語回答約100個(gè)問題。 Mateen表示，與人類相比，LLM還有另一個(gè)優(yōu)勢(shì)——可全天候接受社區(qū)健康工作者的咨詢。此外，LLM成本低廉——醫(yī)生的費(fèi)用為5.43美元、護(hù)士為3.80美元，而LLM用英語回答的成本為0.0035美元、用盧旺達(dá)語回答的成本為0.0044美元。 但美國(guó)貝斯以色列女執(zhí)事醫(yī)療中心的臨床和AI研究員Adam Rodman對(duì)將LLM與人類表現(xiàn)進(jìn)行比較持懷疑態(tài)度，認(rèn)為基于書面答案的評(píng)估機(jī)制更適合衡量模型性能，對(duì)人類表現(xiàn)則不那么有效。 在巴基斯坦，由拉合爾管理科學(xué)大學(xué)的計(jì)算機(jī)科學(xué)家Ihsan Qazi領(lǐng)導(dǎo)的研究團(tuán)隊(duì)，對(duì)LLM在真實(shí)環(huán)境中的應(yīng)用進(jìn)行了研究。結(jié)果發(fā)現(xiàn)，在缺乏醫(yī)學(xué)專家、患者數(shù)量龐大、診斷錯(cuò)誤率高的巴基斯坦，LLM可以提高診斷準(zhǔn)確性。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時(shí)并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請(qǐng)聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
