IT之家 7 月 25 日消息，IT之家從上海市第六人民醫(yī)院官方公眾號(hào)獲悉，上海交通大學(xué)醫(yī)學(xué)院附屬第六人民醫(yī)院賈偉平教授和李華婷教授團(tuán)隊(duì)與上海交通大學(xué)電院計(jì)算機(jī)系 / 教育部人工智能重點(diǎn)實(shí)驗(yàn)室盛斌教授團(tuán)隊(duì)，攜手清華大學(xué)黃天蔭教授團(tuán)隊(duì)與新加坡國(guó)立大學(xué)覃宇宗教授團(tuán)隊(duì)，通過(guò)醫(yī)工交叉合作研究，構(gòu)建了全球首個(gè)面向糖尿病診療的視覺(jué)-大語(yǔ)言模型的多模態(tài)集成智能系統(tǒng) DeepDR-LLM，成果于 2024 年 7 月 19 日在 Nature Medicine 發(fā)表（題為 Integrated image-based deep learning and language models for primary diabetes care）。
據(jù)介紹，DeepDR-LLM 系統(tǒng)融合了大語(yǔ)言模型和深度學(xué)習(xí)技術(shù)優(yōu)勢(shì)，實(shí)現(xiàn)了醫(yī)學(xué)影像診斷與診療意見(jiàn)的多模態(tài)生成功能，能提供糖尿病視網(wǎng)膜病變輔助診斷結(jié)果及個(gè)性化糖尿病綜合管理意見(jiàn)。
該系統(tǒng)在覆蓋亞非歐三大區(qū)域七個(gè)國(guó)家的多中心隊(duì)列中進(jìn)行了回顧性驗(yàn)證，以及針對(duì)中國(guó)基層醫(yī)療實(shí)際開(kāi)展了前瞻性真實(shí)世界驗(yàn)證，首次向全球提供了面向糖尿病醫(yī)療垂直領(lǐng)域的多模態(tài)大模型應(yīng)用成效的高質(zhì)量循證證據(jù)。研究團(tuán)隊(duì)表示，研究證明 DeepDR-LLM 系統(tǒng)可有效改善 DR 篩查和基層糖尿病管理水平，為未來(lái)全球糖尿病治理提供了革命性的數(shù)字解決方案。
既往的 AI 系統(tǒng)研發(fā)主要集中在糖尿病的并發(fā)癥篩查或輔助管理的單一領(lǐng)域。隨著全球范圍內(nèi)以 ChatGPT 為代表的生成式人工智能技術(shù)的迅猛發(fā)展，多模態(tài)大模型正不斷推動(dòng)醫(yī)療領(lǐng)域的新應(yīng)用場(chǎng)景和模式的涌現(xiàn)，但這些模型尚不能根據(jù)患者的醫(yī)學(xué)影像和具體病情，提供準(zhǔn)確且安全的糖尿病綜合診療建議。
針對(duì)當(dāng)前的技術(shù)空白和臨床的實(shí)際需求，該團(tuán)隊(duì)成功研發(fā)了全球首個(gè)面向糖尿病基層診療的視覺(jué)-大語(yǔ)言模型多模態(tài)集成智能系統(tǒng) DeepDR-LLM。其可適配包括 LLaMA 在內(nèi)的大語(yǔ)言模型，LLM 模塊將訓(xùn)練網(wǎng)絡(luò)層與大語(yǔ)言模型的固有權(quán)重參數(shù)相融合，突破低算力資源約束下的多模態(tài)大模型優(yōu)化的瓶頸，并進(jìn)一步基于 37.2 萬(wàn)條基層慢病診療和慢病管理數(shù)據(jù)和知識(shí)實(shí)現(xiàn)了高效優(yōu)化訓(xùn)練，使 DeepDR-LLM 系統(tǒng)可基于患者個(gè)體的臨床信息生成精準(zhǔn)糖尿病管理意見(jiàn)。
https://www.nature.com/articles/s41591-024-03139-8
