1. 痛點問題

本項成果涉及一種基于無創性的眼科影像，診斷和預測眼科及其他系統性慢性疾病的算法技術包。糖尿病、冠心病和腎臟病都是當下社會患者基數大、統籌管理困難、早篩早診均有一定難度的慢性疾病。

1）糖尿病視網膜病變（DR）的主要挑戰之一是缺乏個體化的風險模型和不能準確預測疾病發生和進展的時間。DeepDR Plus算法所針對的任務主要是一個回歸問題，即將圖片映射為預期的目標事件發生時間。提出了一個新的生存分析框架，該框架能夠對目標事件的發生時間進行回歸。該框架結合了深度學習和生存分析的優點，可以有效地處理這種類型的數據，并能夠準確預測目標事件的發生時間。

2）在資源貧乏和基層醫療環境中，對于DR及時準確的診斷和治療成為一項挑戰。針對上述問題，提出了DeepDR-LLM的眼底圖像診療建議系統。這個系統結合了深度學習的糖尿病視網膜病變預測模型（TransDR）和大規模語言模型（LLaMA）。通過分析眼底圖像并將預測結果與患者的臨床信息相結合，系統能夠生成糖尿病管理的個性化診療建議。模型的最終輸出為個性化的糖尿病診療和管理建議。

3）現有的冠心病檢測技術大多聚焦在分類任務上，輸出結果單一、缺乏擴展性和可讀性，應用場景有限。本項成果以冠脈造影診斷報告為導向，融合計算機視覺技術和大語言模型，致力于提出一種非侵入性冠心病檢測系統，實現基于眼底影像生成冠心病病變描述文本以及對應的診療建議。基于“眼底影像-冠脈造影診斷報告-醫囑”數據集對多模態對話語言模型進行微調，實現輸入一張眼底即可輸出“冠脈造影診斷報告”，并提供個性化的診療建議。

4）糖尿病腎病（DKD）在糖尿病患者中的發生率高達40%，仍然是終末期腎病的主要致病因素。本項成果開發了一個深度學習系統DeepDKD來檢測DKD（非DKD組、DKD-中度增加風險組、DKD-高風險組或DKD-極高風險組），并區分孤立的DKD和非糖尿病性腎病（NDKD），僅使用視網膜底圖像作為輸入。DeepDKD系統采用大規模弱監督動量對比學習作為提取可轉移視覺表示的方法，進一步通過兩個任務（檢測DKD和區分孤立的DKD和NDKD）進行監督訓練。

5）大語言模型（LLMs）是一種基于深度學習的自然語言處理技術，通過大量的文本數據進行預訓練，以理解和生成自然語言。其中，利用這些模型開發的chatbot，即聊天機器人，已經成為了當下最具潛力的技術應用之一。而大語言模型（LLMs）尚未在醫學場景中得到應用。本項成果提出了名為SynapseLLM的創新chatbot框架，以解決基于LLMs的chatbot存在的醫學知識支持差、易產生幻覺及有害內容的缺點。

本項成果涉及的“應用人工智能的深度學習技術來診斷和預測眼科及其他慢性病技術”算法包，能夠在臨床條件下解決無創性診斷、分類、預警、預測等多種功能，在實際操作使用中也有更好的人機交互體驗，解決了目前市面上此類算法模型缺乏和易用性不佳的多項痛點問題。

2. 解決方案

本項成果涉及應用人工智能的深度學習技術來診斷和預測眼科及其他慢性病，包括糖尿病、冠心病和腎臟疾病相關的預測算法，以及擁有醫學知識儲備的大語言模型框架，涉及技術包括：DeepDR Plus，DeepDR-LLM，DeepCHD-FGLM，DeepDKD，Chatbot。

圖1 DeepDR Plus系統設計

圖2 DeepDR-LLM系統設計