大型語言模型整合多模態資料預測心臟衰竭脆弱期 90 天死亡率

Introduction:心臟衰竭 (Heart Failure, HF) 在全球都是一項具挑戰性的議題，特別是在出院後 90 天內脆弱期 (Vulnerable Phase, VP) 的高死亡率。隨著機器學習的發展，此技術展現其預測死亡率的可能性。在傳統預測模型上，大多僅依賴結構化的資料，然而非結構化文本蘊藏著豐富的資訊，相較於結構化資料，非結構化的文本可以同時包含著相似或完全不同的資訊。然而使用醫療文本建立機器學習模型時，時常面臨各種挑戰，其中包含詞元 (Token) 長度的限制，各種融合策略及模型的微調 (Fine-tuning)，因此需要自然語言、雙向編碼器表示 (Bidirectional Encoder Representations from Transformers, BERT) 及多模態學習的專業領域技能。此研究旨在探索完全不做任何文本前處理，使用大語言模型 (Large Language Model, LLM) 自動擷取文本中資訊，並建立成結構化資料的可能性。我們旨在探索使用三種不同的提示工程 (Prompt Engineering) 來減少幻覺輸出的可能性，並且可以確保其在不同版本的 LLM 下，仍具有泛化的能力。我們旨在透過整合擷取建立的結構化特徵與原始的結構化特徵來提升模型表現。最終的目標上，我們可以識別出針對預測 HF 患者出院後 90 天 VP 死亡率的重要特徵。 Materials and Methods:此研究資料來源於 Medical Information Mart for Intensive Care III 資料庫。非結構化文本使用護理紀錄、出院病摘及心電圖報告。LLM 我們使用 Gemini 1.5 Flash 應用程式介面 (Application Programming Interface, API)，並使用 Gemini 2.0 Flash API 評估泛化的能力。Prompt engineering 我們使用角色扮演 (Role-playing)、先分析後回答 (Analyze Before Answering) 及自我一致性 (Self-consistency) 等方法。並且搭配約束性 (Constraint-based) 的 prompt engineering 來嚴格控制模型輸出的格式。使用極限梯度提升 (eXtreme Gradient Boosting, XGBoost) 進行遞歸特徵消除法特徵篩選，最終的模型除使用 XGBoost 外，羅吉斯回歸 (Logistic Regression, LR) 作為基準模型。評估模型的指標使用 ROC 曲線下面積 (Area Under the Receiver Operating Characteristic Curve, AUROC)、準確度 (Accuracy)、特異性 (Specificity)、召回率 (Recall)、 精確度 (Precision)、F1 分數及精確率 - 召回率曲線下面積 (Area Under the Precision-Recall Curve, AUPRC)。我們使用 Shapley Additive Explanations 來計算並識別出重要特徵。 Results:在不使用任何 prompt engineering 狀況下，在總共 110 項目中有 10 項是擷取錯誤的，當開始加入 prompt engineering 時，擷取錯誤率開始下降，並在同時使用三種不一樣的 prompt engineering 時，有著最少的 2 個擷取錯誤。使用整合後特徵訓練的 XGBoost 可以比單存使用原始結構化特徵的 XGBoost 模型表現來的好。AUPRC 及 F1 分數分別達到了 0.63 (95% CI: 0.48-0.77) 及 0.56 (95% CI: 0.44-0.68)，相對提升了 16.67% 及 12%。並且在使用較新版本的 Gemini API 進行特徵擷取時，在模型多數指標上皆有所提升。 Conclusions:研究顯示 Gemini API 可以在完全不對文本進行前處理下，自動的從中擷取資訊。不只是建立完全新的結構化特徵，以及替代高度缺失的原始結構化特徵。Prompt engineering 可以降低幻覺提升回答的正確性，並且文中所使用的Prompt engineering 及敘述方式可以泛化至較新版本的 LLM。使用整合後的特徵可以提升預測模型的表現。單存使用原始結構化特徵及整合的特徵所訓練的模型皆顯示年長者、高血中尿素氮 (Blood Urea Nitrogen)、低收縮壓、高查爾森共病指數 (Charlson Comorbidity Index score) 及較長的加護病房住院時長為前 5 項影響模型預測 HF 病患 90 天 VP 死亡率的重要特徵。從文本中擷取的特徵，酗酒史、食用檳榔史、心房顫動 (Atrial Fibrillation)、較差的食慾及缺乏社會支持系統為前 5 項重要特徵。 關鍵字:心臟衰竭脆弱期、死亡率預測、大型語言模型、可解釋人工智慧、使用者介面