探討自然語言模型 Chat GPT 3.5 版之醫療衛教諮詢應用與信度分析

背景：於2022年OPEN AI釋出新版本聊天機器人 CHAT GPT 3.5版即獲得快速關注，2023年初釋出API提供商業型應用用戶引用服務，使用自然語言開發的Chat GPT 3.5版本，經美國2022年底在未調整模型下研究CHAT GPT 進行美國醫師證照考試，正確性約接近六成。因此於Chat GPT 3.5上進行衛教諮詢時，首先面臨資料是否充足具備被病患及家屬諮詢的能力。
目的：Chat GPT 為預訓練模型，探討CHAT GPT 3.5應用在醫療衛教諮訽流程建置，經提示工程調整回覆依據為醫療衛教文本後的成效；並將調整後諮訽流程，邀請醫師評估其正確性、一致性、差異性，請使用者評估以國中三年級的繁體中文可讀性、信任度進行觀察性研究。
方法: 研究初期建置及測試醫療衛教諮詢流程，首先成立醫療衛教網站，彙整專家建議的醫療衛教文本，資料來源：臺北醫學大學附設醫院官方網站—衛教資訊，截取2023年03月至06月份資料，網站供CHAT GPT 衛教諮詢流程測試及評分使用，共抽樣三項醫療衛教主題進行實驗:失眠、慢性腎臟疾病、糖尿病；由三組衛教各5位的一般使用者組受試者各提問3項諮詢問題發展為題庫，由CHAT GPT 進行回答，提問諮詢內容於提示工程(Engineering Prompt)中增加要求：1.使用繁體中文回覆。2. 若提問內容不在衛教文本中應回答”您所提問的內容不在資料庫中”等字樣。3.回答諮詢依據為本研究所提供衛教文本內容；4. 若有無法回答內容應提示使用者修正問題。5. 請從衛教資料中回覆諮詢問題。
將Chat GPT回覆諮詢結果製成題庫，由3位醫師閱讀題庫，計算依文本內容回答諮詢的正確性、一致性、差異性，填寫醫師評分表；由15位使用者評分模型回答諮詢的可讀性、信任度填寫於一般使用者評分表，共五項變數，觀察其成效分佈及標準差是否接近，由不同醫師判斷的正確性是否也為小量標準差差異，不會造成影響，驗證生成式AI是否可以正確回答諮詢內容，以做為日後衛教諮詢服務的工具。收案日期自2023年06月12日至2023年06月25日。
結果：測試完成彙整文本，於Chat GPT中進行提示工程語法測試，並取得調整後提示訊息的醫療衛教諮詢回覆；由醫師組3位、一般使用者15位受試者評分，評分共45題繁體中文諮詢議題，每題諮詢二次合計90次諮詢議題。依評分結果顯示模型諮詢表現，全部共45題，CHAT GPT 正確性達8分以上比例為26題，但未及格48題；一致性達8分以上比例為24題，平均值為7分以上未滿8分。因此目前正確性及一致性表現，尚不達做為醫療衛教諮詢助理程度。