以深度學習訓練辨識台灣常見升糖指數食物

背景：糖尿病是一種與飲食相關的慢性疾病，碳水化合物的攝取量與種類選擇，在調控血糖上扮演著一個很重要的角色。其中，升糖指數(GI)是根據食物對於血糖的影響，進而將食物分成高、中、低三類的一種概念。此外，人工智慧(AI)用於辨識影像的方法也逐漸成熟，對於應用在飲食評估上潛在著前瞻性與可行性。目前臺灣尚未建置臺灣常見食物影像資料庫，且無應用AI在糖尿病營養照護的研究。
目的：本研究目的主要是訓練AI辨識台灣常見的升糖指數食物影像，並以糖尿病病人所拍攝紀錄的食物影像日誌來驗證AI辨識升糖指數食物的準確度。
方法：在AI食物影像辨識訓練中，我們首先建立了一個包含150種台灣常見GI食物的食物影像暨營養資料庫，初步挑選三種深度學習模型 （ResNeXt-101-32x8、ViT_B_16 和ResNet152）來測試AI辨識食物影像的準確度，最後，以糖尿病受試者所拍攝的日常飲食影像來驗證模型的準確度。食物影像來源主要分成三種，網路爬蟲、由本實驗室拍攝的標準食物影像以及臨床糖尿病人食物影像，影像資料集分成訓練集：驗證集：測試集＝8：1：1，訓練條件Batch size設為32。 初步招募21位患有糖尿病的台灣成人，使用本實驗室開發的 「Formosa FoodApp」讓受試者拍照記錄日常飲食攝取狀態，營養師再利用「圖像飲食評估分析法」分析病患所攝取的食物熱量及其GI和升糖負荷值(GL值)，共計收集271天食物影像日誌，3003張食物影像。
結果：150種台灣常見GI食物影像資料庫收集37,301張食物影像，95%來自網路爬蟲（35,521張食物影像），2%來自本實驗室拍攝的食物標準照（759張食物影像），3%來自臨床糖尿病病人的飲食日誌（1,121張食物影像）。在AI模型預訓練階段， ResNeXt-101-32x8、ViT_B_16 和ResNet152三種模型平均的整體top-1準確度達到約85.9%，整體 top-5準確度皆超過96%。 對於不同GI食物的辨識上，高、中、低GI食物的整體top-1辨識準確度分別是85.8%、81.7% 和87.9%，雖然整體辨識率高達8成，但有7種食物的平均辨識準確度低於6成。第二階段為臨床驗證，共有78種糖尿病人所攝取的食物影像進行驗證，整體top-1準確度達到80.8%，其中以高GI食物類別的辨識準確度87.4%為最高，其次為低GI食物的76.9%和中GI 60.2%。 ResNeXt-101、ViT_B_16和ResNet152 分別有9、12、8 種食物辨識準確度為0%，後續分析顯示：三種深度學習模型辨識不佳的主因為「人類也難以辨識（人類的準確度低於60%）」、「預訓練的辨識準確率就較低（模型準確度低於60%）」或是「食物種類間相似度高」等因素。
結論：在這項初步研究中，AI深度模型對於辨識臨床糖尿病受試者的食物影像的體準確度達80.8%，其中辨識高GI食物的準確度為最佳。未來目標是持續收集病患飲食資料，並以臨床影像微調AI模型以增進臨床食物影像辨識準確度，並進行食物影像切割，分析個別食物的營養素並計算GL值。