下游KG與GNN模型的范例解說

1   複習(xí)：三層KG架構(gòu)

首先復(fù)習(xí)已經(jīng)詳細介紹過的< 三層KG 架構(gòu)>。然后基于這項創(chuàng)新架構(gòu)，可以構(gòu)建出一種<KG+GNN+LLM>整合式知識推理流程。其包含LLM 協(xié)助構(gòu)建知識圖譜（KG）、GNN推理潛在知識與反事實邊、人類進行創(chuàng)新決策后回饋知識圖，最終結(jié)合RAG與LLM完成可信、可控、可更新的主權(quán)AI 演化生態(tài)圈。此生態(tài)圈的最大價值是：

●   從無到有（用LLM建立KG）：使用BERTopic預(yù)訓(xùn)練模型擷取候選實體，并由LLM 萃取語意關(guān)系并建構(gòu)初步三元組（Triple）圖譜，大幅提升初建KG 的在地性與語義密度。

●   從靜態(tài)到推理（用GNN 和CF 探索）：訊練GNN預(yù)測潛在關(guān)系，并透過GAT、R-GCN 等模型進行鏈接預(yù)測，探索反事實連結(jié)（CF Link），來激勵人們的反事實思考（CF Thinking）。其將傳統(tǒng)AI 推理升級為反事實推理與探索。

●   從推理到創(chuàng)新（人機協(xié)作產(chǎn)生決策）：人類開始進行創(chuàng)新思考，并對潛在關(guān)系進行專家審查和反思，優(yōu)化人們的決策。其中，引入了人機協(xié)作治理，人類專家主導(dǎo)反事實推理的解釋與修正，避免AI 幻覺的偏差。

●   從創(chuàng)新到資產(chǎn)化（知識回饋更新KG，讓KG 不斷進化）：依據(jù)人的決策回饋，來更新KG，形成動態(tài)進化式的知識生態(tài)。然后，透過RAG 框架，讓LLM 響應(yīng)與企業(yè)內(nèi)知識結(jié)合，提升準(zhǔn)確與可信度。

2   支援下游應(yīng)用任務(wù)

在上一期里，已成功演示了一個案例，其中訓(xùn)練出一個能夠把突變數(shù)據(jù)轉(zhuǎn)換成嵌入向量的中游KG + GNN模型，而且嵌入已儲存于mutation_embeddings_gin.csv檔案里，可供給下游任務(wù)使用（如分類、群聚、可視化、或與影像特征融合等）。中游KG 扮演行業(yè)語境的橋梁，讓LLM能入鄉(xiāng)隨俗，理解場域，成為可信任AI 的知識背景層（Context Layer）。

現(xiàn)在，基于已經(jīng)訓(xùn)練好的節(jié)點嵌入（Node Embedding），來支撐下游應(yīng)用<KG + GNN> 模型。這項下游任務(wù)結(jié)合了醫(yī)學(xué)影像特征（Ultrasound/MRI）進行多模態(tài)推論，也將GNN輸出的嵌入與CNN影像特征進行融合，提供AI輔助診斷（如預(yù)測、分類等）。如下圖3 所示：

圖3

這樣可以順利訓(xùn)練出一個能夠把突變數(shù)據(jù)轉(zhuǎn)換成嵌入向量的GNN模型，能產(chǎn)生節(jié)點的嵌入向量（Embedding），來提供給后續(xù)的下游任務(wù)使用（如分類、群聚、或與影像特征融合等）。例如，下游任務(wù)可以結(jié)合醫(yī)學(xué)影像特征（Ultrasound/MRI）進行多模態(tài)推論，也將GNN 輸出的嵌入與CNN影像特征進行融合，提供AI 輔助診斷（如預(yù)測、分類）等各種應(yīng)用。

3   實踐范例

例如，乳腺癌癥的診斷與治療策略高度仰賴基因、突變、生物標(biāo)志物與病理影像等異質(zhì)信息。而上述的三階段知識圖譜架構(gòu)（KG）為基礎(chǔ)的乳腺癌主權(quán)AI 解決方案。透過串接國際生物醫(yī)學(xué)數(shù)據(jù)、結(jié)合院內(nèi)檢測與病例數(shù)據(jù)，最終建構(gòu)可用于推理、推薦與決策輔助的AI系統(tǒng)。例如，結(jié)合病理影像模型與KG 多模態(tài)推理，建構(gòu)問答式臨床決策支持接口，進而- 建立跨院共享型乳癌主權(quán)知識平臺等。

此范例使用Python代碼來實踐模型訓(xùn)練，并搭配xlwings和openvino套件，來提供可操作的Excel畫面和部署（Deployment）環(huán)境。首先，開啟ee01.py，如下：

Step-1：建立下游KG

接著，執(zhí)行它（即ii01.py），并且在Excel 畫面按下< 建立下游KG> 按鈕，就建立了一個下游KG（圖-2）：

這個下游KG 含有4 種節(jié)點：疾病（cancer）、基因（gene）、突變（mutation）和超聲波檢測（ultra），其整合ultra節(jié)點特征參與訊息傳遞與分類。這種以疾?。颍幬餅楹诵牡亩嘀劓溄咏Y(jié)構(gòu)，非常適合用KG+GNN建模。此類系統(tǒng)若整合影像與知識，可有效推促進醫(yī)療AI的發(fā)展。例如本案例融合了Ultra node所提供的視覺特征，進一步提升癌癥分類的準(zhǔn)確性與上下文理解能力。

同時，這個下游KG可賦能乳癌精準(zhǔn)醫(yī)療，從串聯(lián)基因與治療決策邏輯，透過attention與反事實推理回溯依據(jù)，提升AI推論可解釋性。并且符合主權(quán)AI要求：數(shù)據(jù)本地處理、自研模型訓(xùn)練、決策過程可控。

Step-2：訓(xùn)練GNN模型

接著，按下< 訓(xùn)練下游模型>，就展開訓(xùn)練GNN流程，如下：

訓(xùn)練完成了，就導(dǎo)出ONNX模型，并儲存于ultra_cancer_classifier.onnx檔案里，將會在OpenVINO 平臺上進行模型部署。

除了醫(yī)療領(lǐng)域之外，在其它制造業(yè)、醫(yī)療、法務(wù)、教育等「需本地知識又要求精準(zhǔn)推理」的場景中，上述方法都具高度適用性。而且，不需要訓(xùn)練大型模型，只需整合KG+GNN+LLM，就能實踐商業(yè)應(yīng)用目標(biāo)。

Step-3：部署模型&推論

接著，按下<OpenVINO 部署&推論>，就出現(xiàn)：

于是，完成了「用下游KG來預(yù)測癌癥類型」的初步實作。其將影像推論（ultra 特征）作為語意節(jié)點納入異質(zhì)知識圖中，透過GNN 傳遞形成融合的癌癥語義表示。最終分類器已導(dǎo)出為ONNX，可于OpenVINO 原型環(huán)境下進行輕量推論。

這使用突變+ 基因節(jié)點特征，透過異質(zhì)GNN，預(yù)測癌癥節(jié)點的類別（乳癌vs 非乳癌）。這下游任務(wù)中的GNN模型訓(xùn)練與推理（例如癌癥分類、mutation 預(yù)測）。

本案例的系統(tǒng)架構(gòu)，也可預(yù)測多種癌癥（如Bladder Cancer、Bone Cancer、Breast Neoplasms 等），并透過混淆矩陣與ROC 曲線驗證模型判斷能力，證實中游語義嵌入能有效支持下游分類任務(wù)。

4   結(jié)語

由于許多AI 部署流程， 常常缺乏語境在地化（Contextualization）特性，導(dǎo)致模型布署后難以完全貼合本地知識、生產(chǎn)流程與客戶需求。這種以中游KG 作為語境支撐層，讓下游AI 系統(tǒng)真正入鄉(xiāng)隨俗、自主成長。

例如，藉由知識圖譜結(jié)構(gòu)化推理與持續(xù)自我更新，AI甚至能預(yù)測、引導(dǎo)、優(yōu)化用戶的決策，達成超越人類直覺的智慧支持。也讓每一個裝置，都能懂你，而且比你更懂你！

（本文來源于《EEPW》202507）