國泰金採用NVIDIA NeMo平台 為台灣打造金融代理

圖說：國泰金控副總梁明喬(左)、國泰金控數數發中心經理謝昌宏。

【台北訊】國泰金控於21日在NVIDIA GTC Taipei發表AI智慧代理的發展藍圖，由國泰金控副總梁明喬發表主題演講，說明大型語言模型(LLM)在處理專業金融知識方面的可行性；梁明喬表示，國泰金控將持續強化AI Agent的適應性推理、複雜決策輔助與情境感知任務執行等能力，涵蓋從交易處理、服務自動化到智慧資訊擷取等多元應用，盼開啟以AI驅動的智慧金融創新服務新時代。

國泰金控去年領先市場推出「國泰生成式AI技術發展框架GAIA」，更宣布以AI即服務(AI as a service, AIaaS)策略，全面提升集團在數位、數據、技術轉型的效益，發展多元AI智能應用；此舉旨在透過導入多元AI解決方案，加速集團在數位、資料與科技領域的轉型進程。國泰金控與NVIDIA合作，共同研究如何運用 NVIDIA NeMo在符合法規與商業需求的前提下，於本地端安全部署大型語言模型(LLM)，以契合台灣的監管環境與市場需求；這項成果於今日在NVIDIA GTC Taipei發表，顯示大型語言模型(LLM)在處理專業金融知識方面的可行性，為區域內具規模、特定領域的AI應用奠定基礎；同時提出在台灣金融業導入AI智慧代理的發展藍圖，突顯國泰在技術領域的領導地位與對創新的承諾。

國泰金控副總經理暨國泰世華銀行數據長梁明喬表示，運用台灣本地金融授信知識、法規文獻及實務案例等作為訓練語料，在模型上利用NVIDIA NeMo框架進行預訓練(Pre-training)、微調(Fine-tuning)等技術手法，藉NVIDIA的加速運算完成70至80億參數量的大型語言模型訓練。透過知識蒸餾(Knowledge Distillation)與NVIDIA NeMo Curator框架，擴增訓練資料達4至5倍，大幅縮短資料準備時間，亦輔以NVIDIA TensorRT框架加速模型評估流程。成果顯示，此模型不僅能精準回應進階金融問答，亦具備通過進階授信人員證照考試能力，展現AI在金融領域的應用潛力。