金融工程行業專題報告：基于大模型外部評價體系框架介紹.pdf

金融工程行業專題報告：基于大模型外部評價體系框架介紹。構建評價大模型金融問答能力的基準： 為系統性地評估大模型在金融領域的專業問答能力，本報告首先 梳理了現有通用及金融領域評價基準的特點與不足。在此基礎上，我 們構建了一個全新的、專注于邏輯推理的金融問答能力評價基準。該 基準圍繞金融相關的計算、財務報表分析、權益投資等九大核心類別， 構建了包含 188 道高質量單項選擇題的題庫。每道題目附帶了平衡了 客觀性與代表性的、可驗證的推理過程（思維鏈），旨在深入考察模 型的邏輯推理與專業知識應用能力。

評測實驗： 為檢驗模型的實際表現，我們設計了全面的評測實驗。實驗選取 了 DeepSeek、混元、Qwen、GLM 等國內主流大模型，并在基準（zeroshot）、思維鏈（CoT）、少樣本提示（few-shot）以及二者結合共四種 場景下進行測試。我們采用準確率和Pass@K作為核心量化評價指標， 并對模型的錯誤案例進行了深入的定性分析，以全面評估其在不同提 示工程策略下的性能表現。

實驗結果與核心結論： 實驗結果表明，主流國產大模型已具備一定的金融問答基礎能 力，但表現存在差異，且在處理復雜問題時仍有較大提升空間。其中， 思維鏈提示（CoT）對所有模型的準確率均有顯著提升（最高超過 15%），證明了提供高質量邏輯線索在引導模型解決復雜金融問題上的 關鍵作用。 相比之下，簡單的少樣本提示效果有限。錯誤分析進一 步揭示，模型在處理概念相近、存在邏輯陷阱的題目時容易出現理解 偏差。