12月6日，在上海市委金融辦、上海市經(jīng)信委指導下，上海市人工智能行業(yè)協(xié)會和上海金融業(yè)聯(lián)合會聯(lián)合發(fā)布《金融大模型應用評測指南》（以下簡稱《指南》）。據(jù)悉，這是全國首個以金融業(yè)務能力為核心的團體標準。
該《指南》以金融業(yè)務為核心，以金融機構模型應用為導向，從模型基礎、金融安全與價值對齊、金融風險控制、金融專業(yè)認知、金融業(yè)務輔助拓展等5個維度185項指標要求，構建了金融領域大模型的能力測評框架?！吨改稀吩谀Ｐ突A能力方面，圍繞模型基礎理解和推演功能，定義了包括文本分類、信息抽取等在內(nèi)的11項單模態(tài)，圖文檢索、視頻問答等在內(nèi)的6項多模態(tài)指標要求；金融安全與價值對齊能力方面，圍繞模型的可靠性、可解釋性以及隱私保護，設計了內(nèi)容合規(guī)、文化價值、倫理價值等在內(nèi)的9項指標要求；金融風險控制能力方面，圍繞模型在實際應用中的風險防范與控制，提出了利率風險、匯率風險、輿情風險等在內(nèi)的19項指標要求；金融專業(yè)認知能力方面，圍繞模型的金融基礎知識和信息解讀，歸納了會計核算、財務報表編制與分析等在內(nèi)的23項指標要求；金融業(yè)務輔助拓展能力方面，圍繞銀行、基金、保險、證券、信托等5個領域，提煉了28項業(yè)務場景，包括存貸款業(yè)務、量化交易等在內(nèi)的117項指標要求?！吨改稀吠郊毣讼嚓P的評測內(nèi)容，給出了相關的評測方法與工具，并以附錄的形式給出了評測分級標準。
同日發(fā)布的金融大模型評測數(shù)據(jù)集（2024版）從金融業(yè)務的視角出發(fā)，結合行業(yè)實踐，是金融領域大模型應用成效評測的重要抓手。評測數(shù)據(jù)集具有規(guī)模大、結構優(yōu)、價值對齊等特點，符合金融領域?qū)χR鮮活度、多樣性和高密度的整體要求。金融機構比照《金融大模型應用評測指南》能力測評框架，共設計評測數(shù)據(jù)44000余句對。聚焦“模型基礎能力”，圍繞計算能力、邏輯推理等6個維度，設計評測數(shù)據(jù)22000余句對。聚焦“金融安全與價值對齊能力”，圍繞信息內(nèi)容、社會秩序等13個維度，設計評測數(shù)據(jù)2000余句對。聚焦“金融風險控制能力”，圍繞合規(guī)、市場、操作等5類金融風險，設計評測數(shù)據(jù)1000余句對。聚焦“金融業(yè)務輔助拓展能力”，圍繞輿情分析、智能投研等3項業(yè)務場景，設計評測數(shù)據(jù)12000余句對。聚焦“金融專業(yè)認知能力”，圍繞金融專業(yè)知識、ipo圖表等6種知識類型，設計評測數(shù)據(jù)7000余句對。后續(xù)，金融評測數(shù)據(jù)集將定期更新，樣例集已在open data lab和開放原子社區(qū)發(fā)布。
《金融大模型應用評測指南》和金融大模型評測數(shù)據(jù)集的發(fā)布是深化金融垂類應用、規(guī)范和引導金融領域用好模型的重要里程碑。相關評測報告也將在近期發(fā)布。
信息來源：人民日報客戶端上海頻道
“中國上海自貿(mào)試驗區(qū)”是上海自貿(mào)區(qū)管理委員會唯一認證的官方公眾號，在這里，您可以得到最權威、最全面、最及時的上海自貿(mào)區(qū)各類信息。關注我們，讓我們一起讀懂自貿(mào)區(qū)。
上觀號作者：中國上海自貿(mào)試驗區(qū)