一個(gè)“技術(shù)問(wèn)題”，導致巴菲特的伯克希爾-哈撒韋公司股價(jià)暴跌近100%。

想必很多小伙伴已經(jīng)感受過(guò)了這則鋪天蓋地的消息，所帶來(lái)的億點(diǎn)點(diǎn)震撼。

而根據事后的消息來(lái)看，這個(gè)大故障是紐交所的合并報價(jià)系統（CTA）在更新軟件時(shí)出現了問(wèn)題。

許多專(zhuān)家都對此做了分析，有人認為是CTA軟件在進(jìn)行版本更新時(shí)出現了數據一致性問(wèn)題；也有人提出最大的問(wèn)題應該是出現在了數據庫。

但總而言之，這并非是紐交所今年來(lái)第一次出現的故障，而是眾多里的一個(gè)：

甚至某開(kāi)源數據庫聯(lián)合創(chuàng )始人Jason直言不諱地表示：

>紐交所在CTA軟件上相關(guān)的IT水平還不及中國的大型金融機構和互聯(lián)網(wǎng)公司，在中國已經(jīng)很少會(huì )發(fā)生這種低級錯誤了。

即便如此，這也不禁令人產(chǎn)生更大的顧慮和擔憂(yōu)——

傳統軟件問(wèn)題尚能引發(fā)如此大的問(wèn)題，那么站在大模型時(shí)代當下，AI+金融，是否又能做到準確可信？

正所謂實(shí)踐是檢驗真理唯一標準，要回答的這個(gè)問(wèn)題，我們不妨了解一下已經(jīng)在金融領(lǐng)域“上崗”了的AI大模型。

大模型上崗金融，都在做什么？

誠然AI大模型的發(fā)展已然呈現勢不可擋的趨勢，但在金融領(lǐng)域真正應用的時(shí)候，依舊存在一些顯著(zhù)的困難和挑戰。

例如數據隱私和安全方面，金融數據往往高度敏感，涉及個(gè)人和企業(yè)的財務(wù)信息，確保數據隱私和安全是首要挑戰之一。

并且這些數據具有多源和異構的特點(diǎn)，需要進(jìn)行有效的整合和處理，才能確保它們的準確性和完整性。

再如模型本身，大模型往往被視為“黑箱”，因為其內部決策過(guò)程難以解釋?zhuān)辉诮鹑陬I(lǐng)域，尤其是涉及風(fēng)險管理和監管合規時(shí)，可解釋性和決策透明性是非常重要的。

還有在實(shí)時(shí)性和資源消耗方面，金融市場(chǎng)瞬息萬(wàn)變，需要實(shí)時(shí)數據處理和決策支持，大模型的推理涉及到大量的矩陣乘法計算，對硬件的矩陣乘法計算能力提出較高要求，計算復雜性可能導致響應時(shí)間延遲，不利于實(shí)時(shí)應用。

加之大模型訓練和推理過(guò)程需要大量的計算資源和能量消耗，這對企業(yè)的成本和環(huán)保要求提出了挑戰。

而成立于1998年的老牌金融科技公司金證，面對上述固有的重重困難，卻有著(zhù)自己的一套解法。

在金證看來(lái)，大模型的優(yōu)勢在于文本及非結構化數據處理能力、人機交互能力、生成能力和邏輯推理能力較強。

而相比小模型而言，大模型也存在明顯的劣勢，例如大模型“幻覺(jué)”問(wèn)題（即大模型答非所問(wèn)），大模型的部署算力要求高造成算力資源浪費，部署成本高等問(wèn)題。

因此，金證的解法就是——通過(guò)組合式AI，即大模型+小模型+工具，以此來(lái)支撐各個(gè)業(yè)務(wù)場(chǎng)景AI需求。

大模型方面，包含金證去年年底推出的K-GPT以及業(yè)內眾多頂流的大模型，在特定的金融任務(wù)中發(fā)揮大模型的特長(cháng)。

小模型則是指諸如OCR、NLP、人臉識別、文字識別、財務(wù)分析等傳統模型，可以細分任務(wù)做到快準狠地處理。

至于工具，則是指地圖、天氣、CRM、郵件、OA等。

一言蔽之，在某個(gè)金融領(lǐng)域任務(wù)中，這種模式可以讓大模型、小模型和工具做到“專(zhuān)業(yè)的人干專(zhuān)業(yè)事”，尤其能極大地提高效率。

值得一提的是，相比于通用大模型，金證的K-GPT在數據查詢(xún)的準確性方面表現更佳，能夠更好地理解金融術(shù)語(yǔ)，提供專(zhuān)業(yè)且數據扎實(shí)的回復。

據了解，K-GPT 還支持查看引用的知識源，并具備與實(shí)時(shí)數據和模塊化集成的能力，可以調取實(shí)時(shí)數據和組件。

依托龐大的金融知識庫，K-GPT專(zhuān)為金融場(chǎng)景服務(wù)，其核心優(yōu)勢在于對金融的深入理解、數據準確、可驗證性以及支持調用Agent功能。

從效果上不難看出，金證已然讓大模型在金融領(lǐng)域中合格地上崗，那么針對成本和資源上的痛點(diǎn)，金證又是如何解決的呢？

背后是高帶寬內存（HBM）的至強處理器在發(fā)力

金證K-GPT方案中，還有一點(diǎn)比較特別：與英特爾合作，采用了基于CPU的大模型推理方案。

據了解，他們主要是看中的是英特爾? 至強? CPU Max 系列處理器。

這是英特爾唯一一款基于x86架構并采用高帶寬內存（HBM）的CPU系列，采用了片上HBM設計，內存帶寬高達4TB/s。和傳統DDR5內存相比，HBM具有更多的訪(fǎng)存通道和更長(cháng)的讀取位寬，理論帶寬可達DDR5的4倍之多。

要知道，大模型推理涉及大量的權重數據讀取，對硬件平臺的內存訪(fǎng)問(wèn)帶寬提出了很高的要求。

至強? CPU Max具有64GB HBM，每個(gè)內核可以分攤到超過(guò)1GB的內存，對于包括大模型推理任務(wù)在內的絕大多數計算任務(wù)，HBM都可以容納全部的權重數據。

內存帶寬還不是金證選擇這款CPU的全部理由。

英特爾? 至強? CPU Max系列還內置了英特爾? 高級矩陣擴展 (英特爾?? AMX)引擎，大幅提升了大規模矩陣乘法運算性能。

金證K-GPT基于Transformer架構，其核心特點(diǎn)包括多頭注意力機制和前饋神經(jīng)網(wǎng)絡(luò )層，這其中都包含大量矩陣運算，而英特爾? AMX通過(guò)1024位TMUL指令和8個(gè)獨立的矩陣計算單元，可以每時(shí)鐘周期執行8次獨立的矩陣乘累加操作，為這些運算提供強大的加速能力。

如此一來(lái)，大模型推理的效果如何呢？

在只用單顆 CPU 的情況下，推理130億參數大模型，首個(gè)詞元生成時(shí)間就能壓到1秒左右，模型推理TPS超過(guò)10 tokens/s，用戶(hù)提問(wèn)后約2秒內就能得到響應。

別忘了遇到負載高峰等情況，還可以同時(shí)啟用2顆CPU，性能還能提升將近一倍，可以說(shuō)足以滿(mǎn)足金融場(chǎng)景的大部分應用需求了。

除了硬件層面的突破，英特爾還提供了經(jīng)過(guò)優(yōu)化的軟件工具來(lái)挖掘硬件潛力。

比如廣泛使用的OpenVINO? 工具套件，就被用來(lái)專(zhuān)門(mén)調優(yōu)加速模型的Embedding處理進(jìn)行。

金融場(chǎng)景涉及大量專(zhuān)業(yè)文檔的輸入任務(wù)，Emedding正是把文本從離散變量轉變?yōu)檫B續向量的過(guò)程，好讓AI能夠理解。

經(jīng)過(guò)OpenVINO? 工具套件優(yōu)化后，K-GPT大模型的批量Embedding性能提升到3倍之多。

圖注：OpenVINO? 工具套件優(yōu)化前后 Embedding 性能比較再比如金證與K-GPT配合使用的開(kāi)源向量數據庫Faiss，英特爾也提供了優(yōu)化版本，以提升在至強? CPU Max上的模型推理性能。

在大規模向量相似性檢索任務(wù)中，經(jīng)英特爾優(yōu)化過(guò)的版本性能可提升至4倍左右。

圖注：英特爾優(yōu)化版 Faiss 與原始 Faiss 性能對比（越高越好）除了性能方面之外，金證選擇英特爾? 至強? CPU Max系列作為算力底座還帶來(lái)其他方面的優(yōu)勢：

首先是靈活性。由于與主流的 x86 架構完全兼容，金證可以繼續使用原有的機器，靈活搭配適合自身業(yè)務(wù)的配置。而且 CPU 能同時(shí)應對推理和通用計算，可根據負載情況隨時(shí)調配資源。

第二是總擁有成本 (TCO)。從長(cháng)遠來(lái)看，CPU路線(xiàn)能以更低的部署和維護開(kāi)銷(xiāo)，實(shí)現與專(zhuān)用加速器相媲美的性能。這對于需要控制預算的金融機構來(lái)說(shuō)至關(guān)重要。

綜合看下來(lái)，英特爾? 至強? CPU Max系列處理器在硬件能力、軟件優(yōu)化、生態(tài)適配、總擁有成本優(yōu)勢等方面都與金融場(chǎng)景非常契合，不失為業(yè)界大模型落地的一種新思路。

如何評價(jià)？

隨著(zhù)數字化轉型的不斷深入，大模型為金融行業(yè)帶來(lái)的機遇與挑戰并存。

越來(lái)越多的金融機構開(kāi)始探索如何將 AIGC 技術(shù)與實(shí)際業(yè)務(wù)相結合，在提質(zhì)增效的同時(shí)控制成本。但總的來(lái)說(shuō)，大模型在金融行業(yè)的應用仍處于初步探索階段。

金證攜手英特爾打造的這套大模型推理方案，可謂是應用層、模型層、算力層的深度融合，為業(yè)界樹(shù)立了標桿。

不久前舉辦的金證科技節，就吸引了眾多金融機構前來(lái)"取經(jīng)"。

作為連接金融與科技的重要平臺，金證科技節吸引了眾多來(lái)自銀行、證券、保險等領(lǐng)域的金融行業(yè)玩家參與，共同探討 AI 技術(shù)在金融領(lǐng)域的應用前景與優(yōu)質(zhì)實(shí)踐。

可以預見(jiàn)，在英特爾的算力加持下，金證將在大模型技術(shù)上不斷突破，助力更多金融機構實(shí)現數字化轉型，為用戶(hù)帶來(lái)更智能、高效的服務(wù)體驗。

免責聲明：市場(chǎng)有風(fēng)險，選擇需謹慎！此文僅供參考，不作買(mǎi)賣(mài)依據。

關(guān)鍵詞：