用AI寫研報哪家強？沙利文《2023中國大模型行研能力評測報告》商湯日日新·商量獲評第一

日前，權威研究機構弗若斯特沙利文（Frost & Sullivan, 簡稱“沙利文”）聯合頭豹研究院發布《2023年中國大模型行研能力評測報告》。評測結果顯示，商湯語言大模型“日日新·商量”（簡稱：商湯商量）以總分7.73（滿分10分）斬獲總榜第一，并在報告撰寫能力（八大模塊）、模型基礎能力（行研基礎能力）兩個子榜位居第一。

圖：中國大模型行研能力綜合評測榜單（來源：沙利文）

為全面了解中國大模型在行業研究領域的應用表現，沙利文調動了百人規模的分析師，從研究報告撰寫能力、模型基礎能力、行業綜合理解能力三大核心板塊對大模型進行了多維度的綜合評估。

圖：大模型行業能力評測方法：報告撰寫、模型基礎能力、行業理解

（來源：沙利文）

經過模型能力評測，沙利文報告指出，商湯商量作為中國最早推向市場的千億參數大語言模型之一，在報告撰寫能力、模型基礎能力等方面均領先其他大模型，不但可以處理各類文本和信息，在協助行業分析師工作時，還可勝任隨身綜合知識庫、高效文本編輯器、數理計算器和簡單易用的編程助手等多個角色。

行研領域內容創作“高門檻”，商湯商量三項“第一”解放行業生產力

內容生成和創作能力是目前大模型最火熱的應用場景，并且也是能夠直接體現大模型生產力水平的能力。從大模型應用場景來看，無論是知識管理、市場營銷、客戶服務，還是員工自身日常工作，都需要大模型具有優秀的內容生成和創作能力。Gartner 預測，到2025年，企業30%的營銷信息將會由大模型協助生成。

行業研究是通過分析特定行業的定義、競爭格局、市場規模等關鍵方面，產出深刻洞察和觀點，涵蓋從宏觀的產業層到微觀的產品層，各層級決定著相應的研究方法，研究方法論囊括外部宏觀因素和內部微觀細節的全面分析。其行業特殊性、復雜性、嚴謹性對大模型的內容生成和創作能力提出了多維度的高要求。

同時，目前行業研究工作依然存在諸多痛點。從基礎數據收集到深度分析輸出，傳統行業研究的流程面臨著工具革新滯后、團隊知識難以傳承、信息溯源復雜性以及研報質量控制的重大挑戰。

結合大模型技術，可以協助分析師克服傳統行業研究的核心制約因素，通過AI專家訪談、AI內容生成、AI文字校對、AI資料檢索等多方面賦能行研行業，顯著提升研究的精度和效率，同時加速分析師的專業成長，進一步推動行研數字化進程。

圖：大模型賦能行業研究（來源：沙利文） 

商湯商量除了在總榜第一，在報告撰寫能力的子榜單同樣位居第一。此前，沙利文及頭豹行企研究的8-D方法論，是一種全面系統的研究方法，包含了八大關鍵模塊，用于對行業進行深入分析。

在這一框架下，百名分析師研磨提煉一套高效的8D模塊提問方法，以對模型能力進行評測，商湯商量正是經過了這套方法的檢驗。沙利文認為，根據大模型報告撰寫能力綜合熱力矩陣圖可以看出商湯商量是綜合能力最強的模型， 且在各個板塊的表現穩定處在前列位置，體現出均衡的能力。

圖：大模型的撰寫能力評測結果 - 熱力矩陣圖（來源：沙利文）

另外，在模型基礎能力（行研基礎能力）子榜中，商湯商量再次奪魁，并在語境轉換、文字生成、知識儲備等模塊排名第一，能夠為行業研究提供深度分析和有價值的見解。分析師認為，商湯商量的產出內容能夠避免使用非專業詞匯，同時確保生成內容的完整性和專業性，從而為用戶提供符合要求且令人閱讀體驗感滿意的研究產出物。

圖：大模型的模型基礎能力（行研基礎能力）評測結果 - 熱力矩陣圖

（來源：沙利文）

基于AI“三要素”全面深耕模型能力，商湯科技提速生成式AI應用落地

商湯商量取得優秀的評測結果，離不開對基模型能力的長期耕耘和提升。首先，依托豐沛AI算力的SenseCore 商湯AI大裝置，通過軟件、硬件、工程化系統以服務大模型迭代為目標的研發配合，保障了大模型的高頻迭代，以及不斷精煉的訓練配方。

其次，商湯在積累巨大的原始語料數據的基礎上，通過高精度的分類器和人工精細化清洗的方式，提煉出高質量的數據，進而訓練性能強大、價值觀對齊的大模型。現在，商湯的高質量訓練數據的每個月產出量，已經達到2萬億Tokens。

在此之前，新華社研究院發布《人工智能大模型體驗報告3.0》，報告顯示，商湯“商量SenseChat”在定量實測的情商維度上，位居全部10款大模型第一，并在定性評估中入選大模型市場未來領袖象限。借助豐厚、領先的算力和數據資源，商湯不斷優化迭代大模型能力，提升生產力水平，未來將進一步引領行業研究進入一個效率更高和質量更優的新產出范式，以促進數字行業研究的創新和變革。

放眼未來，商湯科技將持續創造領先的大模型落地和生成式AI應用生態，向通用人工智能（AGI）持續迭代，用我們的創新力為AGI時代的到來做出努力。