リターンマッチ- ニュース
約3000問の課題でSenseTimeが金メダル獲得！SuperCLUE、中國語大規模モデル10月ランキングを発表
2024-11-08
本日、中國語大規模モデルの評価機関「SuperCLUE」が『中國語大規模モデルベンチマーク2024年10月報告』を公表しました。
SenseTimeの「SenseChat」大規模モデル（SenseChat 5.5）は優れた性能を発揮し、総合得點で國內モデルのトップクラスにランクイン、金メダルを獲得しました。
今回発表されたSuperCLUE 10月レポートは、國內23の大規模モデルを対象に、汎用能力を評価したものです。評価は「文系」「理系」の基礎能力に加え、より高度な能力を測る「Hard」追加タスクの3つの次元から構成され、出題數は合計2,900問以上に及びます。
理系タスク：計算、論理推論、コード、ツール利用の評価セット
文系タスク：知識百科、言語理解、長文処理、ロールプレイ、生成·創作、安全性の6つの評価セット
Hardタスク：精密な指示遵守の評価セット、複雑な課題における高度推論の評価セット
お問い合わせ