xAIが、長い文脈の理解と高度な推論が可能な最新大規模言語モデル「Grok-1.5」を発表しています。

Grok-1.5の最も顕著な改良点の一つは、コーディングと数学関連のタスクにおけるパフォーマンスだそうです。

xAIのテストでは、Grok-1.5はMATHベンチマークで50.6%、GSM8Kベンチマークで90%のスコアを達成し、これは、小学生から高校生までの幅広い競技問題をカバーする2つの数学ベンチマークだと説明しています。

さらに、コード生成と問題解決能力を評価するHumanEvalベンチマークでは74.1%のスコアを獲得したそうです。

大規模なGPUクラスタ上で実行される最先端の大規模言語モデル（LLM）研究では、堅牢で柔軟なインフラストラクチャが要求されます。

Grok-1.5は、JAX、Rust、Kubernetesをベースとしたカスタム分散トレーニングフレームワーク上に構築されていて、このトレーニングスタックにより、私たちのチームは最小限の労力でアイデアをプロトタイプ化し、新しいアーキテクチャを大規模にトレーニングすることができるとしています。