サイバーエージェントが、225億パラメータの日本語LLM「CyberAgentLM3」を公開したと発表しています。

サイバーエージェントは、2023年5月に独自の日本語LLMである「CyberAgentLM」を一般公開し、その後、2023年11月にバージョン2となる「CyberAgentLM2」を、2024年6月には視覚を付与したVLM（大規模視覚言語モデル）を公開しています。

これらの技術はサイバーエージェントが提供する「極予測AI」をはじめとするサービスにおいて広く活用されているそうです。

今回公開したモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータのCyberAgentLM3-22B-Chatです。

LLMの日本語能力を評価するNejumi LLM リーダーボード3においては、700億パラメータのMeta-Llama-3-70B-Instructと同等の性能となっており、スクラッチ開発のオープンな日本語LLMとしてはトップクラスの性能となるそうです（2024年7月現在）。