楽天のミッションは、イノベーションとアントレプレナーシップ（起業家精神）を通じて新たな価値を創造し、社会に貢献することです。このミッションを体現する取り組みの一つが「Rakuten AI」シリーズです。私たちは、楽天エコシステムやお客様の多様なニーズに最適化された、高性能かつコスト効率の高いソリューションを提供するために、大規模言語モデル（LLM）を自社で開発しています。自社開発を行うことで、日本語特有の言語表現や文化的なニュアンスに深く対応したモデルを実現しています。
私たちは、これらのモデルを広く公開することで、研究コミュニティの発展に貢献し、AIアプリケーションの開発を加速させるとともに、日本中のビジネスとユーザーに寄与するイノベーションを推進してまいります。
Rakuten AI 3.0
Rakuten AI 3.0は、日本語に最適化された約7,000億パラメータのMixture of Experts（MoE）アーキテクチャを採用したモデルです。オープンソースコミュニティ上の最良なモデルを基に、楽天独自の高品質なバイリンガルデータ、技術力および研究成果によって開発しているため、日本の独特な言語のニュアンスや文化、慣習をより深く理解することができます。文章作成やコード生成、文書解析や抽出に至るまで、幅広い用途でのテキスト処理に優れており、これまでに楽天で開発したモデルと比較して、特に複雑なタスクに対する精度が大幅に向上しています。
詳細については、プレスリリースをご確認ください。
Rakuten AI 2.0
Rakuten AI 2.0は、2024年3月に初公開されたRakuten AI 7Bをベースに開発された、Mixture of Experts（MoE）アーキテクチャ採用の基盤モデルです。日本語LLM技術の発展に向けた取り組みの一環として開発され、2つのアクティブエキスパートを持つMoE構成により、130億のアクティブパラメータを備えています。この設計により、入力トークンに応じて動的にエキスパートを選択し、高い性能を維持しながら計算効率を高めています。
Rakuten AI 2.0は、公開当時、日本語言語理解ベンチマークにおいて最高水準の結果を達成するとともに、同規模モデルと比較して英語評価タスクでも競争力のある性能を示しました。
詳細についてはプレスリリースをご確認ください。
インストラクションチューニング済モデルをお探しの場合は、「RakutenAI-2.0-8x7B-instruct」をご確認ください。
Rakuten AI 2.0 mini
Rakuten AI 2.0 miniはTransformerアーキテクチャを採用し、リソースが限られた環境でも効率的に動作するよう設計された、15億パラメータのモデルです。この小規模言語モデルは、内製の多段階データフィルタリング、アノテーションプロセスを通して構築された、高品質かつ広範な日本語と英語のテキストデータで最初から学習されています。
詳細についてはプレスリリースをご確認ください。
インストラクションモデルをお探しの場合は、「RakutenAI-2.0-mini-instruct」をご確認ください。
Rakuten AI 7B
Rakuten AI 7Bは、日本語LLMの発展を支える取り組みとして開発されました。公開当時、同規模モデルの中で日本語言語理解ベンチマークにおいて最高水準のスコアを達成するとともに、英語評価ベンチマークでも競争力のある性能を維持しました。
Rakuten AI 7BはMistralのモデルアーキテクチャを採用し、事前学習済みモデルであるMistral-7B-v0.1のチェックポイントをベースとして構築されています。既存の事前学習済みモデルを活用し、日本語LLMとしての性能向上を図っています。
詳細についてはプレスリリースをご確認ください。
技術レポートはarXivをご確認ください。
インストラクションチューニング済モデルをお探しの場合は、「RakutenAI-7B-instruct」をご確認ください。
チャット向けにチューニングされたモデルをお探しの場合は、「RakutenAI-7B-chat」をご確認ください。