テックブログ

この記事では、Mixture-of-Agents Enhances Large Language Model Capabilities の論文を解説します。

Mixture-of-Agents Enhances Large Language Model Capabilities

Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new app…

https://arxiv.org

より具体的には、エージェントを組み合わせることによりLLM（大規模言語モデル）の機能が強化する技術 MoA (Mixture-of-Agents) について解説していきます。

• MoA についてざっくり知りたい人
• MoA の特徴を知りたい人

• 複数のLLMを組み合わせて文章の質を向上させるMoAの技術を知ることが出来る

MoAとは、複数のLLM（大規模言語モデル）を組み合わせることのより、生成文の品質を向上させる技術を言います。MoAの構造を以下の図に示します。最初のレイヤーで各エージェントがLLMで個別に文章を生成し、次のレイヤーのエージェントが前のレイヤーの生成文を改良していきます。この反復的プロセスにより、より精度が高い文章の生成が可能になります。

Mixture-of-Agents構造の図。この例では4つのMoAレイヤーと各レイヤーに３つのエージェントを示しています。ここでのエージェントは同じLLMを共有できます。

LLM間の効果的な協調と全体的な生成文の品質を向上させるためには、各レイヤーでのLLMの選定が必要になります。このLLM選定プロセスには次の2つの基準があります。

1. パフォーマンス指標
   • LLMの平均勝率などの実証されたパフォーマンス指標に基づいて選択することで、高品質な出力につながります。
2. 多様性
   • LLM出力に多様性を持たせることが重要です。異なるLLMから生成された文章は、同一LLMで文章された応答よりも精度が高くなります

MoAは、AlpacaEval2.0、MT-Bench、FLASKという言語問題のタスクで、GPT-4 Omniを超える性能を達成しています。

AlpacaEval 2.0 ベンチマーク 他のモデルからのレスポンスを提供すると、性能が向上します

ここからは、複数のLLMでパフォーマンスを向上させるためのMoAの仕組みを紹介していきます。

まず、LLMは協調性を備えているため、ほかのモデルの出力に基づいて応答を改善できることを示します。これに続いて、MoA 手法を紹介し、その設計上の意味合いについて説明します。

LLMは他のモデルからの出力を参照することで、より質の高い応答を生成する能力を持っています。協調のプロセスでは、LLM を プロポーザーとアグリゲータの2 つの異なる役割に分類できます。

プロポーザーは有用な参照応答を生成し、アグリゲーターはこれらの応答を高品質な出力に統合します。多くのLLMが両方の役割を担う能力を持つ一方で、特定のモデルは特定の役割で優れた性能を示しています。例えば、GPT-4oやLLaMA-3は両方の役割で効果的ですが、WizardLMはプロポーザーとして優れていますが、アグリゲーターとしては不適切です。

より高品質な応答を生成するために、複数のアグリゲーターを導入し、応答を反復的に合成して改良します。このアイデアは MoA の設計の基礎となっています。

MoAの構造は、複数のレイヤーと各レイヤー内の複数のLLMで構成されています。また、LLMは、同じレイヤー内または異なるレイヤー間で再利用可能です。

MoE は、複数の異なるスキルセットを持ったエキスパートネットワークが、複雑な問題を解決する機械学習手法です。MoE は、ゲーティングネットワークとエキスパートネットワークで構成され、各エキスパートネットワークがタスクに集中できるようにしています。

graph LR
	a[ゲーティングネットワーク]
	b1[ゲーティングネットワーク]
	b2[ゲーティングネットワーク]
	c1[エキスパートネットワーク]
	c2[エキスパートネットワーク]
	c3[エキスパートネットワーク]
	c4[エキスパートネットワーク]
	a-->|重要|b1
	a-->|ちょっと重要|b2
	b1-->|重要|c1
	b1-->|ちょっと重要|c2
	b2-->|ちょっと重要|c3
	b2-->|重要じゃない|c4

MoA フレームワークは、このMoEの概念を拡張したものです。MoA はLLMのプロンプトインターフェースを利用し、内部アクティベーションやウェイトの変更を必要とせず、異なるレイヤーの複数のLLMを活用します。これにより、柔軟性とスケーラビリティを提供し、最新のLLMにも適用可能です。

MoA は、ゲーティングネットワークとエキスパートネットワークの役割をLLMが統合して担い、入力を効率的に正規化します。プロンプト機能に依存するため、ファインチューニングに関連する計算オーバーヘッドを排除でき、幅広いモデルに柔軟に対応できます。

MoA の内部メカニズムを理解するための実験結果を示します。主なインサイトは以下の通りです。

1. LLMランカーを上回る性能
   • MoA は、プロポーザーの回答を単純に選択するLLMランカーを大幅に上回っています。これは プロポーザーによって提案されたすべてのレイヤーに対して高度な集計を行っていることを示唆します。

     

     異なるアグリゲーターを使用した MoA セットアップのLC勝率を示しており、MoA は一貫して高い性能を示しています。

2. 最適な回答の組み込み
   • MoA のアグリゲーターが生成する回答は、プロポーザーの回答に基づいて高いBLEUスコア（n-gramのオーバーラップを反映）を持ち、提案された回答の中から最適なものを組み込む傾向があります。スコアにはまさにその相関が見られます。

     

     BLEUスコアと提案された出力の勝率との正のスピアマン相関が確認できます。

プロポーザーの数が最終的な出力品質にどのように影響するかを分析した結果、プロポーザーの数が増加するにつれ品質は向上することがわかりました。さらに、プロポーザーとして多様なLLM（マルチプルプロポーザー）を使用すると、より良い結果が得られることが確認されました。

特定の役割でどのモデルが優れているかを判断するための実験も行いました。Qwen、LLaMA-3が汎用性の高いモデルとしてアグリゲーターとプロポーザーの役割に効果的であることを示しています。一方、WizaraLMはプロポーザーとして優れていますが、アグリゲーターには向かないです。

予算とトークンの使用量がLC勝率にどのように影響するかを分析しました。

下記の図は、AplacaEval 2.0ベンチマークの各インスタンスでのLC勝率と平均推論コストをプロットしています。このグラフは、費用対効果の最適なバランスを取るモデルを示すパレートフロント（複数のパレート解で構成される曲面）を描いており、特定のモデルが費用対効果に優れていることを示しています。具体的には、品質を重視するならばMoAが最適で、品質とコストのバランスを重視するならばMoA-Liteが推奨されます。特に、GPT-4 Turboよりもコスト効率が2倍以上高いです。

下の図は、LC勝率とtflops数（レイテンシーの代用）との関係を示しています。この分析は、各モデルがパフォーマンスを維持または改善しながら予算を管理する方法を理解するのに重要です。計算リソースを効果的に活用するモデルもパレートフロントに位置しています。

MoA は、LLM の協調性を最大限に活用することで、生成品質を向上させる新しいフレームワークです。その高性能、多様性、および費用対効果は、様々な分野における応用を期待させるものです。

Together Mixture-Of-Agents (MoA)

Learn how to use Together MoA in 50 lines of code!

https://docs.together.ai

GitHub - togethercomputer/MoA: Together Mixture-Of-Agents (MoA) – 65.1% on AlpacaEval with OSS models

Together Mixture-Of-Agents (MoA) – 65.1% on AlpacaEval with OSS models - togethercomputer/MoA

https://github.com