TECH BLOG

RAG（Retrieval-Augmented Generation）は、外部知識を検索して応答を生成する仕組みとして広く使われていますが、検索・コンテキスト取得・応答生成のどこが適切に機能しているのかを評価するのは簡単ではありません。

本記事では、RAGの評価指標を体系化した論文「Ragas: Automated Evaluation of Retrieval Augmented Generation」で提案された3つの基本指標を紹介します。さらに、その指標を実際に利用できる形で提供するフレームワーク「RAGAS」、Pythonライブラリ版が提供する追加指標、そしてNVIDIAが定めた評価指標も整理します。実際にコードを実行しながら、それぞれの指標がどのように働くのかを確認していきます。

Ragas: Automated Evaluation of Retrieval Augmented Generation

https://arxiv.org

• 構築したRAGパイプラインの評価方法を探している方
• 最新のRAGの技術動向を把握しておきたい方

ここでは、まず論文で提案された3つの基本指標を整理します。論文では、RAGの評価指標として以下の3つが提案されています。

1. Faithfulness（忠実性）
2. Answer Relevance（回答の妥当性）
3. Context Relevance（コンテキストの妥当性）

RAGのフローと評価指標の位置づけ（筆者作成）

https://github.com/explodinggradients/ragas

RAGASライブラリは、論文で整理された3つの基本指標を土台に、実運用で必要となる複数の評価指標を備えたRAG評価用のPythonパッケージです。検索、コンテキスト取得、応答の生成といった処理の段階ごとに品質を確認できるよう、指標が大きく拡張されています。

この後のセクションでは、ライブラリが提供する各評価指標を詳しく見ていきます。

ここでは代表的な8つの指標を取り上げます。

Context Precisionの計算方法（筆者作成）

Context Recallの計算方法（筆者作成）

Context Entities Recallの計算方法（筆者作成）

Noise Sensitivity (mode=”relevant”) の計算方法（筆者作成）

Noise Sensitivity (mode=”irrelevant”) の計算方法（筆者作成）

Response Relevancyの計算方法（筆者作成）

Faithfulnessの計算方法（筆者作成）

Multimodal Faithfulnessの計算方法（筆者作成）

Multimodal Relevanceの計算方法（筆者作成）

NVIDIA Metricsは、正解ラベルが用意されているデータセットや、定期的に品質を確認したい運用環境で特に有効です。RAGASでは、NVIDIAが定義する以下の3つの指標を利用できます。

Answer Accuracyの計算方法（筆者作成）

Context Relevanceの計算方法（筆者作成）

Response Groundednessの計算方法（筆者作成）

RAGAS Metricsは検索・コンテキスト取得・応答の生成といった各フェーズを細かく評価できるため、開発段階で「どこがボトルネックか」を切り分けるのに適しています。一方、NVIDIA Metricsは指標数が少なく計算が軽いため、運用時に「全体の状態を手早く確認する」用途に適しています。

開発段階ではまずRAGAS Metricsで分析・改善し、運用段階ではNVIDIA Metricsでモニタリング、異常が見られたら再びRAGAS Metricsを使って深掘る、といった使い方がおすすめです。

このセクションでは、まず論文で提案された3つの指標（Faithfulness / Answer Relevance / Context Relevance）に対応する、RAGASライブラリの機能を実際に試します。続いて、同じ3つの指標に対応する、NVIDIAが定義した3つの評価機能も動かしてみます。

最初に、論文での指標とRAGAS Metrics、NVIDIA Metricsの対応関係を以下の表で示し、その後コード例と実行結果を通じてそれぞれをどう使うかを順に解説します。

• OpenAIのAPIキーの取得

  サインアップした後、こちらからAPIキーを作成し、保存します。

• Python実行環境の準備

  今回はGoogle Colaboratoryを使用します。

• ライブラリのインストール
  Copy

  pip install ragas

• APIキーのセットアップ

  Google Colaboratoryで以下を実行してAPIキーを登録します。

  Copy

  import os
  import getpass
  api_key = getpass.getpass("Enter your OPENAI_API_KEY: ")
  
  os.environ["OPENAI_API_KEY"] = api_key
  
  print("API Key has been set as an environment variable.")

• 共通するライブラリのインポートとLLMのセットアップ
  Copy

  from openai import AsyncOpenAI
  from ragas.llms import llm_factory
  
  client = AsyncOpenAI()
  llm = llm_factory("gpt-4o-mini", client=client)

from ragas.metrics.collections import Faithfulness

scorer = Faithfulness(llm=llm)

result = await scorer.ascore(
    user_input="光合成とは何ですか？",
    response = (
        "光合成は、植物・藻類・シアノバクテリアが太陽光を使って"
        "水と二酸化炭素から酸素と有機物を作り出す生化学的過程です。"
        "葉緑体内のクロロフィルが光エネルギーを捉えて反応を進めます。"
    ),
    retrieved_contexts=[
        "光合成（Photosynthesis）は、植物・藻類・シアノバクテリアが太陽光を使って水 (H2O) と二酸化炭素 (CO2) から酸素 (O2) と有機物を合成する生化学的過程である。",
        "葉緑体内のクロロフィルが光エネルギーを捕らえ、水の分解と二酸化炭素の固定を可能にする。"
    ]
)

print(f"Faithfulness スコア: {result.value}")

コード解説

• scorer = Faithfulness(llm=llm)

  Faithfulnessを使用するためのオブジェクトを作成します。

• result = await scorer.ascore(...)

  質問 （user_input）、応答 （response）、検索で取得したコンテキスト （retrieved_contexts）を入力し、スコアを計算します。

• result.value

  評価結果の数値（0〜1）を取得します。値が高いほど、応答の内容がコンテキストに忠実であると判断されます。

実行結果

Faithfulness スコア: 0.5

• 質問：「光合成とは何ですか？」
• 応答：「光合成は、植物・藻類・シアノバクテリアが太陽光を使って水と二酸化炭素から酸素と有機物を作り出す生化学的過程です。葉緑体内のクロロフィルが光エネルギーを捉えて反応を進めます。」
• スコア：0.5

この結果は、生成された応答の主張のうち、コンテキストに基づいて裏付けられた部分と、明示的に根拠が確認できなかった部分が半々だったためです。基本的な説明はコンテキストと一致している一方、「有機物を作り出す」といった表現がコンテキストと完全には一致せず、部分的な不一致として扱われたことが影響しています。

from ragas.embeddings.base import embedding_factory
from ragas.metrics.collections import AnswerRelevancy

embeddings = embedding_factory("openai", model="text-embedding-3-small", client=client, interface="modern")

scorer = AnswerRelevancy(llm=llm, embeddings=embeddings)

result = await scorer.ascore(
	user_input = "第一回スーパーボウルはいつ行われましたか？",
	response = "第一回スーパーボウルは1967年1月15日に開催されました。"
)
print(f"Answer Relevancy Score: {result.value}")

コード解説

• embeddings = embedding_factory("openai", model="text-embedding-3-small", …)

  埋め込みモデルを設定し、質問や応答を数値ベクトルに変換できるようにします。

• scorer = AnswerRelevancy(llm=llm, embeddings=embeddings)

  Answer Relevancyを使用するためのオブジェクトを作成します。ここには LLMと埋め込みモデルを組み込んでいます。

• result = await scorer.ascore(user_input=…, response=…)

  質問 （user_input）と応答（response）を入力して、関連性スコアを計算します。

実行結果

Answer Relevancy Score: 0.43362125571535076

• 質問：「第一回スーパーボウルはいつ行われましたか？」
• 応答：「第一回スーパーボウルは1967年1月15日に開催されました。」
• スコア：0.43362125571535076

このようにスコアが低く出る主な理由は、RAGASの既定の評価プロンプトやfew-shot例が英語テキストを前提として設計されているためです。公式ドキュメントでも、英語以外の言語で利用する場合は評価プロンプトを使用したい言語向けに適応させることが推奨されています。

from ragas.metrics.collections import ContextPrecision

scorer = ContextPrecision(llm=llm)

result = await scorer.ascore(
    user_input="エッフェル塔はどこにありますか？",
    reference="エッフェル塔はパリにあります。",
    retrieved_contexts=[
        "エッフェル塔はパリにあります。",
        "ブランデンブルク門はベルリンにあります。"
    ]
)
print(f"Context Precision Score: {result.value}")

コード解説

• scorer = ContextPrecision(llm=llm)

  ContextPrecisionを使用するためのオブジェクトを作成します。

• result = await scorer.ascore(...)

  質問（user_input）、正解（reference）、検索で取得したコンテキスト（retrieved_contexts）を入力として、スコアを計算します。

実行結果

Context Precision Score: 0.9999999999

• 質問：「エッフェル塔はどこにありますか？」
• 正解：「エッフェル塔はパリにあります。」
• 取得されたコンテキスト：

  1.「エッフェル塔はパリにあります。」

  2.「ブランデンブルク門はベルリンにあります。」

• スコア：0.9999999999

この結果は、取得されたコンテキストの上位（1番目）に質問に対して明確に有用なコンテキストが配置されており、そのため非常に高い値となったことを示しています。

from ragas.metrics.collections import ContextRecall

scorer = ContextRecall(llm=llm)

result = await scorer.ascore(
    user_input="エッフェル塔はどこにありますか？",
    retrieved_contexts=["パリはフランスの首都です。"],
    reference="エッフェル塔はパリにあります。"
)
print(f"Context Recall Score: {result.value}")

コード解説

• scorer = ContextRecall(llm=llm)

  Context Recallを使用するためのオブジェクトを作成します。

• result = await scorer.ascore(...)

  質問（user_input）、取得したコンテキスト（retrieved_contexts）、正解文（reference）を入力し、必要な情報がコンテキスト内に含まれているかを評価します。

実行結果

Context Recall Score: 1.0

• 質問：「エッフェル塔はどこにありますか？」
• 正解：「エッフェル塔はパリにあります。」
• 取得されたコンテキスト：「パリはフランスの首都です。」
• スコア：1.0

この結果は、正解文に含まれる重要語句（「パリ」など）が取得されたコンテキストに含まれており、必要な情報の取りこぼしがなかったと評価されたことを示します。

from ragas.metrics.collections import ResponseGroundedness

scorer = ResponseGroundedness(llm=llm)

result = await scorer.ascore(
    response="アルベルト・アインシュタインは1879年に生まれました。",
    retrieved_contexts=[
        "アルベルト・アインシュタインは1879年3月14日に生まれました。",
        "アルベルト・アインシュタインはドイツのヴュルテンベルク州ウルムで生まれました。",
    ]
)
print(f"Response Groundedness Score: {result.value}")

コード解説

• scorer = ResponseGroundedness(llm=llm)

  Response Groundednessを使用するためのオブジェクトを作成します。

• result = await scorer.ascore(...)

  応答（response）と、取得されたコンテキスト（retrieved_contexts）を入力として、応答がそのコンテキストにどれだけ根拠を持っているかを評価します。

実行結果

Response Groundedness Score: 1.0

• 応答：「アルベルト・アインシュタインは1879年に生まれました。」
• 取得されたコンテキスト：
  1. 「アルベルト・アインシュタインは1879年3月14日に生まれました。」
  2. 「アルベルト・アインシュタインはドイツのヴュルテンベルク州ウルムで生まれました。」
• スコア：1.0

この結果は、応答の主張が取得されたコンテキストに完全に支持されており、根拠に基づいていると評価されたことを示しています。

from ragas.metrics.collections import AnswerAccuracy

scorer = AnswerAccuracy(llm=llm)

result = await scorer.ascore(
    user_input="アインシュタインはいつ生まれましたか？",
    response="アルベルト・アインシュタインは1879年に生まれました。",
    reference="アルベルト・アインシュタインは1879年に生まれました。"
)
print(f"Answer Accuracy Score: {result.value}")

コード解説

• scorer = AnswerAccuracy(llm=llm)

  Answer Accuracyを使用するためのオブジェクトを作成します。

• result = await scorer.ascore(...)

  質問（user_input）、応答（response）、正解（reference）を入力し、応答が正解にどれだけ近いかを評価します。

実行結果

Answer Accuracy Score: 1.0

from ragas.metrics.collections import ContextRelevance

scorer = ContextRelevance(llm=llm)

result = await scorer.ascore(
    user_input="アインシュタインはいつ生まれましたか？",
    retrieved_contexts=[
        "アルベルト・アインシュタインは1879年3月14日に生まれました。",
        "アルベルト・アインシュタインはドイツのヴュルテンベルク州ウルムで生まれました。",
    ]
)
print(f"Context Relevance Score: {result.value}")

コード解説

• scorer = ContextRelevance(llm=llm)

  Context Relevanceを使用するためのオブジェクトを生成します。

• result = await scorer.ascore(...)

  質問 （user_input）と取得したコンテキスト（retrieved_contexts）を入力として、コンテキストが質問にどれだけ関係しているかを評価します。

実行結果

Context Relevance Score: 1.0

• 質問：「アインシュタインはいつ生まれましたか？」
• 取得されたコンテキスト：
  1. 「アルベルト・アインシュタインは1879年3月14日に生まれました。」
  2. 「アルベルト・アインシュタインはドイツのヴュルテンベルク州ウルムで生まれました。」
• スコア：1.0

この結果は、提供されたコンテキストが質問に対して完全に関連しており、取得されたコンテキストの関連性が非常に高く評価されたことを示しています。

本記事では、RAGを評価するための仕組みとしてRAGASを紹介し、論文の基本指標からライブラリ版が提供する指標、NVIDIAの指標までを整理しました。実際にコードを動かしながら確認することで、それぞれの指標がどの段階を評価しているのかを掴めたと思います。

RAGは検索・コンテキスト取得・応答生成のどこで問題が起きているかが分かりにくい構造ですが、RAGASを使うことで原因を切り分けやすくなります。開発中の品質チェックにも、運用時の確認にも活用できるため、自分のRAGパイプラインを改善する際の参考にしてみてください。

Ragas: Automated Evaluation of Retrieval Augmented Generation

https://arxiv.org

GitHub - vibrantlabsai/ragas: Supercharge Your LLM Application Evaluations 🚀

Supercharge Your LLM Application Evaluations 🚀. Contribute to vibrantlabsai/ragas development by creating an account on GitHub.

https://github.com

🚀 Get Started - Ragas

Evaluation framework for your AI Application

https://docs.ragas.io

https://aclanthology.org