検索エンジン評価指標とは？nDCG・MAPを使いこなし、データドリブンな検索改善を実現する方法

自社の検索結果が、本当にユーザーの役に立っているか疑問に思ったことはありませんか。
「欲しい情報が見つからない」というフィードバックに、どう対処すべきか悩んでいる方もいるでしょう。
この記事では、検索品質をデータに基づいて客観的に評価するための具体的な手法を解説します。

PrecisionやnDCGといった専門的な評価指標を正しく理解し、使いこなすことが目的です。
この記事を読めば、自社サービスの検索課題を特定し、改善施策の効果を測定できるようになります。
データドリブンな意思決定で、ユーザー満足度とビジネス成果を向上させる第一歩を踏み出しましょう。

なお、テクロ株式会社では「SEOのキーワード選定マニュアル」を無料で配布しています。

オウンドメディアで上位表示を獲得したいBtoB企業様はぜひご確認ください。

なぜ検索エンジンの「評価」が重要なのか？

検索システムの改善は、多くのサービスにとって重要な課題です。
しかし、その性能を感覚的に判断していては、効果的な改善は望めません。
そこで不可欠となるのが、客観的な指標を用いた「評価」です。

ここでは、なぜ検索品質を定量的に評価する必要があるのか、その根本的な理由を解説します。
「なんとなく」の改善から脱却し、データに基づいたアプローチへ移行する意義を理解しましょう。

“良い検索”の定義：ビジネスゴールとの接続

「良い検索」とは、単に技術的に優れていることだけを指すのではありません。
究極的には、サービスのビジネスゴール達成に貢献する検索こそが「良い検索」と言えます。
検索品質の向上は、ユーザー満足度やコンバージョン率といった重要業績評価指標 (KPI) を改善するための手段なのです。

サービス種別	ビジネスゴール (KPI)	“良い検索”が貢献する要素
EC サイト	購入率 (CVR) の向上	顧客が探している商品をすぐに見つけられる
	平均注文額 (AOV) の増加	関連性の高い商品を推薦し、クロスセルを促進する
メディアサイト	ページビュー (PV) 数・滞在時間の増加	ユーザーの興味に合う記事を提示し、回遊性を高める
	再訪率の向上	質の高い情報体験を提供し、リピーターを育成する
SaaS ツール	機能利用率の向上	ユーザーが必要な機能をすぐに見つけられる
	ヘルプページの参照数削減	自己解決を促し、サポートコストを削減する

このように、検索評価は常にビジネスの最終目標と結びつけて考える必要があります。
どの指標を改善することが、自社のビジネス成長に最もインパクトを与えるのかを明確にすることが重要です。

定量評価がもたらす3つのメリット

検索機能を感覚ではなく、データで定量的に評価することには、主に 3 つの大きなメリットがあります。
これらのメリットは、開発プロセスを効率化し、チーム全体の意思決定の質を高めます。

メリット	詳細説明
1. 客観的な現状把握と課題特定	評価指標を用いることで、検索システムの現在の性能レベルを客観的な数値で把握できます。これにより、「何が問題で、どこを改善すべきか」という課題を具体的に特定することが可能になります。
2. 改善施策の効果測定	新しい検索アルゴリズムを導入したり、ランキングロジックを修正したりした際に、その施策が本当に効果的だったのかを検証できます。A/B テストと組み合わせることで、施策の前後で評価指標がどれだけ改善したかを正確に測定できます。
3. チーム内での共通言語の確立	エンジニア、プロダクトマネージャー、データサイエンティストなど、異なる職種のメンバー間で「良い検索とは何か」という共通認識を形成できます。評価指標という客観的な数値を共通言語とすることで、議論が具体的になり、建設的な意思決定が促進されます。

これだけは押さえたい！検索評価指標の全体像

検索エンジンの評価指標には数多くの種類が存在します。
しかし、それらを闇雲に学ぼうとすると混乱してしまいます。
まずは、指標がどのような観点で分類されるのか、全体像を把握することが大切です。

ここでは、評価指標を理解するための 2 つの大きな分類軸を紹介します。
この分類を理解することで、各指標の役割や位置づけが明確になり、学習の助けとなるでしょう。

2つの評価軸：「集合ベース」と「ランキングベース」

検索評価指標は、評価する対象によって大きく 2 つに分けられます。
それは、検索結果の「中身」に着目するか、「順序」に着目するかの違いです。
両者の特性を理解し、目的に応じて使い分けることが重要です。

評価軸	概要	主な評価指標
集合ベース評価	検索結果のリストを一つの「集合」として捉え、その中にどれだけ正解のアイテムが含まれているかを評価します。検索結果の順序は考慮しません。	– 適合率 (Precision) – 再現率 (Recall) – F 値 (F-measure)
ランキングベース評価	検索結果の「順序」を重視し、より正解に近いアイテムがリストの上位に表示されているかを評価します。ユーザーは上位の結果ほど重視するため、実用上非常に重要です。	– 平均逆順位 (MRR) – 平均適合率の平均 (MAP) – 正規化割引累積利得 (nDCG)

オフライン評価とオンライン評価の違い

評価を実施する環境によっても、指標は 2 種類に分類されます。
事前に用意したデータで評価するのか、実際のユーザーの行動で評価するのかという違いです。
それぞれに長所と短所があり、組み合わせて活用することが理想的です。

評価方法	概要	長所	短所
オフライン評価	事前に「検索クエリ」と「正解文書」のペアを定義したテストデータセットを用いて、検索アルゴリズムの性能を評価します。この記事で主に解説するのはこちらの指標です。	– 高速に何度も繰り返し評価できる – ユーザーに影響を与えずに検証可能 – 純粋なアルゴリズムの性能を比較できる	– テストデータセットの作成にコストがかかる – 実際のユーザーの満足度とは乖離する可能性がある
オンライン評価	A/B テストなどを用いて、新しいアルゴリズムを実際のユーザーに提供し、その反応 (クリック率、コンバージョン率など) を測定します。	– 実際のユーザー行動に基づき、ビジネス成果に直結する評価ができる	– 結果が出るまでに時間がかかる – ユーザー体験を損なうリスクがある – 結果の解釈が複雑になる場合がある

主要な検索評価指標を徹底解説【計算例・コード付き】

ここからは、検索評価で特に重要となる主要な指標について、一つずつ詳しく解説します。
各指標の定義や計算方法はもちろん、どのような長所・短所があるのかを具体的に見ていきましょう。
エンジニアやデータサイエンティストの方が実践で使えるよう、計算例やコードも交えて説明します。

集合ベース評価指標：検索結果に“正解”が含まれているか

まず紹介するのは、検索結果の順序を考慮せず、結果全体にどれだけ正解が含まれているかを評価する指標群です。
主に、適合率 (Precision)、再現率 (Recall)、そして両者のバランスを取る F 値 (F-measure) があります。
これらの指標は、情報検索の分野で古くから使われてきた基本的な評価基準です。

適合率 (Precision@K)

適合率とは、「検索結果として表示されたアイテムのうち、本当に正解だったものの割合」を示す指標です。
特に、検索結果の上位 K 件を対象とする「Precision@K」がよく用いられます。
この指標は、検索結果の「ノイズの少なさ」や「的確さ」を測るのに役立ちます。

例えば、あるクエリで上位 5 件を表示し、そのうち 3 件が正解だった場合、Precision@5 は 3 / 5 = 0.6 となります。

計算例: クエリ「最新 スマートフォン」
検索結果 (上位 5 件)	正解/不正解
1. 最新スマホ A (正解)	✅
2. スマホケース B (不正解)	❌
3. 最新スマホ C (正解)	✅
4. 旧モデルのスマホ D (不正解)	❌
5. 最新スマホ E (正解)	✅
Precision@5 の計算	(3 件の正解) / (5 件の結果) = 0.6

再現率 (Recall@K)

再現率とは、「全ての正解アイテムのうち、検索結果として表示できたものの割合」を示す指標です。
この指標は、検索システムの「網羅性」や「見逃しの少なさ」を評価するために重要です。
医療情報や特許文献の検索など、正解を見逃すことのリスクが高い場合に特に重視されます。

例えば、正解文書が全部で 6 件あり、上位 5 件の検索結果にそのうち 3 件が含まれていた場合、Recall@5 は 3 / 6 = 0.5 となります。

計算例: 正解が全部で 6 件ある場合
検索結果 (上位 5 件)	正解/不正解
1. 正解 A	✅
2. 不正解 X	❌
3. 正解 B	✅
4. 不正解 Y	❌
5. 正解 C	✅
Recall@5 の計算	(提示できた正解 3 件) / (全ての正解 6 件) = 0.5

F値 (F-measure)

適合率と再現率は、多くの場合トレードオフの関係にあります。
例えば、検索結果を大量に返せば再現率は上がりますが、関係ない結果も増えるため適合率は下がります。
F 値は、この適合率と再現率のバランスを考慮した指標で、両者の調和平均で計算されます。

特に、適合率と再現率を同じ重みで考慮する F1 スコアが広く使われます。

• F1スコア = 2 * (Precision * Recall) / (Precision + Recall)

先の例で Precision が 0.6、Recall が 0.5 だった場合、F1 スコアは約 0.55 となります。
この指標を使うことで、両方の性能をバランス良く向上させることを目指せます。

ランキングベース評価指標：“良いもの”が上位に表示されているか

ユーザーは検索結果を上から順に見ていくため、良い結果が上位に表示されることは非常に重要です。
ランキングベースの評価指標は、この「順序の適切さ」を評価します。
ここでは、MRR、MAP、そして nDCG という代表的な 3 つの指標を解説します。

MRR (Mean Reciprocal Rank)

MRR は、「最初に現れた正解アイテムが、検索結果の何番目にあったか」を評価するシンプルな指標です。
各クエリについて、最初の正解アイテムの順位 (rank) の逆数 (1/rank) を計算し、それらを全クエリで平均します。
そのため、平均逆順位 (Mean Reciprocal Rank) と呼ばれます。

クエリ	最初の正解の順位	逆順位 (Reciprocal Rank)
A	2 位	1/2 = 0.5
B	1 位	1/1 = 1.0
C	4 位	1/4 = 0.25
MRR の計算	–	(0.5 + 1.0 + 0.25) / 3 = 約 0.58

MRR は、正解が一つしかない場合や、ユーザーが最初の正解を見つけたら検索を終えるようなタスク（例：特定の公式サイトを探すナビゲーショナルクエリ）の評価に適しています。

MAP (Mean Average Precision)

MAP は、複数の正解が存在する場合に、それらが検索結果の上位に集まっているかを評価する指標です。
まず、クエリごとに Average Precision (AP) を計算します。
AP とは、各正解アイテムが出現した時点での適合率 (Precision) を平均したものです。

そして、計算された AP を全クエリでさらに平均したものが MAP となります。
これにより、システム全体のランキング性能を一つの数値で評価できます。

| 計算例: 正解が 1, 3, 6 位の場合 | |
| :— | :— | :— |
| 順位 | 正解/不正解 | その時点での Precision |
| 1 | ✅ | 1/1 = 1.0 |
| 2 | ❌ | – |
| 3 | ✅ | 2/3 = 0.67 |
| 4 | ❌ | – |
| 5 | ❌ | – |
| 6 | ✅ | 3/6 = 0.5 |
| AP の計算 | – | (1.0 + 0.67 + 0.5) / 3 = 約 0.72 |

この AP を複数のクエリで平均した値が MAP であり、Web 検索など、複数の正解が存在するタスクで広く用いられます。

nDCG (normalized Discounted Cumulative Gain)

nDCG は、現在最も広く使われているランキング評価指標の一つです。
この指標は、2 つの重要な概念に基づいています。

1. 関連度: 正解/不正解の 2 択だけでなく、「非常に関連性が高い (3)」「関連性がある (2)」「少し関連性がある (1)」のように、文書ごとに関連度に段階を設けられる。
2. 順位による割引: 検索結果の下位にある文書ほど評価を割り引く（ディスカウントする）。

計算は、CG → DCG → nDCG の 3 ステップで行われます。

ステップ	名称	概要
1. CG	Cumulative Gain (累積利得)	各文書の関連度スコアを単純に足し合わせた値。順序は考慮しない。
2. DCG	Discounted Cumulative Gain (割引累積利得)	下位の文書の関連度スコアを、順位に応じて対数で割り引いてから足し合わせる。これにより、上位の関連文書が高く評価される。
3. nDCG	normalized DCG (正規化 DCG)	DCG を、理想的な順序（関連度が最も高い順）で並べた場合の DCG (IDCG) で割る。これにより、スコアが 0 から 1 の範囲に正規化され、異なるクエリ間での比較が可能になる。

nDCG は、文書の関連度に濃淡がある場合でも柔軟に評価できるため、非常に実用的な指標です。

【早見表】各評価指標の長所・短所と使い分け

これまで解説してきた主要な評価指標の特徴を一覧表にまとめました。
それぞれの指標が持つ特性を理解し、自社のサービスの目的やデータの特性に合わせて最適なものを選択することが重要です。

指標名	概要	長所	短所	主な用途
Precision@K	上位 K 件の的確さ	計算が簡単で直感的	K 件しか見ない。Recall を無視	ノイズを減らしたい検索
Recall@K	上位 K 件の網羅性	見逃しの少なさを評価できる	Precision を無視。正解総数の把握が必要	医療・特許など見逃しが許されない検索
F-measure	Precision と Recall の調和平均	両者のバランスを評価できる	ランキングの順序を考慮しない	Precision と Recall 両方が重要な場合
MRR	最初の正解の順位	計算が簡単。最初の正解が重要なタスクに最適	2 番目以降の正解を完全に無視する	QA 検索、ナビゲーショナルクエリ
MAP	複数の正解が上位にあるか	ランキング順序と複数の正解を考慮できる	関連度が 2 値 (0/1) しか扱えない	正解が複数存在する一般的な Web 検索
nDCG	関連度と順位を考慮した評価	関連度に段階を設けられる。最も洗練されている	計算が複雑。関連度の付与にコストがかかる	実際のユーザー満足度に最も近い評価が必要な場合

【実践編】自社サービスに最適な評価指標の選び方

各指標の理論を理解したところで、次はそれをどのように実践に活かすかを考えましょう。
自社のサービス特性やビジネスモデルによって、重視すべき評価指標は異なります。
ここでは、具体的なビジネスモデルを例に挙げながら、最適な指標の選び方を解説します。

ビジネスモデル別・推奨評価指標

サービスの目的が異なれば、検索機能に求められる役割も変わります。
それに伴い、評価指標の重み付けも変えるべきです。
以下に、代表的なビジネスモデルごとの推奨評価指標を示します。

ビジネスモデル	主な検索目的	推奨する主要指標	推奨する補助指標	選定理由
EC サイト	ユーザーが欲しい商品を素早く見つけ、購入につなげる	nDCG	CTR, CVR (オンライン評価)	購入意欲の高いユーザーは上位の商品を重視するため、ランキング精度が重要。関連度 (売れ筋、レビュー評価など) も多段階で評価できる nDCG が適している。
ニュース・メディア	ユーザーが興味のある記事を見つけ、多くのページを回遊してもらう	MAP	滞在時間、回遊率 (オンライン評価)	複数の関連性の高い記事を上位に提示し、ユーザーの興味を引きつけることが重要。複数の正解を評価できる MAP が適している。
社内文書検索	従業員が必要な情報を正確かつ漏れなく見つけ、業務効率を上げる	Recall@K	Precision@K, F-measure	規定やマニュアルなど、必要な情報を見逃すことが問題となるため、網羅性を測る Recall が最重要。同時にノイズが多すぎないかも Precision で確認する。
QA サイト	ユーザーの質問に対する最適な回答を一つ提示する	MRR	Precision@1	ユーザーは最も的確な回答が一つ見つかれば満足する傾向があるため、最初の正解が上位にあることを評価する MRR が適している。

A/Bテストで改善効果を測定する際のポイント

オフライン評価で良い結果が出たアルゴリズムは、次に A/B テストによるオンライン評価でその効果を検証します。
オフライン評価指標の改善が、実際のユーザー行動やビジネス KPI にどう結びつくかを確認することが最終目的です。

A/B テストを実施する際は、以下の点に注意しましょう。

• 明確な仮説設定: 「ランキングロジック A を B に変更すれば、nDCG が向上し、結果として購入率が X% 向上するはずだ」といった具体的な仮説を立てます。
• KPI の事前定義: 評価するオンライン指標 (CTR, CVR, 滞在時間など) を事前に決めておきます。
• 統計的有意性の確認: テスト結果が偶然によるものでないことを、統計的な手法を用いて確認します。十分な期間とユーザー数でテストを行うことが重要です。

【発展】Googleの評価思想から学ぶ、これからの検索品質とは

個別の評価指標を最適化することも重要ですが、より広い視野で「検索品質とは何か」を考えることも大切です。
世界最大の検索エンジンである Google がどのような思想で品質を評価しているかを学ぶことは、多くの示唆を与えてくれます。
これからの時代に求められる検索品質について考えてみましょう。

従来のSEO指標（E-E-A-T, Core Web Vitals）が示唆するもの

Google は、ウェブページの品質を評価するために E-E-A-T という基準を用いています。
これは、経験 (Experience)、専門性 (Expertise)、権威性 (Authoritativeness)、信頼性 (Trustworthiness) の頭文字を取ったものです。
また、Core Web Vitals に代表されるユーザー体験 (UX) もランキング要因として重視しています。

これらの思想は、自社サービス内の検索機能を開発する上でも非常に重要です。
検索結果は単に関連性が高いだけでなく、その情報が信頼でき、ユーザーが快適に利用できるものでなければなりません。
アルゴリズムの評価だけでなく、コンテンツの信頼性や UI/UX の改善にも目を向けることが、本質的な品質向上につながります。

AI検索時代における新たな潮流：GEO/LLMOと評価の未来

生成 AI の台頭は、検索のあり方を大きく変えようとしています。
ユーザーは、検索結果のリンクをクリックするのではなく、AI が生成した要約を直接読む機会が増えるでしょう。
このような「ゼロクリック検索」が主流となる時代には、新たな評価の観点が必要になります。

今後は、従来の指標に加え、「自社のコンテンツが AI にどれだけ引用・参照されたか」が重要になるかもしれません。
そのための最適化手法として、GEO (Generative Engine Optimization) や LLMO (Large Language Model Optimization) といった概念も提唱されています。
構造化データを活用してコンテンツの内容を AI に正しく伝えるなど、未来を見据えた技術的取り組みが、新たな競争優位性を生む可能性があります。

まとめ：データに基づいた検索改善の第一歩を踏み出そう

この記事では、検索エンジンの性能を客観的に評価するための主要な指標とその実践的な活用法を解説しました。

• 評価の重要性: 「なんとなく」の改善を脱却し、データドリブンな意思決定を行うために評価は不可欠です。
• 指標の全体像: 評価指標は「集合ベース」と「ランキングベース」に大別され、それぞれに特徴があります。
• 主要な指標: Precision, Recall, MRR, MAP, nDCG などの定義と使い分けを理解することが重要です。
• 実践的な選び方: 自社のビジネスモデルや目的に合わせて、最適な評価指標を選定する必要があります。
• 未来の潮流: Google の思想や AI の進化も視野に入れ、本質的な検索品質とは何かを追求し続けることが求められます。

検索評価指標の理解と活用は、効果的な検索機能改善の基盤となります。
まずは、自社の検索ログと簡単な正解データを使って、現状のスコアを算出することから始めてみませんか。
チームで評価指標という共通言語を持つことが、ユーザーにとってより良い検索体験を創造する第一歩となるはずです。

なお、テクロ株式会社では「SEOのキーワード選定マニュアル」を無料で配布しています。

オウンドメディアで上位表示を獲得したいBtoB企業様はぜひご確認ください。