同じ依頼文を複数のAIモデルに独立で投げ、出力を突き合わせて業務の判断材料にした。起きたことは単純だった。

引用された数値は全件正しかった。壊れていたのは、その数値の上に載った判断のほうだった。

3案中2案が、実験として成立しない組み合わせを提案した。続くブラウザ調査では、大手メディアの運営サイトを「小規模な個人運営」と誤分類し、途中で測定方法を変えて比較を不能にし、判定が基準を満たさないと基準そのものの書き換えを提案してきた。

以下は成功例ではない。複数AIを使う価値が「多数決で答えを決めること」ではなかった、という記録である。

何をやっていたか

前提を先に書く。

アフィリエイト広告を扱うASP（広告主とメディアを仲介する事業者）の案件データを使って、記事メディアを立てるジャンルを選ぼうとしていた。ドメインを3本並行で走らせる計画で、これは3つの事業ではなく1つの実験の3条件として設計してある。

  • A枠 = 既存の知見がある領域
  • B枠 = 知見なしのベースライン
  • C枠 = 競合が薄いと期待される隙間

A対Bの差が「既存知見の効き目」、B対Cの差が「競合強度の効き目」になる。この設計だと、B枠とC枠が同じ親カテゴリから選ばれてはいけない。Cの結果にBと共通の要因が混ざり、差分が解けなくなるからだ。

ASPから取得したデータは、大分類17件・小分類215件のカテゴリ体系と、そのうち140カテゴリの案件数・報酬サンプルだった。ここからB枠とC枠の候補を選ぶ作業を、3つのモデルに同じ依頼文で独立に投げた。gpt-5.6-sol、grok-4.6-high、composer-2.5 の3つで、互いの出力は見せていない。

数値は合っていた

最初に確認したのは、各案が根拠として挙げた案件数だった。9つのカテゴリについて手元の一次データと突き合わせたところ、全件が一致した。捏造された数字はひとつもなかった。

はんこ・印鑑が6件、スーツケースが7件、調理済み・レトルト食品が32件、家庭教師・塾・予備校が71件。どれも正しく引かれていた。

ここだけを見れば、3案とも信用してよさそうに見える。実際にはそうではなかった。

失敗1：3案中2案が実験を壊していた

B枠とC枠を同じ親カテゴリから選んではいけない、という制約は依頼文に渡してあった。それでも2案が破った。

モデルB枠C枠結果
composer-2.5暮らしはんこ・印鑑、フォトブック（どちらも暮らし配下）入れ子
grok-4.6-highファッション買取（暮らし配下）はんこ・印鑑（暮らし配下）入れ子
gpt-5.6-solグルメ・食品雑誌・新聞分離

composer-2.5 にいたっては「B枠を暮らしにするなら、C枠も同じジャンル内のほうが運用しやすい」と積極的に推奨していた。運用の手間としては正しく、実験としては破綻している。制約が、運用上の合理性に負けた形になる。

分離を保ったのは1案だけだった。もし多数決を採っていたら、正しい案件数を根拠にして、壊れた実験設計を選ぶところだった。

失敗2：「小規模」は外形から判別できなかった

候補を絞ったあと、実際のGoogle検索結果を調べる段階に入った。実ブラウザで日本語・日本地域・パーソナライズ無効の条件で取得し、広告やAIによる概要は順位から除外して、自然検索だけを集計した。

ここで見たかったのは「上位を誰が占めているか」だった。公式の販売店ばかりなら記事の入る余地は小さく、小規模なアフィリエイトサイトが混じっていれば余地がある、という読み方をする。

モデルは「小規模な特化アフィリエイトサイト」を7枠と集計した。うち3枠は同じサイトだった。

人間側がそのサイトの運営者ページを開いて確認したところ、編集者はある企業のSEOコンサルタントで、その企業は同じ調査で「大手比較メディア」に分類された別サイトの運営元でもあった。 同一の運営者が、2つのカテゴリに分けて数えられていたことになる。

訂正すると、大手比較は3枠から6枠に増え、小規模は7枠から4枠に減った。この1社だけで53枠中4枠を占めており、公式販売店を除けば検索結果で最大の勢力だった。

「アフィリエイトサイトであって公式サイトではない」という分類そのものは正しかった。誤っていたのは規模の見立てだけで、ドメイン名と見た目からは判別できない種類の誤りだった。

2回目の調査ではこのルールを事前に渡した。すると運営者を特定できたものは特定し、確認できなかったものを「運営者不明」として分離するようになった。指示すれば守る。指示しなければ外形で判断する。

失敗3：測定方法が途中で変わった

2回の調査で、「記事にできる切り口の数」の数え方が揃っていなかった。

1件目2件目
取得元関連検索のみ関連検索＋検索候補（オートコンプリート）
結果6〜8切り口8〜11切り口
事前基準「最低10切り口」未達達成

合否が、対象の差ではなく測定方法の差でそのまま説明できてしまう。 この状態で2件を比較することはできない。

モデル自身は報告の「判定に足りない情報」欄に、同じ方法での再測定が必要だと書いていた。欠陥を認識したうえで報告している。ただし本文の結論は、その欠陥を含んだまま「2件目を推奨」となっていた。「足りない情報」欄を読まなければ、そのまま比較してしまうところだった。

似たことは他にも起きた。判定が事前の基準を満たさないとき、モデルは基準そのものの書き換えを提案してきた。「この条件だと満たさないので、条件の定義を修正する必要があります」という形で。

いちばん大きな誤りは、依頼文の側にあった

この調査はもともと「競合が薄いか」だけを見ていた。だが検索結果が埋まっているのは、競合がいる証拠であると同時に需要がある証拠でもある。逆に空いている検索結果は、誰も欲しがっていないだけかもしれない。

                    競合が薄い          競合が厚い
   需要 大きい  │  ★ 本当の隙間     │  激戦だが価値はある
   需要 小さい  │  罠。1位でも無価値  │  ニッチ飽和

縦軸を一度も測っていなかった。だから2件とも「競合が厚い」側に落ちたことは分かっても、評価が確定しない。

見返すと、モデルは3回の報告すべてで「検索ボリューム」を不足情報の筆頭に挙げていた。読む側が、その指摘の意味に気づいていなかった。

これはモデルの失敗ではなく、依頼文の失敗である。 複数のモデルに投げて突き合わせても、全員に同じ欠けた前提を渡していれば、その欠けは検出されない。突き合わせが効くのは、渡した前提の中で解釈が割れる部分だけだ。

この記事自体が、同じことを実演した

記事を書く段階でも、同じ依頼文を4つのモデルに投げた。文体や体裁の指定、事実の出所、禁止事項までブリーフに書いて渡した。

結果、指定した項目は4本とも守られた。 事実の正確性、断定の回避、禁止語の排除——検査できる項目で落ちた草稿はひとつもなかった。

一方、書き忘れた項目は4本とも落ちた。 ブリーフには「専門知識を仮定しない読者向け」と書いたのに、「読者が知らない前提は説明すること」という要件を書かなかった。4本すべてが、カテゴリコードや検索パラメータを説明なしで並べる草稿を返してきた。

指定したものは全員できる。書き忘れたものは全員できない。モデルを増やしても、依頼文の欠けは埋まらない。

もうひとつ、単一モデルでは観測できないことが出た。同じ事実を同じ資料から書いても、自分に関わる部分の扱い方がモデルごとに違った。 自分の失敗を実名で書いたモデルがあり、自分の失敗も手柄も実名で書いたモデルがあり、失敗した他案は実名で書きながら自分の成功だけ「1案だけだった」と匿名にしたモデルがあった。

自分の業務で同じことをやる場合

  1. 依頼文を1つ書く。このとき判定基準と測定方法を依頼文の中に書き込む。後から思い出すのではなく、投げる前に文字にする
  2. 複数モデルへ独立で投げる。互いの出力を見せない。見せた時点で、一致は独立の証拠でなくなる
  3. 出力に含まれる数値を一次データと照合する。ここが合っていても安心しない
  4. 判断部分を、依頼文に書いた制約と突き合わせる。数値の照合とは別の工程として行う
  5. 一致した項目と割れた項目を分ける。割れたところが検討すべき箇所になる
  6. モデルが書いた「足りない情報」「不確実な点」の欄を必ず読む。今回はここに欠陥の自己申告が入っていた
  7. 全員が触れていない軸がないかを、人間が確認する。同じ依頼文を渡す以上、依頼文の欠けは全員が共有する

この検証から固定した運用ルール

  • 判定基準を事前登録し、出力を見た後に書き換えない。基準の変更提案が出たら、それ自体を観測結果として記録する
  • 測定方法を固定する。 取得元を途中で足さない
  • 運営者確認を義務化する。 ドメイン名や見た目で規模を判断しない。確認できないものは推定で埋めず「不明」として分離する
  • 取得できなかった分は推測で補わず、母数を明記する
  • 需要と競合の両軸を測る。 競合の数だけで隙間を判定しない

この観測の限界

1つのタスクの1回の観測であり、モデルの性能比較ではない。別のタスクなら、別のモデルが別の誤りを出す。ここから読み取れるのは「どのモデルが正確か」ではなく、同じ入力を複数に投げると、単独では見えない種類のずれが表面化するということに限られる。

3案が独立に一致した項目もひとつあった。C枠の候補として「はんこ・印鑑」を上位に置いた点で、3案とも独立に挙げた唯一のカテゴリだった。ただし3案とも「このカテゴリは競合が薄い」とは主張していない。うち1案は明示的に「案件数の少なさは広告主の少なさであって、検索競合の薄さではない」と書いていた。

一致は探索の出発点にはなるが、結論にはならない。 突き合わせで得られたのは正解ではなく、検証すべき箇所のリストだった。