AI coach. ← 診断ツールに戻る
Methodology

その数字、もう一回測っても
同じですか?

AIの回答は毎回揺れます。だから当社は、測り方をすべて公開します。
測り方を検証できない数字は、信用しなくていいからです。

なぜ測り方を公開するのか

AIO計測は、測り方しだいで数字がいくらでも「良く」作れてしまうからです。

質問の文面を自社に有利に書く。たまたま出た1回だけを見せる。揺らぎに触れない—— どれも簡単にできてしまいます。だからこのページでは、どのAIに・何を・どう聞き・ どう判定し・どこまでを「変化」と認めるかを、そのまま公開します。 当社の診断を買わない方にも、他社の計測サービスを検討するとき 「この測り方は大丈夫か」を確認するチェックリストとして使っていただけます。

計測の手順

1回の診断で行っていることを、順番にそのまま書きます。

STEP 1
4つのAIに、買い手が実際に聞く30問を聞く

ChatGPT・Gemini・Claude・Perplexity の各APIに、「おすすめの会社は?」型の質問を30問投げます。 モデルは各AIの一般ユーザーが実際に見る画面に合わせて選定し、変更したときは日付を記録して、 その日をまたぐ比較には注記を添えます。

STEP 2
質問は「素の文面」のまま。指示を足さない

「必ず社名を挙げて」「表形式で」等の指示は一切足しません。こちらが指示を足した時点で、 それは買い手が見る画面ではなくなるからです。出力を短くする指示も入れません。 費用が膨らんでも、条件を変えるほうが害が大きいと考えています。

STEP 3
Web検索は各AIの純正機能だけを使う

外部の検索エンジンを差し込んで肩代わりさせることはしません。それをすると 「そのAIが自分で検索したか」「検索せずに答えたときに想起されるか」が観測できなくなるからです。 検索の発動率も、そのまま計測項目です。

STEP 4
回答を判定AIが読み、「推薦として挙がったか」を判定する

社名の表記ゆれを吸収しつつ、一般名詞との混同を防ぐガードを入れます (例:「AIコーチ」はAIによるコーチング機能の一般名詞としても使われるため、 企業名として挙がった場合だけを登場と数えます)。引用されたURLも全件収集します。

質問の設計 — 3層パネル

質問IDは永久固定。だから前回と比較でき、同業他社とも比較できます。

共通枠 12問全顧客で同じ聞き方(商材名だけ差し替え)。業種が違う会社とも同じ物差しで比較できます。
業種枠 9問同じ業種なら文面まで完全に同一。同業2社目からも同じ9問を使うので、業種内の比較が成立します。
個別枠 9問その会社に固有の質問。深掘り用で、他社比較には使いません。

いちばん大事なこと — 1回の測定では、何も言わない

これが当社の計測の中心です。

RULE 01 すべての率に、統計的な誤差の幅(Wilson 95%信頼区間)を併記する

AIの回答は同じ質問でも試行ごとに揺れます。だから「登場率10%」という点の数字だけでは、 実力なのか偶然なのか区別できません。当社のレポートは必ず区間で示します。 登場が0回でも「0%」とは言い切りません。120回聞いて0回なら、区間は「0〜3.1%」です。

RULE 02 「変わった」と言うのは、区間が重ならず、次の計測でも再現したときだけ

施策の前後で数字が動いても、信頼区間が重なっていれば「誤差の範囲」と報告します。 さらに、区間が離れていても1回では確定させず、次回の再現を確認してから「統計的な変化」と呼びます。

RULE 03 検証期間中は、測り方を変えない

質問パネル・モデル構成・判定方法・集計ルールは、施策の検証期間中は凍結します。 測り方を動かしながら「数字が上がった」と言うことはできないからです。 やむを得ず変えるときは、変更日を記録し、時系列がそこで切れることを明示します。

自社でやってみた結果も、そのまま公開します

都合の悪い数字を隠すと、上の全部が嘘になるからです。

実測記録: サイト改修「だけ」では、数字は動きませんでした

当社自身のサイト(aicjp.ai)を計測すると、改修前の登場は全AI・全質問で0回でした。 そこでサイト全体をAIO対応に改修(robots整備・構造化データ・ページ新設など25ページ)し、 公開11日後に再計測しました。結果は再び登場0回(184回答中0件)。 オンサイトの技術改修だけでは、この期間では推薦に届きませんでした。

この結果から、いま当社は「AIが実際に引用している外部媒体への掲載」を主経路として 施策を進めています。この検証は続いており、変化があれば前後の観測結果として公開します。 ——うまくいった話だけを見せるサービスを、私たちは信用しません。だから自分たちもそうしません。

計測しないもの・できないこと

対象外も明記します。

GoogleのAI Overviews / AI Mode 規約上、機械的な取得の可否が確認できていないため対象外です。「たぶん大丈夫」では取りに行きません。レポートにも対象外と明記しています。
成果の保証 推薦への掲載を保証するものではありません。変化を計測で確認しながら進めるサービスです。
取得時点より先の変動 計測結果は取得時点のものです。AIの回答・モデル・検索対象は変動します。だからこそ、上のルールで「実力と偶然」を区別します。
この測り方で、御社の現在地を測れます

お試し診断は 5,000円(税別)。30問 × 4AI の計測と結果レポートをその場でお届けします。

ご請求が確定するのは診断が完了したときです。

このページに書いた手順・ルールは、当社の診断エンジンに実装されているものをそのまま記述しています。 測り方を変更した場合は、このページも更新します(最終更新: 2026-09-20)。