AIの回答は毎回揺れます。だから当社は、測り方をすべて公開します。
測り方を検証できない数字は、信用しなくていいからです。
AIO計測は、測り方しだいで数字がいくらでも「良く」作れてしまうからです。
質問の文面を自社に有利に書く。たまたま出た1回だけを見せる。揺らぎに触れない—— どれも簡単にできてしまいます。だからこのページでは、どのAIに・何を・どう聞き・ どう判定し・どこまでを「変化」と認めるかを、そのまま公開します。 当社の診断を買わない方にも、他社の計測サービスを検討するとき 「この測り方は大丈夫か」を確認するチェックリストとして使っていただけます。
1回の診断で行っていることを、順番にそのまま書きます。
ChatGPT・Gemini・Claude・Perplexity の各APIに、「おすすめの会社は?」型の質問を30問投げます。 モデルは各AIの一般ユーザーが実際に見る画面に合わせて選定し、変更したときは日付を記録して、 その日をまたぐ比較には注記を添えます。
「必ず社名を挙げて」「表形式で」等の指示は一切足しません。こちらが指示を足した時点で、 それは買い手が見る画面ではなくなるからです。出力を短くする指示も入れません。 費用が膨らんでも、条件を変えるほうが害が大きいと考えています。
外部の検索エンジンを差し込んで肩代わりさせることはしません。それをすると 「そのAIが自分で検索したか」「検索せずに答えたときに想起されるか」が観測できなくなるからです。 検索の発動率も、そのまま計測項目です。
社名の表記ゆれを吸収しつつ、一般名詞との混同を防ぐガードを入れます (例:「AIコーチ」はAIによるコーチング機能の一般名詞としても使われるため、 企業名として挙がった場合だけを登場と数えます)。引用されたURLも全件収集します。
質問IDは永久固定。だから前回と比較でき、同業他社とも比較できます。
これが当社の計測の中心です。
AIの回答は同じ質問でも試行ごとに揺れます。だから「登場率10%」という点の数字だけでは、 実力なのか偶然なのか区別できません。当社のレポートは必ず区間で示します。 登場が0回でも「0%」とは言い切りません。120回聞いて0回なら、区間は「0〜3.1%」です。
施策の前後で数字が動いても、信頼区間が重なっていれば「誤差の範囲」と報告します。 さらに、区間が離れていても1回では確定させず、次回の再現を確認してから「統計的な変化」と呼びます。
質問パネル・モデル構成・判定方法・集計ルールは、施策の検証期間中は凍結します。 測り方を動かしながら「数字が上がった」と言うことはできないからです。 やむを得ず変えるときは、変更日を記録し、時系列がそこで切れることを明示します。
都合の悪い数字を隠すと、上の全部が嘘になるからです。
当社自身のサイト(aicjp.ai)を計測すると、改修前の登場は全AI・全質問で0回でした。 そこでサイト全体をAIO対応に改修(robots整備・構造化データ・ページ新設など25ページ)し、 公開11日後に再計測しました。結果は再び登場0回(184回答中0件)。 オンサイトの技術改修だけでは、この期間では推薦に届きませんでした。
この結果から、いま当社は「AIが実際に引用している外部媒体への掲載」を主経路として 施策を進めています。この検証は続いており、変化があれば前後の観測結果として公開します。 ——うまくいった話だけを見せるサービスを、私たちは信用しません。だから自分たちもそうしません。
対象外も明記します。
| GoogleのAI Overviews / AI Mode | 規約上、機械的な取得の可否が確認できていないため対象外です。「たぶん大丈夫」では取りに行きません。レポートにも対象外と明記しています。 |
|---|---|
| 成果の保証 | 推薦への掲載を保証するものではありません。変化を計測で確認しながら進めるサービスです。 |
| 取得時点より先の変動 | 計測結果は取得時点のものです。AIの回答・モデル・検索対象は変動します。だからこそ、上のルールで「実力と偶然」を区別します。 |
お試し診断は 5,000円(税別)。30問 × 4AI の計測と結果レポートをその場でお届けします。
ご請求が確定するのは診断が完了したときです。