「ChatGPTにうちの今月の売上を聞いたら、それらしい数字がスラスラ返ってきた」。そんな経験はありませんか。
問題は、その数字が本物とはかぎらないことです。AIはあなたの店の実データを1つも見ていなくても、それらしい数字を作って自信たっぷりに答えます。しかも数字の間違いは、文章の間違いとちがって、見た目では気づけません。
この記事で見ていくのは3つです。なぜAIは記憶から数字を作ってしまうのか、当たり障りない「一般論」と危ない「確信ある間違い」はどう別物なのか、そして実データで答えさせるにはどうするか。初級の方にもわかるよう、やさしく進めます。
まとめ解説動画
目次
この記事のまとめ#
- AIが数字を間違えるのは、頭が悪いからではなく、あなたの店の実データを見ずに、学習した記憶からそれらしい数字を作っているから
- 危ないのは当たり障りない「一般論」ではなく、具体的な数字で断言する「確信ある間違い」。本物に見えるので、そのまま判断に使ってしまう
- 数字を手でコピーして貼れば一度は直せる。ただし毎回は重く、しかも貼った数字が間違っていてもAIは気づけない
- 判断の質を決めるのは「AIの賢さ」ではなく「AIが見る数字が本物か」。カギは、良いプロンプトでなく、あなたの実データをその場で読ませること
1. なぜAIは記憶で数字を答えるのか#
結論から言うと、AIが数字を間違えるのは、あなたの店の実データを見ずに、学習した記憶からそれらしい数字を組み立てているからです。
ChatGPTに「今月の売上は?」と聞くと、数字が返ってきます。でも、あなたが実データを渡していなければ、AIの手元にあるのは学習時に見た世の中のパターンだけです。その範囲で、いちばんありそうな数字を作って答えます[1]。これは、AIが事実でない内容を自信を持って作ってしまう「ハルシネーション」と呼ばれる現象です[2]。
やっかいなのは、数字の間違いが見た目で分からないことです。文章の間違いなら読めば気づけますが、「今月の売上は420万円です」と返ってきた数字が本物か作り話かは、画面を見ただけでは区別できません。もっともらしい桁数と単位でそろっているぶん、かえって本物に見えてしまいます。
上の図は、AIが記憶だけで答えた数字と実測値を、実測を100として見比べたものです。記憶値は上にも下にもばらつき、どれも実測とはずれています。ここで言う「あなたの店の数字」とは、まず売上やセッションあたりの売上など、ECで最初に押さえたい5つの数字のことです。この5つですら、AIは渡されなければ推測で埋めてしまいます。指標の意味からつかみ直したい方は、EC分析でまず見る3つの指標もあわせてどうぞ。
2. 「一般論」と「確信ある間違い」は別物#
結論から言うと、AIの弱点には2種類あり、数字でこわいのは「一般論」ではなく「確信ある間違い」のほうです。
一般論は、「SNSを強化しましょう」「商品ページを見直しましょう」のような当たり障りない答えです。どの店に聞いても同じで、なぜそう言えるのかがAIの一般論しか言わない理由にもつながります。一般論は物足りませんが、間違いだと気づける安全さがあります。
こわいのはもう一方です。「今月の売上は420万円、先月比12%増です」と、具体的な数字で断言される場合。数字が細かいほど本物に見えますが、実データを渡していなければ、それは記憶から作った数字かもしれません。ここで押さえたいのは、AIの答えの「自信の強さ」は「正しさ」とは無関係だということです[3]。自信たっぷりに、堂々と間違えます。
見分け方はシンプルです。上の図のように、その数字の出どころと期間を確認できるかどうか。確認できないなら、記憶から作った数字かもしれないと疑う。確信の強さではなく、確かめられるかどうかで判断します。AIがどの店を薦めるかを決めるしくみと同じで、AIは手元の材料で最善を尽くすだけ。材料が実データでなければ、答えも実データにはなりません。
3. 手で貼れば直るが、貼った数字の正しさは保証されない#
結論から言うと、数字を手でコピーして貼れば、その場ではAIに本物を読ませられます。一度試すだけなら、それで十分です。
管理画面の数字をコピーしてChatGPTに貼り付ければ、AIは実データで答えます。まず一度やってみる価値はあります。問題は、これを毎回の相談で続けようとしたときと、貼る作業そのものに残る穴です。
- 何を貼ればいいか、その場で判断が要る。 売上だけでいいのか、期間はどこまでか、チャネル別も要るのか。質問ごとに必要な数字が変わり、毎回選び直すことになります
- 範囲・前期比・分解まで貼り切れない。 今月と先月、チャネル別、スマホとPC。比べるための数字をぜんぶそろえて貼るのは、コピペでは終わりません
- 次の質問でまた貼り直し。 話が一歩進むたびに別の数字が要り、そのつど管理画面に戻って貼り直します
- 貼った数字が間違っていても、AIは気づけない。 ここが一番こわいところです。桁を1つまちがえて貼っても、AIはそれを正しい前提にして自信たっぷりに答えます。AIは貼られた数字を検算できません
上の表のように、記憶で答えるAIとデータを読むAIの差は、出どころを言えるか、範囲を正確に絞れるか、最新か、誤りに気づけるか、の4点に出ます。手貼りはこの穴を一時的にふさぐだけで、根っこは埋まりません。考え方は簡単ですが、毎回、正しい数字を、正しい範囲でそろえて貼り直すのは重く、しかも事故りやすい。だから手貼りは「一度試す」補助の位置にとどまります。
RevenueScopeの解決策
AIが数字を間違えるのも、手貼りで穴が残るのも、もとをたどれば原因は1つです。AIに渡す「あなたの店の本物の最新の数字」を、手作業でしか用意できていないことです。
RevenueScope は、この渡す部分を引き受けます。ChatGPTやClaudeにつなぐと、AIがあなたのECの数字を直接読んで答えます[4]。むずかしい設定もSQLもいりません。AIに「今月の売上、どのチャネルが効いてる?」と聞くだけです。読み取り専用なので、データを書き換えられる心配もありません。
AIが読むのは、売上（Revenue）・平均注文額（AOV）・セッションあたり売上（RPS）・購入率（CVR）・セッション数（Sessions）の5つと、その前期比です。これをチャネル別にそろえた数字が、そのままAIに渡ります。だからAIは記憶で作らず、確かめられる実データで答えます。
たとえば、あなたの数字を読んだAIは、こんなふうに答えます（表示はデモデータ）。
| あなたの質問 | 記憶で答えるAI | データを読むAI |
|---|---|---|
| 今月の売上は? | もっともらしい数字を作る | 実データの売上と前期比を返す |
| どのチャネルが効いてる? | 一般論で「SNS」と答える | メール経由のRPSが最も高いと返す |
| 購入率は下がってる? | あいまいに答える | スマホのCVRだけ下がっていると返す |
左の記憶まかせと違い、右はあなたの店の実データから返した答えです。RevenueScope がやっているのは、AIを賢くすることではなく、AIが確かめられる本物の数字を読める状態を渡し続けることです。毎回コピペして貼り直す重さから解放され、しかも数字がずれる事故を根っこから断てます。
FAQ#
よくある質問#
Q. 自社の数字を渡さなくても、上手にプロンプトを書けば数字も正確になりますか？
A. プロンプトの工夫[1]で、答えの方向はある程度そろえられます。ただし数字は別です。AIがあなたの店の実データを持っていない以上、どれだけ上手に聞いても、返る数字は推測の域を出ません。確かな数字にたどり着くには、実データを読ませることが要ります。
Q. AIに数字を渡すと、勝手に書き換えられませんか？
A. つなぎ方を読み取り専用にしておけば、AIは数字を読むだけで書き換えることはありません。どの数字をどこまで見せるかも自分で決められます。手でコピペする場合も、貼った数字をAIが変えることはありません。
Q. まず何から始めればいいですか？
A. いまAIに聞いて返ってきた数字を1つ選び、管理画面の実データと照らし合わせてみてください。ずれていれば、それが「記憶で答えている」サインです。数字が合っているか自分の目で1回確かめるだけでも、AIの答えとの付き合い方が変わります。
まとめ#
AIが数字を間違えるのは、性能のせいではありません。あなたの店の実データを見ずに、記憶からそれらしい数字を作っているからです。こわいのは当たり障りない一般論ではなく、具体的な数字で堂々と断言される「確信ある間違い」。本物に見えるぶん、そのまま判断に使うと損が静かに積み重なります。
数字は手でコピペしても渡せますが、毎回は重く、貼った数字が間違っていてもAIは気づけません。結局、判断の質を決めるのは「AIの賢さ」ではなく「AIが見る数字が本物か」です。良いプロンプトを探すより、あなたの実データをその場で読ませること。まずは、AIが返した数字を1つ、実データと照らし合わせるところから始めてみてください。検索からの流入と売上のつながりを見落としていないか気になる方は、検索データと売上の死角を扱った記事もあわせてどうぞ。
どの広告が売上を生んでいるか、一目でわかる
月5,000セッションまで、AIアナリストもずっと無料。クレジットカード不要。最短5分で導入。
