「レコメンド経由の売上が多い＝効いてる」の落とし穴——数字の魔術を解く

「レコメンド枠から、今月これだけ売れました」。管理画面にそう表示されると、レコメンド機能は大活躍しているように見えます。経由売上は全体の2割を超えることも珍しくありません。けれど、ちょっと待ってください。その商品は、レコメンドがなくても、検索やお気に入り、カテゴリ回遊からたどり着いて買われたのではないでしょうか。もし経由売上をそのまま信じてレコメンドの価値を評価すると、本当はもっと効く別の施策に回すべき投資を、レコメンドに振り向け続けることになりかねません。レコメンド経由売上という数字は、しばしば実態より大きく膨らみます。この記事では、その「数字の魔術」の正体と、ホールドアウトで測る本当の増分を、ECのダミーデータで解き明かします。前回までの広告効果検証シリーズと同じく、数式やコードは使いません。

「経由売上」は、なぜ大きく見えるのか

からくりは、商品の見つけ方が一つではないことにあります。ある商品にたどり着く経路は、検索、お気に入り、カテゴリ回遊、そしてレコメンド枠と、いくつもあります。買う気の強い人ほど、サイトの中をよく回遊し、その途中でレコメンド枠もよくクリックします。そして、最後にレコメンド枠を経由して購入すると、その売上はまるごと「レコメンド経由」として計上されるのです。たとえば、ずっと欲しかった商品を検索で探し、念のためトップに戻ったときに表示されたレコメンドをクリックして購入した——この場合、実際に買う気を作ったのは検索ですが、手柄はレコメンドが持っていきます。買う気の強い人の動線にレコメンド枠を置くほど、この“横取り”が増え、経由売上は膨らみます。皮肉なことに、買う気の薄い人が多い場所にレコメンドを置くより、すでに買う気満々の人が集まる場所に置いたほうが、経由売上の見栄えはよくなります。けれど、それは増分とは正反対の指標なのです。

つまり「レコメンド経由売上」は、レコメンドが生み出した売上ではなく、レコメンドを通り道にした売上です。その商品は、レコメンドがなくても別の経路で見つかって買われていたかもしれない。経路を記録しているだけで、レコメンドのおかげかどうかは何も証明していません。たとえるなら、駅前の人通りの多い場所に立っていた人が「自分が呼び込んだから店が繁盛した」と主張するようなもの。人が多いから売れているだけで、その人がいなくても客は来ていたかもしれません。これは前回のリターゲティング広告の記事で見た、ラストクリックの罠とまったく同じ構図です。

レコメンドを「切ってみる」と、本当の価値がわかる

では、レコメンドの本当の価値はどう測るのか。答えはホールドアウト、つまり一部のユーザーにだけレコメンドを表示しない対照群を作り、全体売上を比べることです。レコメンドを切った世界の売上と、出している世界の売上の差。それが、レコメンドが本当に上乗せした増分です。

ダミーデータで試すと、レコメンドを出している全体売上に対し、レコメンドを切ったホールドアウト群の売上は、わずか3%しか下がりませんでした。レコメンド経由売上は全体の22%もあったのに、実際に切って失われたのは3%だけ。残りは、レコメンドがなくても別の経路で売れていた、ということです。ここで効くのが、経路ごとの数字ではなく「全体売上」で比べる点です。レコメンドを切ると、それまでレコメンド経由だった購入の多くは検索やお気に入りに流れ、全体ではほとんど減りません。経路別の集計では見えなかったこの“流れの付け替え”が、全体で比べると初めて見えてくるのです。

経由売上は、真の増分の約7倍だった

2つの数字を並べると、その差は歴然です。レコメンド経由売上は全体の22.4%、ホールドアウトで測った真の増分は3.0%。経由売上は、本当の貢献の約7.5倍に膨らんでいたことになります。経由売上を見て「レコメンドは売上の2割を稼ぐ主力機能だ」と評価していたら、その価値を7倍以上に過大評価していたわけです。この差は、社内の意思決定にそのまま響きます。「レコメンドが売上の2割を支えている」と思えば、誰もそれを止めようとは言い出せません。けれど本当の貢献が3%なら、その維持コストや開発投資が見合っているかは、改めて問い直す余地があります。

言い換えると、レコメンド経由とされた売上の9割近くは、レコメンドがなくても別経路で買われていた商品でした。レコメンドが本当に新しく生み出したのは、残りの一部だけ。経由売上の大きさは、レコメンドの実力ではなく、回遊の多い熱心な顧客がよく通る場所にレコメンド枠があった、という配置の結果でもあるのです。

この構図は、レコメンドのクリック率が高いことが、必ずしも増分につながらない理由も説明します。クリック率が高いレコメンドは、たいてい「今まさに欲しい人気商品」を並べたもの。けれど、人気商品はレコメンドがなくても売れます。クリックは集まっても、増分はほとんど生まれない。逆に、その人がまだ知らない商品を掘り起こすレコメンドは、クリック率は地味でも、増分という意味では価値が大きいことがあります。

「経由売上」の罠は、レコメンドだけではない

同じ罠は、サイトのいたるところに潜んでいます。トップの特集バナー、サイト内検索枠、メルマガ、アプリのお知らせタブ——どれも「ここ経由でいくら売れた」という数字を出せます。そしてどれも、買う気のある人がよく通る場所ほど、経由売上が大きく見える。特集バナー経由の売上が大きくても、その商品は検索でも見つかったかもしれないし、メルマガ経由の購入も、メルマガがなくてもいずれ買われたかもしれません。

こうした内部の導線は、外部の広告と違って「止めるのがもったいない」と感じやすく、効果を測らないまま“あるのが当たり前”になりがちです。だからこそ、ときどきホールドアウトで切ってみて、本当に増分を生んでいるかを確かめる価値があります。切っても売上が変わらない導線は、デザインを簡素にして別の用途に使ったほうがいい、という判断もできます。逆に、切ると大きく売上が落ちる導線こそ、本当に価値のある資産。限られた画面と運用リソースを、増分の大きい導線に集中させることが、サイト全体の生産性を上げます。

だからといって、レコメンドが無駄なわけではない

ここで注意したいのは、「増分が小さい＝レコメンドは要らない」ではない、ということです。今回も3%の増分はありました。全体売上に対する3%は、決して小さくない金額です。問題は、その価値を経由売上で22%と過大評価してしまうこと。過大評価したまま、レコメンドのために大きな開発投資や運用コストをかけると、採算が合わなくなります。逆に、増分という正しい物差しで見れば、どこまでコストをかける価値があるか、どのレコメンドのロジックが本当に増分を生むかを、冷静に判断できます。大切なのは、経由売上の大きさに一喜一憂するのをやめ、「この機能を止めたら、全体でいくら失うか」という一点に注目することです。

レコメンドの改善も、同じ発想で進められます。新しいレコメンドロジックを試すなら、経由売上やクリック率で良し悪しを決めるのではなく、ホールドアウトを使って「どちらが全体売上の増分を大きくするか」で比べる。クリックされやすいレコメンドと、増分を生むレコメンドは、必ずしも一致しないからです。見栄えのよいクリック率を追いかけると、人気商品をただ並べるだけの“増分を生まないレコメンド”に最適化されてしまう恐れすらあります。

それでも、どこを切って試すかは人間が決める

ホールドアウトの集計や増分の計算は、ツールやAIに任せられます。けれど、どの枠を実験対象にするか、どれくらいの期間と規模で切るか、レコメンドを止めることによる顧客体験への影響をどう見るか——こうした判断は人間に残ります。「経由売上が大きいからといって、本当に効いているとは限らないのでは」と疑えるのも、サイトと顧客を知っているからこそです。AIは増分を測る計算を加速してくれますが、何を疑い、どこを実験するかは、人の仕事として残ります。AIをどう業務に組み込むかは「AIを入れる」から「安全に回す」へでも整理しています。

まとめ

「レコメンド経由売上が多い＝効いている」とは限りません。経由売上は、レコメンドを通り道にした売上にすぎず、その多くは別の経路でも買われていた商品です。ダミーデータでは、経由売上が全体の22%もあったのに、ホールドアウトで測った真の増分は3%、約7分の1でした。レコメンドに限らず、検索枠、メール、特集ページなど、「経由売上」で語られる施策はすべて同じ罠を抱えています。「どこを通って売れたか」ではなく「切ったらいくら減るか」。この物差しに切り替えるだけで、機能やコンテンツの本当の価値が見えてきます。そして、本当に増分を生む施策に資源を集中できるようになります。すべてを一度に検証する必要はありません。まずは経由売上がいちばん大きい導線を一つ選び、ホールドアウトで切ってみる。それだけで、社内の「効いている」という思い込みが、数字で問い直されるはずです。効果検証の考え方を一通り押さえたい方は、基礎編からの通読もおすすめです。

データに基づく意思決定を、はてなベースが伴走します

効果検証は「分析の前」が9割です。どのデータを揃え、どんな仮説を立て、何と何を比べるか。ここが整っていないと、どんな高度な手法も誤った結論を出します。はてなベースでは、データに基づく意思決定の土台づくりを支援しています。たとえばこんなケースでお役に立てます。