「リターゲティング広告は効いてる」を疑う——ECの増分効果（インクリメンタリティ）入門

カートに商品を入れたまま離脱した人を、広告で追いかける。ECなら誰もが使うリターゲティング広告です。レポートを見ると、広告に接触した人の購入率は、接触していない人よりずっと高い。だから「効いている」と判断し、予算を増やす。よくある流れです。リターゲティングはECで最も予算が割かれる施策のひとつなので、この判断が会社全体の広告費の使い方を左右します。けれど、ここには大きな落とし穴があります。広告に接触した人は、そもそも買う気が強かった人に偏っているからです。この記事では、観察データが見せる「見かけの効果」と、正しく測った「真の増分」がどれほど食い違うかを、ECのダミーデータで確かめます。前回までの広告効果検証シリーズと同じく、数式やコードは使いません。

レポート上は、いつも好成績に見える

まず、多くの会社がやっている見方をなぞります。広告に接触した人と、接触しなかった人の購入率を、手元のログ（観察データ）でそのまま比べるやり方です。今回のダミーデータでは、接触した人の購入率は32.8%、接触しなかった人は21.1%でした。差は11.7ポイント。これだけ見れば「リターゲティングは購入率を5割近く押し上げている、大成功だ」と言いたくなります。広告管理画面のコンバージョン数も、この接触者の購入をすべて広告の成果として積み上げます。

なぜ、この水増しに気づきにくいのか。広告の管理画面が採用している「ラストクリック」という考え方に原因があります。購入直前に最後にクリックされた広告に、その購入の手柄を全部割り当てる仕組みです。カートに入れたあと、たまたまリターゲティング広告をクリックして戻ってきて買えば、その購入はまるごと広告の成果に計上されます。でも、その人は広告がなくても、ブックマークや検索から戻って買っていたかもしれません。ラストクリックは「最後に通った経路」を記録しているだけで、「広告のおかげで買ったか」は何も証明していないのです。

ところが、この比較は公平ではありません。リターゲティング広告は、サイトをよく見ている熱心な人ほど何度も接触します。つまり「広告に接触した人」のグループは、最初から購入意欲の高い人で埋まっている。彼らは広告がなくても、かなりの割合で買っていたはずです。接触者の高い購入率は、広告の力と、もともとの買う気の両方が混ざった数字なのです。これは基礎編で扱ったセレクションバイアスそのものです。

ランダムに広告を止めて、測り直す

では、本当の効果はどう測るのか。答えはホールドアウトです。見込み客をランダムに2つに分け、片方には広告を出し、もう片方にはあえて広告を出さない。最初からくじ引きで分けるので、両グループの購入意欲は平均的にそろいます。残る違いは「広告を出したかどうか」だけ。だから購入率の差が、まるごと広告の効果になります。基礎編で見たA/Bテストの発想を、広告に当てはめたものです。なお、ホールドアウトもA/Bテストの一種なので、A/Bテストの「のぞき見」の罠で触れた「途中で止めない」「事前に人数を決める」といった注意は、そのまま当てはまります。

同じダミーデータをホールドアウトで測ると、広告を出したグループの購入率は26.9%、ランダムに広告を止めたグループは24.9%。差はたった2.0ポイントでした。仕込んでおいた真の効果と、ぴたり一致します。観察データが見せた11.7ポイントとは、まるで別物です。なぜこんなに違うのか。観察データの非接触群には「広告に当たらないくらい関心が薄い人」が多く含まれ、購入率がそもそも低い。一方ホールドアウトの広告なし群は、本来なら広告に当たっていたはずの熱心な人も、くじ引きで公平に含まれます。だから対照群の購入率が24.9%とぐっと高くなり、広告ありとの差が縮まって、本当の姿が見えるのです。

見かけの効果は、真の増分の約6倍だった

2つの数字を並べてみましょう。観察データの見かけの効果は11.7ポイント、ホールドアウトで測った真の増分は2.0ポイント。観察データは、広告の効果を約6倍に過大評価していたことになります。これは特殊なケースではありません。海外では、eBayが自社の検索広告を止めても売上がほとんど落ちなかった例や、Facebookの大規模な検証で観察的手法が効果を数倍に過大評価した例が知られています。基礎編で紹介したこれらの話の、ECにおける縮図がこれです。豊富な購買履歴やデモグラフィック情報で補正しても、このズレは簡単には消えません。なぜなら、補正できるのは「データに記録された違い」だけで、「広告を見るほど熱心」という記録に残らない意欲の差までは、そろえようがないからです。

予算の大半は「放っておいても買う人」に当たっている

増分が小さいということは、予算の使われ方に直結します。今回のデータで、広告を見て購入した100人の内訳を考えると、そのうち94人は広告がなくても買っていた人で、広告のおかげで新しく買ったのはわずか6人ほどでした。つまりリターゲティング予算の大半は、すでに買うと決めている人にもう一度広告を見せているだけ。広告管理画面では立派な成果として表示されますが、新しい売上は生まれていません。これは費用対効果の見え方を一変させます。広告管理画面の上では、1件の購入を安く獲得できているように見えても、その94%は元から買う人。増分1件あたりのコストで計算し直すと、獲得単価は十数倍に跳ね上がる、ということも珍しくありません。「広告経由ROAS（広告費用対効果）は高いのに、止めても売上が落ちない」という現場の違和感は、たいていここから来ています。次の図に、この錯覚の正体をまとめました。

誤解しないでほしいのは、リターゲティングが無意味だと言いたいわけではない、ということです。今回も2ポイントの増分はありました。問題は、その増分に見合った予算かどうかを、見かけの数字では判断できないことです。見かけの効果を信じて予算を倍にしても、増分はほとんど増えず、費用だけがかさむ。正しく測れば、いくらまでなら出す価値があるかが見えてきます。

ホールドアウトを組むときの3つのコツ

ホールドアウトは、特別なツールがなくても始められます。多くの広告プラットフォームには、配信対象の一部を自動で「広告を見せない群」に取り分け、増分を測ってくれる機能（コンバージョンリフト測定）が用意されています。自前で組む場合も、押さえるべき勘所は多くありません。

1. 必ず一部を「広告なし」に取り分ける — もったいなく感じても、対照群がなければ増分は測れない。全員に配信した時点で、効果は永遠に分からなくなる。
2. 測る前に期間と人数を決める — 増分は小さいことが多いので、十分な人数と期間を確保する。良い数字が出た瞬間に止めると、前回のA/Bテストの記事と同じ早とちりになる。
3. 増分で予算を判断する — 管理画面の「広告経由コンバージョン」ではなく、ホールドアウトで出た増分とその獲得単価で、出稿を増やすか減らすかを決める。

一度ホールドアウトで増分の相場をつかめば、毎回は実験しなくても、四半期に一度などの定期的な確認で十分です。大事なのは「接触者の購入率」という見かけの数字から、「広告がなければ起きなかった購入」という増分の数字へ、判断の物差しを切り替えること。物差しさえ変われば、同じデータを見ていても、止めるべき広告と伸ばすべき広告の区別がつくようになります。

それでも、止めどきや配信先は人間が決める

ホールドアウトの計算自体は、ツールやAIが自動でやってくれます。けれど、どの見込み客を対象にホールドアウトを組むか、どれくらいの期間と人数で測るか、出た増分を見て予算をどう動かすか——この判断は人間に残ります。「接触者の購入率が高いのは、もともと買う人だからでは」と疑える勘も、その商材と顧客を知っているからこそです。AIは増分を測る計算を肩代わりしてくれますが、何を疑い、結果をどう経営判断につなげるかは、人の仕事として残り続けます。AIをどう業務に組み込むかは「AIを入れる」から「安全に回す」へでも整理しています。

まとめ

リターゲティング広告の「効いている」は、しばしば錯覚です。接触者は最初から買う気の強い人に偏っているため、観察データの単純比較は効果を大きく水増しします。今回のダミーデータでは、見かけの効果11.7ポイントに対し、ホールドアウトで測った真の増分は2.0ポイント、約6倍のズレでした。予算の大半は、放っておいても買う人に当たっていたのです。対策は、一部にあえて広告を見せないホールドアウトを組み、増分だけを見ること。「接触した人の購入率」ではなく、「広告がなければ起きなかった購入」を測る。これが、広告予算を正しく配分する第一歩です。増分で測れば、効いていない出稿を止めて、本当に新しい売上を生む施策へ予算を振り向けられます。止めて困らない広告に払い続けるのは、もったいない話です。効果検証の考え方を一通り押さえたい方は、基礎編からの通読もおすすめです。

データに基づく意思決定を、はてなベースが伴走します

効果検証は「分析の前」が9割です。どのデータを揃え、どんな仮説を立て、何と何を比べるか。ここが整っていないと、どんな高度な手法も誤った結論を出します。はてなベースでは、データに基づく意思決定の土台づくりを支援しています。たとえばこんなケースでお役に立てます。