前回の基礎編で考えた「広告を打たなかった場合」の売上は、実際には観測できません。今回は食品スーパーチェーンを題材にしました。
数値は教材用に生成した架空のデータによる計算例です。広告による売上の上乗せを9%に設定しました。実店舗では分からない効果をあらかじめ決めておくことで、単純な売上差とのずれを見られます。
分析に使うデータ
私は広告対象を売場面積が大きく都心に近い店舗に偏らせました。
| 項目 | 内容 |
|---|---|
| 店舗数 | 全40店舗、広告あり14店・広告なし26店 |
| 期間 | 2025年4月7日〜12月29日の週次売上39週分。施策開始は10月6日の週 |
| 店舗の属性 | 売場面積・都心立地・駅からの距離・会員数 |
| 設定した偏り | 大型・都心の店ほど広告対象に選ばれやすい |
| 設定した季節要因 | 年末需要で全店共通に売上が伸びる |
| 真の広告効果 | 広告対象店の売上を+9%押し上げる設定 |
方法1 単純比較｜店舗規模や季節要因が売上差に含まれる
測りたいのは、広告対象店の売上が、広告を打たなかった場合に比べてどれだけ増えたかです。折込チラシと地域広告を同時に実施する設定なので、両者を合わせた効果を扱います。
施策後の週あたり平均売上は、広告ありの店が40,053千円、広告なしの店が29,246千円でした。平均は施策後13週の広告あり14店、広告なし26店の店舗・週ごとの売上から求め、差の分母は広告なしの平均売上です。
同じ広告対象店の前後なら、店舗規模の違いを避けられそうです。平均売上は施策前の32,029千円から施策後の40,053千円へ伸びました。施策前26週と施策後13週の平均を比べ、施策前を分母にしています。
店舗間の+37.0%には店舗規模の差が、施策前後の+25.1%には年末需要が含まれます。
方法2 差分の差分法｜両群の変化を比べる
そこで、広告を出した処置群と、出していない対照群の変化を比べる差分の差分法（DiD）を使いました。今回は売上額ではなく相対的な増加を扱いたいので、売上を対数に変換しています。
この推定では、広告がなければ両群の平均対数売上が同じだけ変化すると仮定します。これが平行トレンド仮定です。
丸め前の平均売上から、処置群の成長倍率を対照群の成長倍率で割って1を引くと、相対的な上乗せは約8.4%です。店舗・週ごとの売上を対数化してから平均する値と、平均売上を対数化する値が異なるため、後述の対数売上のDiDとは結果が一致しません。
| 施策前後の売上増加率 | |
|---|---|
| 処置群 | +25.1% |
| 対照群 | +15.4% |
| 増加率の単純な差 | 9.7パーセントポイント |
回帰では売上の対数を目的変数に、店舗固定効果と週固定効果、処置×施策後の項を入れました。店舗固有の違いと各週に共通する変化を分けて扱う設計です。係数は100×(exp(係数)−1)で百分率に直しています。同じ店舗の週次売上どうしの相関を扱うため、標準誤差は店舗でクラスター化しました。
方法3 傾向スコアマッチング｜似た店舗を比べる
傾向スコアマッチングでは、施策前の属性から推定した「広告対象になる確率」が近い店舗を組み合わせます。今回なら、大型・都心の店に近い比較相手を探す発想です。今回、会員数はスコア推定に使わず、マッチング後の属性差の点検に使いました。
属性ごとの群間差を見る指標が、平均差を標準偏差で割る標準化平均差（SMD）です。
効果を推定したい対象は、比較相手が見つかった広告対象8店です。対象外の8店は、広告がなかった場合の売上を近似するために使います。
比較方法による計算結果の違い
| 比較方法 | 計算結果 | 設定値+9%との差 |
|---|---|---|
| 店舗間の単純比較。施策後13週の対象14店と対象外26店の算術平均売上の比 | +37.0% | +28.0パーセントポイント。真の効果の約4.1倍 |
| 施策前後の単純比較。対象14店の施策前26週と施策後13週の算術平均売上の比 | +25.1% | +16.1パーセントポイント。真の効果の約2.8倍 |
| 差分の差分法。対象14店と対象外26店の全39週の対数売上を用いた回帰 | +8.8% 95%信頼区間 6.9〜10.7% | −0.2パーセントポイント |
| 傾向スコアで選んだ8組の施策後13週の対数売上比較 | +11.7% | +2.7パーセントポイント。面積・立地・駅距離・会員数の差が残る |
実務でこうした比較を組むには、店舗と期間をそろえて売上を取り出せる形にしておきます。データ集約の方法は、Snowflakeで売上ダッシュボードを作る記事で扱っています。
この例の分析条件と検証結果
図表は乱数シード25064の単一データセットによる計算結果です。
売上は施策前26週、施策後13週の計1,560件です。季節要因は対数尺度で全店共通とし、10月以降の伸びと年末2週の上昇を入れ、10月6日の週から対象店の売上を一律1.09倍にしています。誤差は店舗・週ごとに、自己相関係数0.5、革新標準偏差0.05のAR(1)過程で生成しました。
DiDの交差項の係数は0.0845です。95%信頼区間は、40店舗のクラスター共分散をCR1で補正した標準誤差0.00867と自由度39のt分布を使い、対数尺度の両端を100×(exp(値)−1)で百分率に変換して求めました。
施策前のトレンドを週別、月別、直線的な傾きの3通りで点検しました。週ごとの差をまとめた検定はp=0.015で5%水準で棄却され、月別の検定はp=0.288、傾きの差の検定はp=0.483で棄却されませんでした。週別は2025年9月29日を基準とする25係数の共同検定でF=2.166、自由度25と39、月別は9月を基準とする5係数の共同検定でF=1.290、自由度5と39、傾きの差は週あたり−0.000607、標準誤差0.000858で自由度39のt分布を使いました。
傾向スコアは、売場面積・都心立地・施策前平均売上の対数を説明変数にしたロジスティック回帰で求めました。対象店ごとにスコアが最も近い対象外店を1店ずつ選び、同じ店は再利用していません。許容する距離の上限はロジットスコアの標準偏差の0.2倍としました。対象14店のうち6店はこの仕様で組が成立せず、除外しました。残った8組の施策後13週の対数売上を比較し、対象店と対象外店の平均対数売上の差を100×(exp(差)−1)で幾何平均の増加率に直しました。
標準化平均差は、マッチング前の標準偏差を分母に固定して計算しました。施策前売上の差は0.96から0.05に縮んでいます。一方、マッチング後も売場面積は0.35、都心立地は−0.27、駅距離は−0.26、会員数は0.63で、絶対値が目安の0.1を超えています。特に会員数は0.71から0.63と、ほとんど縮んでいません。
この計算では駅距離と会員数をスコアの式に入れておらず、会員数の多い店が広告対象側に偏ったままです。
DiDの施策前トレンドを点検する
施策前から広告対象店が速く成長している場合、施策後の売上差には広告以前からの成長差も含まれます。
対象店だけで広告と同時に改装した場合も、売上の伸びには改装の影響が混ざります。近隣の対照店にも広告が届いていれば、その店は広告なしの比較相手にはなりません。
属性と時間変化を合わせて扱う
マッチングで選んだ店舗の前後変化をDiDで比較する方法もあります。その場合の平行トレンドは、残った集団について置く仮定です。
分析を業務に組み込む際のAI運用は、「AIを入れる」から「安全に回す」へで扱っています。
まとめ
DiDの推定値は設定値9%に近い一方、今回の標本では週別の施策前検定が棄却され、平行トレンドを確認できたとは判断できません。マッチングも8組に絞っただけでは属性差を解消できませんでした。続く発展編では、適切な比較地域が見つからない場合に、複数の未実施地域を重み付けする合成コントロール法を扱います。
広告効果検証 適用判断チェック
- 問1
広告対象店の施策後平均売上が非対象店より37.0%高い結果でした。この差をどう解釈しますか。
解説このデータの店舗間比較は+37.0%、設定した効果は+9%です。広告対象に大型店が多いため、規模差も含まれています。(1)では効果を約4.1倍に見積もります。(3)の有意差検定では対象選定の偏りは消えず、(4)の前後比較には季節要因も含まれます。 - 問2
DiDを使う前に売上推移を描くと、施策前から処置群の伸びが速く、対照群との差が広がっていました。どう判断しますか。
解説分析に使う尺度で施策前から両群の差が広がっていれば、平行トレンドを疑う材料になります。(1)はその差を無視し、(3)は都合のよい期間を選んでいます。(4)の無関係な業態も、広告がなかった場合の推移を表す比較対象にはなりません。 - 問3
マッチング後も駅距離と会員数に差が残っています。どのように対応しますか。
解説駅距離と会員数は測定済みなので、SMDなどで残った差を調べます。(3)の非有意という結果だけでは、十分なバランスの証拠になりません。(4)のように属性を除外しても、店舗間の差は消えません。 - 問4
AIで分析した結果を報告する前に、何を行いますか。
解説売上データだけでは、広告の配布範囲や同時に行った販促が入力から漏れる場合があります。(2)は、比較群を選んだ理由と平行トレンド、調整した属性を点検する判断です。
はてなベースは、売上データの集約と広告効果の検証を支援します
はてなベースは、売上データの集約、比較対象と評価指標の設定、広告効果の検証を支援します。自社管理のサーバーで運用するオンプレミスAIの導入にも対応しています。
その広告効果、正しく測れていますか 散在するデータを集約して分析の土台をつくるデータ基盤の整備、効果検証や仮説設計に伴走する分析・AI活用の支援、そして「全社で安全にAIを使いたい」という方へのオンプレミスAI導入支援まで、貴社の状況に合わせて伴走します。まずは無料相談でお気軽にご相談ください。 無料相談はこちら
参考文献
- [1]Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment（eBayの検索広告実験）Blake, Nosko, Tadelis (2015), NBER
- [2]広告効果測定の最新事情 差分の差分法野村総合研究所（NRI）