CMを流した地域と売れ方が似ている地域は、そう簡単には見つかりません。前回の実践編で使った差分の差分法（DiD）でも、対照の選び方が問題になります。今回は、複数地域の売上を組み合わせる合成コントロール法を使います。
CMがなくても売れた分をどう差し引くか
テレビCMの放映後に売上が増えても、季節や景気による増加が含まれます。CMを流さなくても売れていた分を差し引いた効果を推定します。
未施策地域の売上を加重平均する
合成コントロール法では、未施策地域の売上を加重平均した「合成対照」を作ります。重みを決める基準は、施策前の対象地域の推移にどれだけ近づくかです。標準的な方法では重みを0以上、合計を1とするため、対象地域の売上が全候補地域を上回る週の水準は再現できません。各週の水準が候補地域の範囲内にあっても、期間全体を同じ重みで近づけられるかが問題になります。
重みは施策前のデータで決め、施策後も固定します。CMの効果を含む売上に合わせて重みを変えると、測りたい差まで吸収してしまうためです。
ドナープールは、合成対照に使う未施策地域の候補集合です。候補が多いと、施策前の偶然の変動にまで合わせる過適合が起こり得ます。
前回の差分の差分法と、どう違うのか
標準的なDiDは施策前からある水準差を差し引き、施策がなければ両群の平均的な変化が同じだったと仮定します。合成コントロール法は、加重平均で施策前の推移を近づけ、その関係が施策後も続くことを前提に差を測ります。
架空例：さくら県だけにテレビCMを流す
架空の小売チェーンが、さくら県だけでテレビCMを集中放映する設定です。さくら県を含む全16地域の週別売上を使い、未放映の15地域をドナー候補とします。
この例では、売上規模が近くても季節変動が異なり、季節変動が近くても規模が異なる地域を想定しています。
数値は説明用に生成した架空データの分析結果です。CMによる売上増加率の設定値は+6%です。
この例で単純な水準比較がずれる理由
さくら県の施策後の売上を東京や16地域の単純平均と直接比べると、もともとの規模差が混ざります。東京の売上水準が高ければ、さくら県でCMが効いていても差はマイナスになり得ます。
合成対照の重み｜各地域に割り当てた割合
下の図では静岡と新潟の重みが大きくなりました。
結果｜施策前は近い推移、施策後に差
| 比較対象 | 算出値 | 算出方法 |
|---|---|---|
| 16地域の単純平均との水準比較 | +41.6% | 施策後26週のさくら県の平均売上を、さくら県を含む16地域の単純平均で割り、1を引いた水準差です |
| 東京との単純な水準比較 | −39.6% | 施策後26週のさくら県の平均売上を、同期間の東京の平均売上で割り、1を引いた水準差です |
| 合成コントロール | +5.88% | 施策後26週のさくら県の平均売上を、同期間の合成対照の平均売上で割り、1を引いた効果推定値です。設定値+6%との差は−0.12ポイントでした |
この例の分析条件と検証結果
図と数値は、乱数シード20260915の架空データ1組から算出しました。
さくら県を含む16地域について、週次売上を104週分作りました。最初の78週を施策前、第79週からの26週をCM放映後としています。未施策の15地域は、地域ごとの売上規模に、夏・年末に山がある振幅10〜25%の季節パターンと全地域共通の週0.1%の成長を掛け、さらに1に標準偏差0.02の正規ノイズを足した値を掛けました。さくら県は静岡33.5%・新潟29%・東京23.4%・大阪13.3%・宮城0.8%の比率で売上を足し合わせ、1に標準偏差0.015の正規ノイズを足した値を掛けて作っています。第79週以降だけを1.06倍し、真のCM効果を+6%に設定しました。売上の単位は百万円と仮置きしています。
推定では施策前78週を使い、二乗誤差が最小になるよう、0以上で合計1となる重みを求めました。最適化には解析的勾配を使うSLSQPを用い、各推定で2通りの初期値から計算しました。静岡40.0%、新潟23.2%、東京22.5%、大阪13.4%、神奈川0.9%となり、残る10地域の重みは0です。データを作る際に決めた比率を推定に与えず、施策後の売上も重みの計算には使っていません。生成時に含めた宮城の重みは0となり、代わりに神奈川に0.9%が割り当てられました。
施策前78週の各週の差を二乗して平均し、その平方根を取った誤差はRMSPE 122でした。丸め前の122.49を同期間の平均売上8,468.59で割ると約1.45%です。同じ施策前78週の売上水準をそのまま比べたRMSPEが単一地域で最小の愛知でも289となり、合成対照の2倍以上の誤差がありました。私は過適合も調べるため、最初の65週だけで重みを求め、残り13週に当てはめました。この13週の誤差は131で、重みの計算に使った期間の123とほぼ同じでした。
他地域でも同程度のずれが出るかを調べるため、未施策の15地域を順に仮の処置地域とし、それぞれさくら県を含む残り15地域で合成対照を作るプラセボテストを行いました。施策後26週のRMSPE 555.09を施策前78週のRMSPE 122.49で割った比は、さくら県が4.53で16地域中1位です。順位p値は、さくら県以上の比となる地域数を、さくら県自身も含む比較地域数で割るため、1/16=0.0625となりました。下の図は、上段で未施策15地域すべてを示し、下段では施策前RMSPEがさくら県の5倍を超える東京・長野を除いた13地域と比べています。下段の順位比率は、さくら県を含む14地域を分母とする1/14で約0.0714です。
静岡・新潟・東京・大阪を1地域ずつ外し、施策前78週で重みを求め直した4回の推定では、施策後26週の平均売上比による効果と施策前RMSPEは、静岡除外で+5.76%・133.39、新潟除外で+6.13%・135.54、東京除外で+6.40%・174.44、大阪除外で+5.86%・127.54でした。
合成コントロールが向くとき、苦手なとき
処置対象が1つか少数で、施策前のデータとドナー候補がそろう場面が、この方法の使いどころです。
プラセボテストのRMSPE比は、売上差がプラスでもマイナスでも、施策後のずれが大きいほど増えます。
プラセボの差には偶然の変動も含まれます。放映地域を事業上の理由で選んだ場合、この順位は他地域との比較結果として扱います。
CMと同時に変わったことを調べる
CM開始と同時に値下げも始まれば、売上差には両方の影響が入ります。実務の分析では、放映記録と店舗の販促・出店・欠品・計測変更の記録を突き合わせます。ドナーを選ぶ際には放送エリアと県境のずれや越境購買も調べ、広告の影響が大きい地域を外します。
売上の集計では、既存店か全店か、返品やEC売上をどう扱うかを地域間でそろえます。対象地域だけ出店分を含めると、店舗が増えた影響まで差に入るためです。
増分売上から採算を考える
採算の判断では、増分売上から得られる粗利と広告費を比較します。地域別の売上集計には、Snowflakeで売上ダッシュボードを作る記事も参考になります。
次回はECサイトのA/Bテストで、途中の成績を見て対象の配分を変えた場合を扱います。
合成コントロール法 適用判断チェック
- 問1
小売チェーンが1地域だけでテレビCMを集中放映します。合成コントロール法で効果を推定するために、最初に何を確認しますか。
解説施策前の十分な期間のデータと、広告の影響を受けない比較地域が必要です。ドナーは数だけでなく、推移を再現できるかと波及の有無で選びます。CM本数やGRPも、施策内容の確認には役立ちますが、それだけでは反実仮想の比較対象を用意できません。 - 問2
さくら県のCM放映後の売上を比べると、東京との差は大きくマイナス、16地域の単純平均との差は大幅なプラスでした。この結果をどう扱いますか。
解説この例の単純な比較値には地域の規模差が含まれます。プラスかマイナスかで値を選ぶのではなく、比較の尺度と施策前の適合を確認します。 - 問3
合成対照を作ったものの、施策前の売上推移が処置地域と大きくずれています。この推定値をどう扱いますか。
解説施策前の推移を十分に再現できていない場合、この推定値をそのまま因果効果として採用せず、比較条件を見直します。(1)は適合不良を無視しています。(3)の問題は、期待する結果に合わせて重みを恣意的に変えることです。(4)は比較条件の妥当性と推定精度を混同しています。 - 問4
CMを流した地域の売上が伸びました。この地域の差が他地域と比べてどの程度例外的かを調べるには、どの追加分析が有効ですか。
解説プラセボテストでは、未施策地域にも同じ方法を適用して得た差の分布と、処置地域の差を比較します。市場全体の成長率、時期の相関、他社事例との近さだけでは、処置地域の反実仮想を検証できません。
広告効果の検証設計と分析の支援
はてなベースでは、地域別データの集約、比較対象と評価指標の設定、広告効果の検証を支援しています。分析前に仮説と比較条件を決め、推定結果を施策の効果として解釈できるかを確認します。
その広告効果、正しく測れていますか 散在するデータを集約して分析の土台をつくるデータ基盤の整備、効果検証や仮説設計に伴走する分析・AI活用の支援、そして「全社で安全にAIを使いたい」という方へのオンプレミスAI（自社が管理するサーバーなどで運用するAI）の導入支援まで、貴社の状況に合わせて支援します。まずは無料相談でお気軽にご相談ください。 無料相談はこちら
参考文献
- [1]広告効果測定の最新事情 差分の差分法野村総合研究所（NRI）
- [2]Measuring Ad Effectiveness Using Geo ExperimentsGoogle Research