「年間5万円以上のお買い上げで、ゴールド会員。送料無料とポイント2倍」という制度を考えます。回帰不連続デザイン（RDD）で基準額のすぐ上下を比べます。広告効果検証シリーズで扱った、購買傾向と施策の効果を分ける問題です。
私は架空の顧客データで、特典の真の効果を翌年購入額+8,000円に設定しました。前年購入額が5万円以上の顧客に、翌年1年間、送料無料とポイント2倍を付与します。
単純比較に混ざる購買力の差
元の図で示したゴールド会員全体と一般会員全体の翌年購入額の差は、目安として+31,517円です。
散布図の横軸は前年、縦軸は翌年の購入額で、顧客1人を1点で表しています。前年購入額が5万円以上ならゴールド会員、5万円未満なら一般会員です。リターゲティング広告やクーポンのアップリフトでも、施策がなくても買う顧客をどう扱うかが比較の設計を左右します。
閾値のすぐ上とすぐ下だけを比べる
前年購入額が49,000円のAさんと51,000円のBさんでは、差は2,000円です。Aさんは基準額に届かず、Bさんだけがゴールド特典を受けます。
この境界を閾値と呼びます。ここでは、全員が特典を受けた場合と誰も受けなかった場合のそれぞれで、前年購入額に応じた翌年購入額の平均が5万円の前後で滑らかにつながると仮定します。
今回は特典を付与する効果を測ります。5万円以上なら付与し、未満なら付与しないシャープRDDの設定です。付与後に特典を使わなかった顧客も対象に含めます。利用した人だけを選ぶと、利用するかどうかによる選別が比較に入るためです。
推定対象は5万円の境界での効果です。たとえば4〜6万円の顧客を使う場合も、求めるのは5万円の位置での段差であり、その範囲全員の平均効果ではありません。
境界の左右に直線を当て、段差を測る
局所線形回帰では、境界付近の顧客の翌年購入額に、左右別々の直線を当てます。
元の図で示した段差の目安は+8,608円です。
RDDが使える場面、苦手な場面
「3,000円以上で送料無料」の場合、2,900円台と3,100円台では、送料を避けるために買い足したかどうかが違うかもしれません。購入を断念した顧客も注文データから抜けます。その後のリピート率を比べる前に、どの顧客が注文まで進んだかという選別の問題があるためです。
年間の会員ランクでも、「あと少しで5万円だから、もう一品買っておこう」という行動が起こります。5万円台前半に顧客が集中し、4万円台後半の人数が不自然に少ない分布は、買い足しを疑う手掛かりです。積極的に買い足した人が境界のすぐ上に集まれば、その購入傾向も左右の差に入ります。
購入額の分布と取引履歴を照合します。5万円ちょうどへの集中があれば、年末の買い足しや返品なのか、価格の刻みや集計時の丸めなのかを調べます。会員歴や過去の購入頻度の段差も判断材料です。別の優遇まで同じ基準額で始まるなら、推定する効果にはその優遇も含めます。
境界の前後に使う範囲がバンド幅です。狭くすれば顧客数が減り、広げれば境界から遠い顧客の傾向が直線に反映されます。
購入額を測る期間は、前年購入額で資格を決めた翌年の、特典を付与する1年間です。毎年更新される制度では、その年の購入に、さらに次の年の昇格やランク維持を目指す行動も入り得ます。継続中の制度のもとで資格を付与する効果と、制度そのものをなくす効果は別の問いです。
境界付近で特典を無作為に付与できるならA/Bテストを選びます。制度改定の履歴と比較群がある場合は、改定前の推移を踏まえて差分の差分法の設計を検討します。
分析結果を会員制度の設計にどう反映するか
購入額の増分に粗利率を掛け、同じ期間に特典によって増えた配送費、受け取らなくなった送料、追加ポイントの費用のうち、粗利に未反映の分を差し引きます。小口注文が増えれば配送費が変わり、もともと買っていた分にも追加ポイントが付きます。ランクの基準額を動かす案は、対象者が変わるため別の比較として設計します。分析に使うAIの業務管理は、「AIを入れる」から「安全に回す」へで扱っています。
制度を見直す前にそろえるデータ
実データでは、前年のランク判定対象者を起点に、翌年の購買履歴を顧客単位で結びます。注文履歴だけを起点にすると、翌年に買わなかった顧客が抜けるからです。追跡できていて注文がない顧客は購入額ゼロで残し、税込・税抜、送料、ポイント利用、返品・キャンセルの扱いをそろえます。途中昇格や前年の特典も、判定記録と照合する対象です。基礎編から共通するのは、計算より先に比較する集団を決めるという考え方です。
会員ランク特典 適用判断チェック
- 問1
「ゴールド会員と一般会員の翌年購入額の差は+31,517円なので、特典は有効だ」という報告を受けました。まず何を確認しますか？
解説正解は(3)です。 - 問2
A/Bテストを組めない既存のランク特典を、過去のデータで検証します。まずどの比較設計を検討しますか？
解説正解は(2)です。基準額で特典が切り替わる制度なので、境界での比較を候補にします。買い足しや付与ルールを調べたうえで適否を判断する順序です。 - 問3
RDDで特典の効果を+8,608円と推定しました。「全会員をゴールドに上げれば、1人あたり+8,608円の購入増が見込める」と報告してよいですか？
解説正解は(2)です。 - 問4
閾値の直後（5万円台前半）に顧客数の山ができ、直前（4万円台後半）は不自然に人数が少なくなっていました。RDDを使う前に、どう判断しますか？
解説正解は(2)です。取引履歴に戻り、買い足しによってどの顧客が境界を越えたかを調べます。金額の選び直しや機械的なデータ除外では、選別の原因は残ります。
はてなベースは、データの集約、分析、効果検証を支援します
効果検証では、分析前にデータの定義と比較対象を決めます。会員制度なら、購買履歴と特典の付与記録をそろえる作業から始めます。はてなベースでは、データの集約、分析、効果検証を支援しています。
その会員特典、効果を測れていますか
散在するデータを集約して分析の土台をつくるデータ基盤の整備、効果検証や仮説設計に伴走する分析・AI活用の支援、そして「全社で安全にAIを使いたい」という方へのオンプレミスAI導入支援まで、貴社の状況に合わせて伴走します。まずは無料相談でお気軽にご相談ください。