年末に広告を増やしたら、売上も伸びた——それは広告の効果と言ってよいのか

年末に広告を増やしたら、売上も伸びた

前回と同じ、20店舗の2年分の広告費と売上のデータを見てみましょう。ただし、今回は、年末商戦の4週間にどの店舗も通常の予算枠を超えて広告費を積み増している状況を考えます。売上も年末に大きく伸びていて、年末4週の平均は、それ以外の週の約1.6倍です。

このデータに対して前回と同じく回帰分析を行います。結果は、直線の傾きが1万円あたり2.24万円、標準誤差が0.06でした。前回は傾きが1.57万円だったので、約1.4倍になっています。

「年末は広告を増やして売上も伸びた。傾きも2.24と大きく、標準誤差も小さい。広告の効果は1万円あたり2.24万円と見てよい」と考えてよいでしょうか。

今回は、この問いを題材に、回帰が返す3つの数のうち、1つ目の係数である傾きが当てにならなくなる世界を見ます。

世界を1か所だけ変える

前回の世界は、広告費と売上の本当の関係を「1万円あたり1.5万円」と決め、回帰分析の前提がすべて成り立つように作ったものでした。今回は、その世界に年末商戦を1つ足します。

変えたのは年末の1か所ですが、年末商戦は売上と広告費の両方に効きます。1つ目は売上です。年末の4週間だけ、広告とは関係なく、売上が1週あたり150万円上乗せされます。それ以外の週は前回と同じです。2つ目は広告費です。店舗は、売上が伸びる年末に合わせて広告費を積み増します。その結果、年末4週の広告費の平均は、それ以外の週の約1.8倍になります。広告費が売上を動かす強さは、前回と同じ1万円あたり1.5万円のままです。

つまり、この世界では、広告費を動かしているもの（年末の需要）が、売上も直接動かしています。広告費と売上の両方に効いている第3の要因があることを、統計の言葉では交絡と呼びます。単元「擬相関と偏相関」で扱っている、相関があるのに原因と結果ではない、という状況と同じ構造です。

答えを知っている世界で、直線を引いてみる

図2の左は前回と同じ世界、右は年末商戦を足した世界です。右の図では、年末4週の点をオレンジ色で示しています。

まず、右の図のオレンジ色の点を見てください。年末4週の点は、広告費が多く、売上も高いので、図の右上に固まっています。次に、破線と実線を見てください。破線は本当の関係で、傾きは1.5です。実線は回帰線で、傾きは2.24です。回帰線は右上の点に引っ張られて、本当の関係より急になっています。左の図では2本の線がほとんど重なっていましたが、右の図でははっきり開いています。

一方で、標準誤差は0.06で、前回とほぼ同じです。標準誤差が表しているのは、同じ世界でデータを取り直したときに傾きがどれだけブレるかであって、傾きが本当の値からどれだけずれているかではありません。実際に、この世界を1,000回作り直して、それぞれで回帰分析を行いました。結果は、傾きが1.8から2.6の間に散らばり、95%区間が本当の値1.5を含んだ世界は1つもありませんでした。このずれは、何度データを取り直しても消えません。

なぜずれるのか

回帰線の傾きは、広告費が1万円違う週どうしで、売上が平均してどれだけ違うかを表しています。この世界では、広告費が多い週ほど年末の週が多く混ざっていて、年末の売上は広告とは関係なく150万円高くなっています。回帰線は、その150万円の一部まで、広告費の違いによる売上の違いとして傾きに含めてしまいます。

広告費が動いた理由を、回帰線は知りません。店舗が自分の判断で広告費を増やした週も、年末だから増やした週も、回帰線にとっては同じ「広告費が多い週」です。前回の世界では、広告費を動かしていたのは店舗ごとの予算の枠だけで、枠は売上とは無関係に決めてありました。そのため、傾きは本当の値を当てました。今回の世界では、広告費を動かしている年末の需要が売上にも効いているので、傾きがずれます。

同じことは、店舗の側でも起きる

年末商戦は分かりやすい例ですが、同じ構造は店舗の側にもあります。今度は年末商戦の代わりに、予算の枠を店舗の規模に応じて配っている状況を考えます。大きい店ほど枠が大きく、大きい店ほど広告とは関係なく売上も高い、という世界です。

この世界で同じ回帰分析を行うと、傾きは2.69で、本当の値の約1.8倍でした。この世界のデータでは、広告費の差のほとんどが店舗どうしの差です。そのため、回帰線が拾っているのは「広告費の多い店は売上も多い」という店舗どうしの比較であって、ある店舗が広告費を増やしたときの効果ではありません。前回の世界では、枠を店舗の規模とは無関係に決めてあったので、この問題は起きませんでした。

この世界で、予測値はどうなるか

前回、係数の前提が崩れていても、予測値はそれほど狂わないことがある、と書きました。年末商戦のある世界で確かめてみましょう。

この世界と同じ仕組みで、新しく2年分のデータを作ります。その売上を、2本の線で予測します。1本は回帰線（傾き2.24）、もう1本は本当の関係の線（傾き1.5）です。予測の平均的な外れの大きさは、回帰線が70万円、本当の関係の線が73万円でした。傾きを間違えている回帰線の方が、売上の予測では、本当の関係の線よりわずかに当たります。

表は、2本の線の予測が、年末の4週とそれ以外の週でどれだけずれたかをまとめたものです。年末以外の週では、本当の関係の線の方が当たります。回帰線は傾きが急な分、広告費の少ない週の売上を低めに、多い週の売上を高めに予測してしまうからです。一方、年末の4週では、どちらの線も売上を大きく低く見積もりますが、外れは回帰線の方が小さくなります。全体で回帰線の方が当たるのは、年末の週で外れを小さくした分が、それ以外の週で外れが増えた分を上回るからです。

つまり、回帰線は「広告費が多い週は売上も高い」という関係を、年末の需要の分も一部含めて写し取っています。年末に広告費を積み増すという店舗の行動が来年も同じなら、その関係も続くので、全体の予測では回帰線の方が当たります。ただし、直線1本では年末の売上の跳ね上がりまでは表せないので、年末の週の予測が大きく外れることに変わりはありません。傾きが正しいかどうかと、予測が当たるかどうかは、別の問題だということです。この世界で当てにならないのは、「広告費を増やしたら売上はいくら増えるか」の方です。

数字を渡す前に

冒頭の問いに戻りましょう。傾きが2.24と出たとき、その数字を広告の効果として渡す前に確かめたいのは、広告費を動かしているものが何かを、自分の言葉で言えるか、です。年末の需要なのか、店舗の規模なのか、それとも店舗の判断なのか。この答えは、データの点からは読み取れません。図2の右の図でオレンジ色に塗れたのは、答えを知っている仮想の世界だからです。現実のデータでは、どの週の広告費が何によって動いたのかは、点を眺めても分かりません。

回帰分析は、広告費が多い週と少ない週の売上の差を、正確に測ってくれます。ただし、その差が広告によるものかどうかは、道具の側では決められません。次回は、傾きは正しいままで、2つ目の数である標準誤差が当てにならなくなる世界を見ます。

計算編（コードと実験）は Zenn の記事にあります。