1,000人の世論調査は、本当に1,000人分か

世論調査は信用できるのか

「1億人の意見を1,000人で測れるはずがない」。世論調査について、よく聞かれる反応です。

この話は、よくみそ汁にたとえられます。みそ汁の味を確かめるのに、鍋ごと飲む人はいません。一口で足りますし、その一口の量は鍋の大きさによって変わりません。同じように、世論調査も1億人に聞く必要はなく、1,000人に聞けば十分だ、というのがよくされる説明です。

この説明は正しいのですが、そこには条件が一つ隠れています。1,000人の答えが互いに独立であることです。みそ汁でいえば、一口ごとに別の場所からすくうことにあたります。よくかき混ぜた鍋なら、どこからすくっても同じなので、これを気にする必要はありません。しかし、かき混ぜていない鍋で同じ場所から何度もすくえば、何口飲んでも鍋全体の味は分かりません。

みそ汁と違うのは、調査の相手はかき混ぜられない、ということです。かき混ぜるとは、濃いところと薄いところを混ぜて、どこも同じにすることでした。ところが意見は人に付いていて、人は住んでいる町や家族、職場の中にいます。同じ町の人を別の町に移すことも、その町で話題になっていることを全国にならすこともできません。そのため、誰をどう選んだかがそのまま結果に効いて、意見の偏りが出てしまうことがあります。

では、1,000人の答えが独立でないとき、世論調査の結果はどうなるのでしょうか。今回はこの問いについて考えてみます。

束にして聞くと、何が起きるか

ここからは、出口調査や、訪問して聞く面接調査を例に考えます。こうした調査では、1,000人を全国から1人ずつ選ぶことはあまりありません。まず地点を選び、その中で世帯を選び、さらにその中で人を選びます。出口調査であれば、投票所ごとにまとめて聞きます。

このように一緒に選ばれて、まとめて聞かれた人たちのかたまりを、この記事では束と呼びます。同じ町内の30人、同じ投票所の100人、同じ世帯の3人、といったものです。みそ汁でいえば、かき混ぜていない鍋の同じ場所から、続けてすくうことにあたります。

一緒に選ばれる人たちは、たいてい何かを共有しています。同じ町のその日の空気や話題が答えに共通して混ざるので、同じ束の中の人は似た答えになりやすくなります。同じ調査員が聞く、同じ日に聞く、家族の答えを横で聞いてから答える、といった場合も、共通の何かが混ざるという点で仕組みは同じです。

前回のルーレットでは、1回1回の結果が独立でした。今回はこの前提を外して、「同じ束の中では似る。束が違えば独立」という場合を考えてみます。

図で見る

似る強さは、同じ束の2人の答えの相関で表します。相関が0なら2人の答えは独立で、1なら同じ答えになります。真の賛成率を50%、束の中の相関を0.1に固定して、1束あたりの人数を1人・10人・100人・1,000人と変えたとき、「ここまでの賛成率」が聞いた人数とともにどう動くかを8回ずつ描いたのが図1です。

まず左上の枠（1束1人、つまり独立）を見てください。1,000人の時点で±3ポイントに収まり、それ以降はほとんど動きません。赤い線は、理論上およそ95%の線が入る幅を表しています。

次に右下の枠（1束1,000人）を見てください。1,000人の時点では±32ポイントあり、8本の線はばらけたまま落ち着いています。1,000人がまるごと一つの束なので、その束の癖がそのまま平均に出ているのです。ただし、束が2つ、3つと増えるにつれて、こちらも50%に近づいていきます。右端の時点では±7ポイントで、まだ届いてはいませんが、50%に向かっています。

つまり、着く場所は変わらず、着く速さだけが変わっているということです。

何人分か

着く速さがどれだけ落ちるかは、式で書くことができます。

n人の平均のぶれ ＝ 1人の答えのぶれ ÷ n ×（1 ＋ (n−1)×平均相関）

平均相関とは、全員の組について相関を平均したものです。1束の人数が決まっていれば、聞く人数を増やした分は別の束の人になるので、独立な組ばかりが増えていき、平均相関はゼロに向かいます。ただし平均相関には n−1 が掛かっているので、括弧の中は1までは下がらず、ある値で止まります。効いてくるのは n で割る部分だけです。そのため、遅れはしても、平均は真の値に着きます。逆に、同じ束の中で人数を増やしても、平均相関は下がりません。図1右下の1,000人の時点が、まさにその状態です。

では、相関を変えたらどうなるでしょうか。効き方は、おおむね「1束の人数×相関」で決まります。相関が0なら、束の100人はそのまま100人分です。相関が1なら全員が同じ答えなので1人分、0.1ならおよそ9人分になります。裏返せば、束を小さくすることと、束の中で答えが似ないようにすることは、同じ効き目を持つということです。みそ汁でいえば、同じ場所からすくった10杯は、ほとんど1杯分にしかなりません。すくう場所を増やすか、同じ場所でも少し離してすくうか、ということになります。

実務では、このことはよく知られています。標本設計では設計効果と呼ばれ、1束あたりの人数と束の中の相関から、1,000人が実質何人分にあたるかを換算します。たとえば1地点50人・相関0.1なら設計効果は約5.9倍で、1,000人は170人分です。誤差は±3ポイントではなく、±7〜8ポイントになります。出口調査で1万人に聞いたとしても、投票所が10か所で1,000人ずつなら、およそ100人分にしかなりません。「1万人に聞いた」と人数だけで安心してはいけないのは、このためです。

何が言えなくなり、何がまだ言えるか

言えなくなるのは、誤差が人数の平方根に比例して縮む、という速さの見積もりです。束の作り方を見ないまま「1,000人だから±3ポイント」と言うことはできません。

一方で、まだ言えることもあります。それは行き先です。束の選び方に偏りがなく、1束の人数が決まっている限り、平均は真の値に着きます。冒頭の反応への答えは、「1,000人で足りる。ただし互いに独立なら」になります。

なお、これはまだ幸運な方です。図1右下の1,000人の時点を、もう一度見てください。束が一つしかないとき、平均は落ち着いているのに、50%ではない場所にいました。では、1,000人全員を同じ束で聞いていたら、何が起きるのでしょうか。次回はこの点を見ていきます。

計算編（コードと実験）は Zenn の記事 にあります。