1,000人の世論調査は、本当に1,000人分か

世論調査は信用できるのか

「1億人の意見を1,000人で測れるはずがない」。世論調査でよく聞く反応です。

この話はよくみそ汁にたとえられます。みそ汁の味を確かめるのに、鍋ごと飲む人はいません。一口で足りますし、その一口の量は鍋の大きさで変わりません。同じように、世論調査も1億人に聞く必要はなく1,000人に聞けば十分、というのが一般的によくされる説明です。

この説明は正しい。ただし、条件が一つ隠れています。それは1,000人の答えが互いに独立であることです。みそ汁でいえば、一口ごとに別の場所からすくうこと。よくかき混ぜた鍋なら、どこからすくっても同じなので、これを気にする必要はありません。かき混ぜていない鍋で同じ場所から何度もすくえば、何口飲んでも鍋全体の味は分かりません。

みそ汁と違うのは、調査の相手はかき混ぜられないことです。かき混ぜるとは、濃いところと薄いところを混ぜて、どこも同じにすること。意見は人に付いていて、人は住む町や家族や職場の中にいます。同じ町の人を別の町に移すことも、その町で話題になっていることを全国に均すこともできません。だから、誰をどう選んだかがそのまま効いて、意見の偏りが出てしまうことがあります。

束にして聞くと、何が起きるか

ここからは、出口調査や、訪問して聞く面接調査の話です。こうした調査では、1,000人を全国から1人ずつ選ぶことはあまりしません。地点を選び、その中で世帯を選び、その中で人を選ぶ。出口調査なら投票所ごとに聞く。

一緒に選ばれて、まとめて聞かれた人たちのかたまりを、ここでは「束」と呼びます。同じ町内の30人、同じ投票所の100人、同じ世帯の3人、といったものです。かき混ぜていない鍋の同じ場所から、続けてすくうことにあたります。

一緒に選ばれる人たちは、たいてい何かを共有しています。同じ町のその日の空気や話題が答えに共通して混ざるので、同じ束の中の人は似た答えになりやすい。共通の何かが混ざる、という仕組みは一つで、同じ調査員が聞く、同じ日に聞く、家族の答えを横で聞いてから答える、でも同じことが起きます。

前回のルーレットは、回ごとに独立でした。今回はここを外して、「同じ束の中では似る。束が違えば独立」の場合を考えます。

図で見る

似る強さは、同じ束の2人の答えの相関で表します。0なら独立、1なら同じ答えです。真の賛成率を50%、束の中の相関を0.1に固定し、1束あたりの人数を1人・10人・100人・1,000人と変えて、「ここまでの賛成率」が人数とともにどう動くかを8回ずつ描いたのが図1です。

まず左上（1束1人、独立）を見てください。1,000人の時点で±3ポイントに収まり、以降ほとんど動きません。赤は、理論上およそ95%が入る幅です。

次に右下（1束1,000人）。1,000人の時点では±32ポイントで、8本はばらけたまま落ち着いています。1,000人がまるごと一つの束なので、その束の癖がそのまま平均に出ています。ただし束が2つ、3つと増えるにつれて、こちらも50%に寄っていきます。右端では±7ポイントで、まだ届いていませんが、向かっています。

そこから言えること。着く場所は変わらず、着く速さだけが変わっています。

何人分か

速さがどれだけ落ちるかは、式で書けます。

n人の平均のぶれ ＝ 1人の答えのぶれ ÷ n ×（1 ＋ (n−1)×平均相関）

平均相関は、全員の組について相関を平均したものです。1束の人数が決まっていれば、聞く人数を増やした分は別の束の人になるので、独立な組ばかりが増えて、平均相関はゼロに向かいます。ただし n−1 倍されるので括弧の中は1までは下がらず、n で割る分だけが効く。だから遅れても着く。逆に、同じ束の中で人数を増やしても平均相関は下がりません。図1右下の1,000人時点がそれです。

相関を変えたらどうなるか。効き方はおおむね「1束の人数×相関」で決まります。相関が0なら束の100人は100人分、1なら全員同じ答えなので1人分、0.1ならおよそ9人分。裏返せば、束を小さくするのと、束の中で似ないようにするのとで、効き目は同じです。みそ汁なら、同じ場所からの10杯はほとんど1杯分。すくう場所を増やすか、同じ場所でも少し離してすくうか、です。

実務はこれを知っています。標本設計では「設計効果」という名前で、1束あたりの人数と束の中の相関から、1,000人が実質何人分かを換算します。1地点50人・相関0.1なら約5.9倍、1,000人は170人分。誤差は±3ポイントではなく、±7〜8ポイント。出口調査で1万人に聞いても、投票所が10か所で1,000人ずつなら、およそ100人分です。「1万人に聞いた」と人数だけで安心してはいけないのは、このためです。

何が言えなくなり、何がまだ言えるか

言えなくなるのは、誤差が人数の平方根で縮む、という速度の見積もりです。「1,000人だから±3」を、束の作り方を見ずに口にしてはいけません。

まだ言えるのは、行き先です。束の選び方に偏りがなく、1束の人数が決まっている限り、平均は真の値に着きます。冒頭の反応への答えは、だから「1,000人で足りる。ただし互いに独立なら」になります。

なお、これは幸運な方です。図1右下の1,000人時点をもう一度見てください。束が一つしかないとき、平均は落ち着いているのに、50%ではない場所にいました。1,000人全員を同じ束で聞いていたら、何が起きるか。次回はそこを見ます。

この記事の計算編（コード付き）は Zenn にあります。