大数の法則

サンプルサイズを大きくすれば標本平均は母平均に近づく、その数学的保証

できるようになること

• チェビシェフの不等式の意味と使い方を説明できる
• 大数の法則（弱法則）の内容を説明できる
• 「サンプルを増やせば平均が安定する」ことの数学的な根拠を理解できる

なぜ数を増やすと平均は安定するのか

サイコロを10回投げて、出た目の平均を計算してみましょう。期待値は $3.5$ ですが、10回だけなら平均が $2.8$ や $4.1$ になることは珍しくありません。

では100回投げたらどうでしょう。平均は $3.5$ にかなり近くなります。1000回なら、ほぼ $3.5$ に一致するでしょう。

「試行回数を増やすほど、平均値が理論的な期待値に近づく」。これは私たちの経験からも自然に感じることです。しかし、なぜそう言えるのでしょうか。「たまたま偏りが続いて、いつまでも $3.5$ に近づかない」という可能性はないのでしょうか。

大数の法則（law of large numbers）は、この直感を数学的に保証する定理です。そしてその証明の鍵となるのが、チェビシェフの不等式です。

チェビシェフの不等式

チェビシェフの不等式（Chebyshev's inequality）は、確率変数が期待値からどれだけ離れるかの上限を与える不等式です。

この不等式は「$X$ が期待値 $\mu$ から $\varepsilon$ 以上離れる確率は、高々 $\sigma^2 / \varepsilon^2$」と読めます。

具体例

サイコロ1回の出目 $X$ は、$\mu = 3.5$ です。分散は $\sigma^2 = E[X^2] - \mu^2 = (1^2 + 2^2 + \cdots + 6^2)/6 - 3.5^2 = 91/6 - 12.25 = 35/12 \approx 2.92$ です。

「出目が期待値 $3.5$ から $2$ 以上離れる確率」（つまり $1$ か $6$ が出る確率）にチェビシェフの不等式を適用すると、

$P(|X - 3.5| \geq 2) \leq \frac{2.92}{2^2} = \frac{2.92}{4} = 0.73$

実際の確率は $P(X = 1) + P(X = 6) = 2/6 \approx 0.33$ なので、チェビシェフの不等式は上限を与えていることがわかります。

チェビシェフの不等式の証明

$X$ を期待値 $\mu$、分散 $\sigma^2$ の確率変数とします。

分散の定義から、

$\sigma^2 = E[(X - \mu)^2]$

$(X - \mu)^2 \geq 0$ なので、$|X - \mu| \geq \varepsilon$ となる範囲だけで期待値を計算しても、全体の期待値より小さくなるか等しくなります。

$\sigma^2 = E[(X - \mu)^2] \geq E\bigl[(X - \mu)^2 \;\big|\; |X - \mu| \geq \varepsilon \;\text{の範囲}\bigr] \cdot P(|X - \mu| \geq \varepsilon)$

$|X - \mu| \geq \varepsilon$ の範囲では $(X - \mu)^2 \geq \varepsilon^2$ が成り立つので、

$\sigma^2 \geq \varepsilon^2 \cdot P(|X - \mu| \geq \varepsilon)$

両辺を $\varepsilon^2$ で割って、

$P(|X - \mu| \geq \varepsilon) \leq \frac{\sigma^2}{\varepsilon^2}$

大数の法則（弱法則）

チェビシェフの不等式を標本平均に適用すると、大数の法則が得られます。

$X_1, X_2, \ldots, X_n$ が独立で同じ分布に従い（i.i.d.）、期待値 $\mu$、分散 $\sigma^2$（有限）を持つとします。標本平均を

$\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i$

とおくと、「標本分布という考え方」の単元で学んだように、

• $E[\bar{X}_n] = \mu$
• $V[\bar{X}_n] = \dfrac{\sigma^2}{n}$

です。分母の $n$ が大きくなるほど分散が小さくなります。つまり、標本平均のばらつきはサンプルサイズに反比例して減少するということです。

ここで $\bar{X}_n$ にチェビシェフの不等式を適用します。

$P(|\bar{X}_n - \mu| \geq \varepsilon) \leq \frac{\sigma^2 / n}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2}$

右辺は $n \to \infty$ のとき $0$ に近づきます。

これを確率収束（convergence in probability）といい、「$\bar{X}_n$ は $\mu$ に確率収束する」と表現します。記号では次のように書きます。

$\bar{X}_n \xrightarrow{P} \mu$

具体例：サイコロで確認

サイコロの出目は $\mu = 3.5$、$\sigma^2 = 35/12$ です。標本平均が $3.5$ から $0.1$ 以上離れる確率の上限を計算してみましょう。

$P(|\bar{X}_n - 3.5| \geq 0.1) \leq \frac{35/12}{n \cdot 0.01} = \frac{291.7}{n}$

| $n$ | 上限（チェビシェフ） | 意味 | |---|---|---| | 100 | $2.92$（確率1を超える） | $n$ が小さい段階では上限が緩く、有用な情報が得られない | | 1,000 | $0.29$ | 平均が $3.4$〜$3.6$ を外れる確率は高々 $29\%$ | | 10,000 | $0.029$ | 高々 $2.9\%$ | | 100,000 | $0.0029$ | 高々 $0.29\%$ |

$n$ が小さい段階ではチェビシェフの上限が緩くなることがあります。これはチェビシェフの不等式が分布の形を問わない汎用的な道具ゆえの限界です。$n$ が十分大きくなったところで効力を発揮し、上限が $0$ に収束していく様子が確認できます。

大数の法則が保証すること・しないこと

大数の法則は強力な定理ですが、正しく理解することが重要です。

よくある誤解

まとめ

大数の法則は、サンプルサイズを大きくすれば標本平均は母平均に確率収束することを保証する定理です。

$P(|\bar{X}_n - \mu| \geq \varepsilon) \leq \frac{\sigma^2}{n\varepsilon^2} \to 0 \quad (n \to \infty)$

チェビシェフの不等式という「分布の形を問わない普遍的な道具」を使うことで、この結論が得られます。

大数の法則は「平均が安定する」ことを保証しますが、標本平均の分布がどんな形になるかまでは教えてくれません。それを示すのが「中心極限定理」で学ぶ内容です。