その平均を使う前に、確かめておきたい3つのこと

件数は足りている。では、その平均は使えるでしょうか

実務では、過去のデータから平均を求めて、それを次の判断に使うことが多いはずです。貸倒率、引出率、1件あたりの保険金、問い合わせ1件の処理時間。どれも、過去の件数が多いほど平均は信用できる、という感覚で扱われるのが一般的です。

「件数は十分に多いので、この平均は信用してよい」と考えてよいでしょうか。

このシリーズでは、件数を増やしても平均が当てにならなくなる場面を4つ見てきました。この回では、それらを「平均を使う前に確かめること」として並べ直します。前の回を読んでいなくても、この回だけで使えるように書きます。

平均が真の値に近づくために必要な条件は、3つにまとめられます。1つ目は、平均そのものが途中で変わっていないこと。2つ目は、1件ごとの偏りが件数を増やすにつれて薄まること。3つ目は、どれか1件だけで平均が動いてしまわないこと。以下では、この3つについて、成り立っているかをどう判断するか、成り立っていないときにどう対応するかを順に見ていきます。

1つ目：平均が途中で変わっていないか

引出率や貸倒率のように、時間とともに記録されるデータでは、その値を決めている仕組みが途中で変わることがあります。金利が変わる、審査の基準が変わる、競合が現れる。仕組みが変わると、過去の平均は「古い仕組みの平均」であって、これからの値の平均ではなくなります。

これが成り立っているかを判断する手がかりは、長期の平均と短期の平均を並べて見ることです。直近1年の平均と直近1か月の平均が大きく食い違っていれば、仕組みが変わった可能性があります。ただし、第4回で見たように、食い違った直後のデータからは、それが一時的なブレなのか、仕組みが変わったのかは決まりません。どちらの世界にいるかは、後になるまで分からないのが一般的です。

では、どう対応すればよいでしょうか。データを見てから考えるのではなく、食い違ったときの扱いの規則を先に決めておくことが対応になります。たとえば「短期の平均が長期の平均を一定以上上回る状態が何日続いたら、短期の値を採る」のような規則です。この規則は統計からは出てきません。どちらを誤ったときの損失が大きいかという判断で決めるものです。その代わり、規則を決めて書き残しておけば、後から「なぜその値を使ったのか」を説明できます。一方で、長期の平均をそのまま使い続けるなら、「仕組みは変わっていない」と仮定したことを、使う側に伝えておく必要があります。

2つ目：何が増えているのか

1,000件のデータがあるとき、その1,000件はそれぞれ別々に引いたものでしょうか。同じ年、同じ地域、同じ担当者、同じ景気のもとで集まったデータは、互いに同じ要因に動かされています。同じ要因に動かされているまとまりを、このシリーズでは束と呼んできました。第2回と第3回で見たのは、束が少ないと、件数をいくら増やしても平均のブレが薄まらない、ということでした。1年分の貸倒率は、何万件あっても1年分です。

これを判断するには、件数ではなく束の数を数えます。このデータを動かしている共通の要因は何か、その要因が何通り含まれているか、と問い直すことになります。年なら何年分か、地域なら何地域か。束が1つしかなければ、件数がいくら多くても、精度の上では1に近いとみなすのが安全です。なお、どれを束と数えるかはデータの中からは決まりません。その数字がどういう仕組みで動くかについての知識から決まります。

対応は、件数を増やすのではなく束を増やすことです。別の年、別の地域、別の条件のデータを足す。精度を見積もるときも、件数ではなく束の数で見積もります。一方で、束を増やせないこともあります。そのときは、平均を「この年の、この地域での平均」と限定して使い、他の年や地域にそのまま当てはめない、という扱いになります。

3つ目：1件で平均が動かないか

保険金や損失額のように、たまに桁違いの値が出るデータでは、第5回で見たように、件数を増やしても平均が落ち着かないことがあります。何百件かで分かったつもりの平均が、大きな1件で一気に動くからです。このシリーズでは、大きな値の出やすさを裾と呼んできました。

判断の手がかりは、最大の1件が合計に占める割合です。件数を増やしていっても、この割合が下がってこないなら、平均は当てになりません。もう1つの手がかりは、最大の1件を外して平均を取り直してみることです。1件外しただけで平均が大きく動くなら、その平均は1件の大きさに支配されています。また、裾が重いデータでは、実績の平均は真の平均より低めに出ることが多いことも覚えておく価値があります。大きな1件は、まだ起きていないだけで、これから起きるかもしれないからです。

対応は、裾を切ることです。一定の額を超える部分は別扱いにして、残りの部分で平均を取ります。保険であれば支払限度額や免責、再保険がこの役を果たします。切った分は、平均には含めず、別に想定として持っておきます。もう1つは、平均ではなく中央値や分位点で見ることです。「1件あたりの典型的な額」を知りたいだけなら、中央値の方が1件の大きさに動かされません。

3つの関係

ここまでの3つは、別々の話に見えますが、1つ目と2つ目は同じことの2つの顔です。平均を動かしているものが、ある日を境に確定的に変わるなら、それは1つ目の「途中で変わる」になります。同じものが、年ごと、地域ごとに確率的に引き直されるなら、それは2つ目の「束」になります。見分けの問いは、「同じ条件でもう一度やり直したら、同じように変わるか」です。何度やっても同じ日に同じように変わるなら1つ目、やり直すたびに違う値になるなら2つ目です。どちらの見方で扱うかは、何を知りたいかで決まります。

3つ目は、これらとは別の軸です。1件の大きさに上限が見えているあいだは、平均に効いてくる崩れは1つ目と2つ目を通してだけです。3つ目は、その「上限が見えている」という前提そのものが外れる場面です。

件数を増やす前に

大数の法則は、件数を増やせば平均が真の値に近づく、と約束しています。ただし、その約束には条件が付いています。平均が途中で変わらないこと、1件ごとの偏りが薄まること、1件で平均が動かないこと。この3つが成り立っているかは、データの件数を見ても分かりません。データがどういう仕組みで生まれているかを知っていて、はじめて判断できます。

このシリーズの持ち帰りを一行にすると、こうなります。件数を増やす前に、何が増えているのかと、1件がどこまで大きくなりうるかを確かめ、平均が途中で変わったときにどうするかを先に決めておく。

みそ汁の鍋で言えば、かき混ぜる前にすくっていないか、途中で味噌を足されていないか、底に塩の塊が沈んでいないか。この3つを確かめてから、何口飲めば味が分かるかを考える、ということになります。