見えざる間違いに眼を向けよう－隠れたエラーをあぶりだせ
立教大学名誉教授 池田 央
調査には誤りがつきものである。それは調査の設計から実施、集計、分析に至るまで、種類も多く数え上げればきりがない。調査の誤りに関しては多くの警告本も出ているが、ここではチェックなしでは、気づかないうちに必ず起こるであろう種類の隠れたエラーについて考えてみたい。取り越し苦労と思われるか知れないが、私は気になって仕方がないのである。
むかし人手を使って行なっていた調査集計作業は、いまは計算機のおかげで、ずいぶん楽になった。とはいえ、人手が全く必要なくなったわけではない。人手が介在するところ常にエラーありと考えた方がよい。
かつて質問調査が終わると、仕事はその調査票を整理し、回答をワークシートや必要なら数字にコード化してカードに転記したりすることから始まった。作表のため手作業でカードを仕分け分類して数を数えもした。やがてパンチカードに打ち込んだり（今はキーボードか）、コンピュータにかけて計算するのが研究者の仕事となった。何か月もの時間を単調な繰り返し作業に費やしていた。お金があれば外注ということもあり得たろうが、貧乏学生はそうした根気のいる仕事をすべて自分で行なわなければならなかった。一度そうした入力計算作業を経験すると、外注するにしても、人任せではどれだけ正確に作業が行なわれているか、気になって仕方がない。期限に追われるスピード化時代はそうしたエラー発生に拍車をかけるが、そこではもう相手の出す結果を信用するより仕方がない。
社会保険庁で、年金記録が記されていなかったり、消失していたりということが社会問題になっている。しかし、当時担当者たちは何も悪意を持って手抜きをしたわけではなかろう。単にデータを写し取り、記録するだけでも数が多ければそれだけの誤りを犯す可能性があることを示すよい例だと思う。
調査で集計結果をまとめ、度数分布表を作るとする。たとえば、結婚した年齢を多くの男女に聞いて集計し、度数分布表にまとめれば、それなりの結果が得られる。ところが結婚した人の年齢が10歳以下の人がいたりすると、これは間違いだとすぐ分かり、原票にあたって確かめることができる。しかし、それだけでは分からないこともある。長子の年齢と母親の年齢をクロス集計してみたところ、母親の年齢とその子どもの年齢差が10歳も違わないケースが発見されて大慌てしたという話も聞いた。単純集計をしただけでは見つからなかったようなケースである。たとえそうしたエラーが発見されても、集計が終わった段階では間違った場所を見つけ修正するのが大変で、時間とコストがかかる。エラーは初期のうちに発見し、こまめにつぶすのがコツである。そのための手間を惜しんではならない。ちょっとした工夫も大切である。たとえば個票に回答した数値の合計を記入しておく。無回答の個数もメモしておくとよい。ある程度票がまとまった単位ごとに、各質問の集計を行いその合計がメモした合計値の合計や回答総数と一致するかチェックする。こうした地道な積み重ねが、調査には不可欠である。データを見て大所高所から大きな議論をするのはそうした苦労のあとである。それに耐えられる人でなければ調査マンはつとまらない。
『社会と調査』１号より転載
