社会調査NOW HEROイメージ

社会調査の専門情報・関連情報から基礎知識まで


「ウェブ調査」の利用はどうあるべきか — その1 —

統計数理研究所 名誉教授 大隅昇

2020年2月5日

「ウェブ調査」とは?

インターネットを介した調査データ収集方式を「インターネット調査またはオンライン調査」という。この他、電子メール調査、ウェブ調査、モバイル調査などの呼称を使い分けることがあるがここでは「ウェブ調査」と記すことにする。
ウェブ調査は無数にあるコンピュータ支援の調査方式の1つであり、オンラインを介して行う間接的な自記式調査方式である。原則として回答者はPCやモバイル端末(スマートフォン,タブレット端末)が利用できるインターネット利用者に限られる。インターネット普及率がいかに高くなろうともインターネット母集団が明らかでないボランティア・パネルを用いる限りは、調査対象者の勧誘・募集方法が調査結果に影響することは避けられない。
「ウェブ調査とはなにか?」については、折りにふれて発言してきた([1][2][3])。ここで述べる多くはこれら過去の実証研究にそった内容である。換言すると、ここ十数年のウェブ調査の国内動向は、技術要素面の進歩があるものの「用い方」や「ウェブ調査の特性に関する研究」についてはさほど大きな改善があったとはいえない。

ウェブ調査の利点と欠点

オンライン調査の登場当初から、その特性や利用方法について“良い点と悪い点”が議論の的となってきた。現在もこれに終止符が打たれたわけではない。たとえばよくみるウェブ調査の利点と欠点を列記してみよう。
利点としては、迅速性(調査時間短縮)、廉価(調査経費節減)、大量の回答の収集、パネル登録者数が大きく母集団を代表する、質問紙に比べ複雑な調査票設計が可能(グリッド形式、動画・図・音声の利用、パイピングや分岐処理)、自動制御機能を用いた論理矛盾のない回答取得、プログレス・インジケータで回答進捗度を示す、調査者が意図しない不適切な回答にプロービング(念押し)を行なう、ヒントを与え正しい回答を得る、などである。また自由回答質問への書き込み量や内容の豊かさ、「なま」の声や思いもよらない気づきがある、テキスト・マイニングとの併用が効果的、といった宣伝文句もよくある。
オンライン調査が登場した当初からしばらくは、こうした言説が正しいとして受け入れられたようだが、いまはどうであろうか。むしろ「ウェブ調査は信頼できるのか?」と内心疑問を抱く人達が多いのではなかろうか。
欠点としては、たとえば、プロの回答者やスピーダーの存在、調査機器類の発達と多様化で生じるあらたなデジタル・ディバイド、代理回答のおそれ、パネル登録者の人口統計学的要因の偏り、さまざまな種類の回答中断、労働最小化行動(satisficing)やストレートライニングの存在(手抜き回答の典型例)などが指摘されてきた。
注目すべきことは、調査特性を測る指標の1つである回答率や参加率に触れた報告はほぼみられないことである。まことに不思議な現象でこれに触れることはタブーであるようにさえみえる。周知のように、最近はメディア報道の世論調査の回答率が60%に満たず、ときには50%を下回る場合もある。しかしウェブ調査に関しては、メディア報道に限らず多くの調査報告で、回答率や参加率が明記された例をみることはほとんどない。
しかも利点の多くは、必ずしも調査の本質を突いた説明になっていない。ほとんどが“科学的な論拠があいまいな言説”や“具体的な例証が少なく”いまだ解明されていないことが多い。もちろん利点・欠点は二分法的に厳密に分けられるものでもない。たとえば、分岐処理設定が容易だからといって、過剰な回答条件の組み込みやプロービングの多用は時には回答誘導となりかねない。手の込んだ精緻な調査票の設計が可能だが、あらたな調査誤差の誘因となりうる。要するにウェブ調査の特性をよく理解し長所・短所を峻別して用いることが肝要なのである。
ウェブ調査のコモディティ化が進み、市場調査はもとよりさまざまな分野で利用されている。しかし最近は、たとえばパネル登録者と回答者属性の偏りや参加率の低下などから“調査の質”が懸念されている。そこで、回答負荷の軽減,回答時間短縮を図るために質問量や調査頻度を減らす、調査票の簡略化(例:グリッド,パイピング,分岐処理など複雑な設計や自由回答質問は避ける)、プライバシーへの配慮などが勧められている([10])。
従来の調査方式でもみられた事象、たとえば計画標本と回収標本のずれ、無回答・調査不能や回答拒否、調査の主旨に合わない回答、不適切な調査票や質問文による回答の偏りは、ウェブ調査を用いたからといって改善されるわけではない。むしろ、技術要素の発達や調査機器の多様化、つまりPCに加えモバイル端末利用への移行が急速に進み、調査設計時にPCとは異なる対応や制約が多くなった(非標本誤差とくに測定誤差や無回答誤差の測定が面倒になった)。確かなウェブ調査を行おうとすると、迅速・廉価・簡便に行うことなどはかなり難しいのである。

確率的パネルと非確率的パネル

国内の既存のウェブ・パネルは、ほとんどが「ボランティア・パネル」つまり非確率的パネル(公募型パネル)である。これは母集団が明らかではない自己参加型の登録者からなるパネルである。これに対して確率的パネル(非公募型パネル)がある。これは明確な母集団や標本抽出枠を前提に得た確率標本に基づく(あるいはそれにちかい)ウェブ・パネルである。
多くのクライアントはこの違いも知らずにウェブ調査を使っている可能性もなくはない。最近、学術研究とくに人文・社会科学系でのウェブ調査の利用が拡がっているようだが、はたして適切な使い方をしているかはなはだ不透明である。ある学会の年度大会での発表の半数以上がウェブ調査を利用しており、しかも多くはボランティア・パネルであったという例がある。研究報告には、調査設計情報やウェブ・パネル特性(属性構成や募集・維持管理方法など)の記述はほぼない。こうした調査結果に基づく研究報告は信頼できるのだろうか。発表者達は廉価・簡便・迅速を理由にウェブ調査を用いたのだろうが、学術研究(とくに“代表性”を重視する課題)における利用は慎重に対応すべきである。
(つづく)

[参考文献]はここから参照