社会調査コンペティション Survey Design Game

この世界で起きていること

• 関係の強さが層によって違う（効果修飾）　通勤時間が幸福度を削る力は、若い人・女性・非正規ほど強く、高齢・自営ほど弱い。だから、どの層が多く集まったかだけで相関の値は動く。②の「年齢層ごとに見た相関」でその差が見える。
• 非回答は無作為ではない　どの調査方法でも、高齢の人ほど、通勤時間が短い人ほど、幸福度が高い人ほど答えやすい。調べたい 2 つの変数そのものが回答するかどうかに効いているのが厄介なところ。
• 範囲制限による希薄化　大都市の人は通勤時間が長い。大都市の回答が減ると通勤時間のばらつきが縮み、相関は 0 の方向へ縮む。
• 第一段の単位の選び方　都道府県は東京と鳥取で人口が 27 倍も違う。等確率で県を選ぶと、人口の少ない県の住民が極端に選ばれやすくなり、標本は地方に寄る。確率比例（PPS）にするか、大きさの揃った調査地点を単位にすれば直る。
• 測定誤差も相関を薄める（希薄化）　幸福度の測り方が粗いほど、相関の絶対値は小さく出る。各調査方法には尺度の信頼性 α が公表されていて、観察された相関はおよそ √α 倍に薄まっている。だから r ÷ √α で戻せる。個別面接は α=0.97 だがネット調査は α=0.50 で、√0.5 ＝ 0.71 倍、つまり 3 割も薄まっている。これは回収率を上げても n を増やしても直らない。
• 大きい n は偏りを直さない　ネット調査で 5,000 人集めても、偏った 5,000 人なら偏ったまま。n が効くのは標本誤差だけ。

攻略のヒント

1. 回収率と構成を見る　回収率が 3 割を切っていたら数字はかなり怪しい。②のグラフで大都市と 60 代のずれを確認する。
2. 層化抽出は非回答を直さない　層化は「誰に依頼を出すか」を揃えるだけで、そのあと誰が答えるかは調査方法で決まる。実際に構成を母集団に合わせたければ、集計時の事後層化ウェイトが効く。しかも無料。
3. ウェイトで直せる偏りと直せない偏り　年齢・地域・性別のずれはウェイトでかなり戻せる。しかし「幸福度が低い人ほど答えない」ような、属性では説明できない偏りは残る。郵送・電話でウェイトを使っても誤差がゼロにならないのはそのため。
4. 出身地方は罠　層化しても事後層化しても、ほとんど何も変わらない。層化変数は調べたい変数と関係のあるものでなければ意味がない。
5. 2 種類の希薄化を補正して出す　(1) 測定誤差ぶんは r ÷ √α で戻す。(2) 範囲制限ぶんは、大都市や年齢の構成のずれから通勤時間のばらつきがどれだけ縮んだかを見積もって戻す。この 2 つを踏まえれば、安い調査方法でも S ランクが狙える。逆に補正を知らないと、同じ調査で B 止まりになる。
6. 費用も点数　精度が同じなら安いほうが上。500 万円かけて誤差 0.03 より、150 万円で誤差 0.05 のほうが総合点は高くなることもある。
7. いろいろ試す　1 回の挑戦で実施できる調査は 1 つだけ。設計を変えて何度も挑戦し、⑤の表で見比べる。母集団は固定なので、設計の違いがそのまま結果の違いとして表れる。