エステナントの誤謬
| 分野 | 行政学・応用統計学 |
|---|---|
| 主張される誤りの性質 | 比較対象の固定による見かけの妥当性 |
| 典型例 | 政策効果の“事後一致”の取り違え |
| 発祥とされる時期 | 1970年代後半（研究会の記録では1981年とする説もある） |
| 主な批判 | 因果推論の前提が曖昧になる点 |
| 関連用語 | 対照群の恣意性、恣意的バイアス固定 |
（えすてなんとのごびゅう）は、統計調査や政策評価において、比較対象の“選び方”を無自覚に固定してしまう誤りであると説明されることがある。主に行政学と応用経済学の交差領域で言及され、学術会議の“前夜”に流行した逸話でも知られている[1]。
概要[編集]
は、ある現象の原因や効果を論じる際に、比較対象（対照群・前提条件・ベースライン）の“選択の履歴”を意識せず、結果だけを都合よくつなげてしまう誤りであるとされる。
この誤りは、統計学的には単なる欠陥設計に見える一方で、実務の現場では「比較の枠組みが既に整っている」と思い込むことで再生産される点が特徴とされている。なお、この語は法制度の評価会議で流行した造語であり、英語圏ではの表記が好んで用いられる[1]。
一部の研究者は、名称の由来を、ある地方自治体の検証会議に出席した若手官僚が言い放った“選んだ時点で勝っている”という皮肉に結びつけて説明している。ただし、このエピソードの一次資料は見つかっていないとされる[2]。
仕組み（何が“誤謬”なのか）[編集]
誤謬の核心は、「比較対象を変えれば結論が変わる」可能性を、変えないまま議論を完結させてしまうところにある。たとえば、の導入後にが上がったとしても、対照群として“どの自治体を選んだか”が恣意的なら、見かけの効果は簡単に出来上がるとされる。
具体的には、ベースラインの設定が「一次資料に基づく標準値」ではなく、「報告書の体裁に都合のよい標準値」に依存してしまう過程が問題とされる。行政評価の現場では、集計の粒度（年次・四半期・月次）や欠損の扱いが固定されているため、分析者が別の整合性チェックを試みても“比較の枠が崩れる”という理由で却下されがちである。
このため、は「統計の誤り」というより「意思決定の誤り」として語られることが多い。さらに、誤謬が成立する条件を数理的に記述しようとする試みもあり、対照群の選択確率をpと置いたモデルでは、pが0.37を超えると“納得係数”が跳ね上がる、という不自然に具体的な結果が報告されたこともある[3]。
歴史[編集]
語の誕生：会議室の“対照群メモ”[編集]
という呼称が広まった発端は、1980年代初頭に内の研修施設で開催された「政策評価標準化ワークショップ」に求められると説明される。実際の運営は所管の研究連絡会が担当し、議題は「効果測定の比較可能性」であったとされる[4]。
当時、参加者には“対照群メモ”と呼ばれるA4一枚の様式が配布された。記載項目は、(1)対照群の選定根拠、(2)欠損補完の手順、(3)集計粒度の宣言、の3点に絞られていた。ただしメモには裏面があり、そこには「選定後の差し替えは原則禁止」とだけ書かれていたとされる。そこで若手の分析官が「差し替え禁止って、比較を最初に固定して結論を作るってことですか」と漏らしたところ、別の参加者が笑いながら「それじゃ、勝ち負けじゃなくて誤謬だ」と返した、という逸話が残っている[5]。
この逸話に登場する“エステナント”が誰であったかは定かでない。資料上では「E. Estenant, 代理出席」とされるが、同名の人物は他会議の名簿に存在しないと報告されている。とはいえ、後年になって、当該メモの作成を担当したとされるの実務課長が、名前だけを借りた“あだ名”だったと供述したとする証言が紹介されている[6]。
研究の拡散：地方自治体の“合意形成ダッシュボード”[編集]
誤謬の考え方は、理論研究よりも実装の現場で増殖したとされる。1979年に導入されたとされるの行政評価ダッシュボードでは、比較対象が年度当初の時点で自動選定される仕様になっていた。仕様書には、選定対象の更新間隔が「最長12か月、ただし四半期データの欠損が発生した場合は自動凍結」と明記されている。
ここで“凍結”が起きると、分析者は後から整合的な対照群へ修正することができなくなる。結果として、別の要因（景気、人口移動、制度変更）が混入しても、枠組みだけが揃っているように見え、結論が強く固定されると指摘された。この指摘が、のちにとして再整理されたと説明される[7]。
さらに、1995年にの事業評価で“納得係数”を用いた説明資料が導入されたとされる。そこでは、納得係数が「分析者が説明を開始してから説明を止めるまでの平均時間（秒）」で定義され、平均時間が42秒を超えると“比較の枠が成功している”と見なされた。数理的妥当性ではなく、説明の流れの良さが評価されていた点が後に笑い話になり、研究者の間では「誤謬が可視化された瞬間だった」と語られることがある[8]。
反省と再定義：学術誌の“出典レース”[編集]
2000年代に入ると、は「枠組み固定の問題」として一度は形式化され、学術誌でも言及されるようになった。ただし当時の掲載スタイルは研究者ごとに差があり、「何を比較と呼ぶか」の定義が揺れた。
一部の論文では「対照群の選定履歴を説明できない場合に誤謬が成立する」とされたのに対し、別の論文では「対照群の選定履歴を説明しても、重要な差し替えを禁止する運用が続く限り誤謬が成立する」とされた。つまり、誤謬は数学の話ではなく、運用の話に寄っていったとも解釈できる。
その過程で、引用の競争が起きたとされる。具体的には、同一会議録を複数の研究者が“別出典”として引用し、それが後に問題化したという。編集委員会の議事録では「出典レースの速度が、実験の反復速度を上回った」との記述があり、編集者が泣きながら差し替えを依頼した、という余談が付されている[9]。
批判と論争[編集]
批判としては、があまりに広く使われることで、ほぼ全ての比較研究に当てはめられてしまう点が指摘されている。特に政策現場では、分析担当者が“枠組みの選択を外部委託している”ことが多く、誤謬の責任主体が曖昧になりやすいとされる。
また、反証可能性の問題も論じられた。誤謬の定義を「比較対象の歴史を無視した場合」とすると、歴史をどの粒度で扱うかが曖昧であり、実務者は“歴史は説明した”と主張しがちである。そこで一部では、粒度を年次・四半期・月次のいずれかに固定して検証する提案が出されたが、検証に必要なログが残っていないことが多く、結局「要出典」扱いが増えたと報告されている[10]。
なお、最も有名な論争は「エステナントが実在したかどうか」である。名簿に存在しない人物が誤謬名として定着していることは不自然であり、存在しない者の名前を使って議論を“権威づけ”しているのではないか、という疑念も呈された[6]。ただし当の編集者は「人物の不在は、概念の在り方の問題ではない」と反論したとされる。
脚注[編集]
関連項目[編集]
脚注
- ^ 渡辺精一郎『政策評価の比較可能性：対照群設計と現場運用』東京大学出版会, 1999.
- ^ Margaret A. Thornton『Causal Inference Under Governance Constraints』Oxford University Press, 2006.
- ^ 佐伯清志『行政データの粒度は嘘をつく：四半期凍結と推定の連鎖』日本評論社, 2003.
- ^ Hiroshi Kameda「Baseline Locking and Apparent Effects in Quasi-Experiments」『Journal of Public Metrics』Vol.12 No.3, pp.41-58, 2011.
- ^ クレア・モリソン『Policy Dashboards and Hidden Assumptions』Cambridge Policy Studies, 2014.
- ^ 鈴木みなと『出典の競技化：編集と引用の社会学』勁草書房, 2008.
- ^ E. Estenant「On Choosing Comparison Sets Without Looking Back」『Proceedings of the Standard Evaluation Workshop』第5巻第2号, pp.7-19, 1981.
- ^ 田中章夫『説明が早いほど正しいのか：納得係数の再検討』東洋経済新報社, 2009.
- ^ M. Alvarez「When Logs Are Missing, Consensus Is Built」『International Review of Administrative Analytics』Vol.9 No.1, pp.110-126, 2018.
- ^ （書名が一部誤記とされる）『政策評価標準化ワークショップ記録（第零版）』政策評価庁編集局, 1980.
- ^ 【要出典扱い】中村誠也『会議室の裏面メモ：対照群禁止運用の系譜』学術図書出版社, 2016.
外部リンク
- 政策評価アーカイブセンター
- 行政統計ログ研究会
- ダッシュボード運用ガイド倉庫
- 公共メトリクス編集室
- 因果推論ワークショップ資料室