MCSR Ranked
| 分野 | 評価手法・意思決定・標準化 |
|---|---|
| 略称の展開（解釈） | Model Credibility Scoring and Review（と説明される） |
| 主な用途 | 審査会の優先度付け、予算配分の議事資料 |
| 発祥の地域（通説） | （ボストン周辺） |
| 採用組織 | 諮問会議に近い民間作業部会（とされる） |
| 評価の単位 | 提案（proposal）とモデル（model）の2階層 |
| 特徴 | ランキングの透明性を「監査可能」にする設計 |
| 議論点 | 算定式の“細かすぎる”運用で形骸化しやすい点 |
MCSR Ranked（えむしーえすあーる らんくど）は、各地の産業・研究分野における「信頼できる提案」を順位化するための評価枠組みである。1990年代後半に民間の標準化団体を起点として普及し、主に会議運営や投資審査で用いられるとされる[1]。
概要[編集]
は、提案書や研究計画に付随する複数の根拠（データ、再現性、説明可能性、リスク管理など）を、あらかじめ定められた観点で点数化し、その合計をもとに順位を付ける枠組みである。評価結果は「順位」として配布されるほか、議事録の付録として“根拠の所在”が列挙される形式が採用されてきたとされる[1]。
成立経緯は、1997年頃にで開催された小規模な投資勉強会が発端とする説が有力である。その会は、参加者が毎回「この提案は本当に正しいのか」を口頭で議論して疲弊することに着目し、議論を“スコアの整列”に置き換えることで時間を節約しようとした、と説明される[2]。一方で、実務家の間では「順位が先に出ると人が安心してしまう」ため、後から説明を足す余地が減るという指摘もあった[3]。
なお、MCSR Rankedではランキングの計算に加点・減点があり、特に「監査可能性（Auditability）」の項目が細分化されている点が特徴である。審査員は、同じ点数でも“どの行が誰の責任か”を記録しなければならず、結果として資料作成の体制が変わったとされる[4]。この性格のため、単なる点数表ではなく、組織運用そのものを変える道具として社会に波及したと位置付けられている[5]。
概要（選定基準と評価構造）[編集]
評価対象は基本的に、(1)モデル（モデル化された仮説やシミュレーション）、(2)提案（提案の目的と実行計画）の2種類とされる。実務では、提案が上流にありモデルが下流に置かれるため、モデル側で減点が出た場合、提案側の“良い文章”が相殺される仕組みになっていると説明される[6]。
観点の選定基準は「議論になりがちな不確実性」を中心に組み上げられたとされる。具体的には、(a)入力データの由来、(b)検証手順の追跡性、(c)予測の時間幅、(d)例外条件の扱い、(e)意思決定者が理解できる説明粒度、といった項目が採用されたとされる[7]。このうち特に(b)が評価に効き、追跡性が満たされない場合は、最終順位が一段階以上下がる仕様だったとする証言もある[8]。
また、順位の表示方法にも工夫があるとされる。MCSR Rankedでは「同順位を避ける」設計が採られ、微差を埋めるために内部用の補助係数が導入された。補助係数は原則として公開されないが、監査のためのログだけは保管されるとされる[9]。そのため、外部から見ると非常に“精密”に見える一方、実際には運用者の裁量が入りうると批判されやすい。
歴史[編集]
起源：『会議のための整列』作戦[編集]
通説では、MCSR Rankedの原型は1997年、の小さな会合で発生したとされる。参加者の一人であるは、投資案件の審査会で議論が“同じ論点の往復”に陥ることを記録し、要点を分類するためのノートを作ったとされる[2]。のちにそのノートが、点数の箱に置き換えられたのが始まりだと説明されている。
この段階ではランキングというより「論点を並べる順序」を作る目的だったとされるが、なぜか途中で“順位”が付く形になったという逸話が残る。ある回で、スコア係が誤って並べ替えを行い、参加者が「結果が出た方が議論が減った」と感じたことが転機になった、とされる[10]。ここから、誤りが仕様化される典型として語られることが多い。
さらに、1998年にはの外部監査に似た体裁が導入された。提案書の末尾に「監査ログの参照先」を付けるという発想が採用され、これが「Auditability＝監査可能性」という項目の発達に繋がったとする説がある[11]。このときのフォーマットが、後のMCSR Rankedで“細かすぎる”と笑われるほどの体裁を生む土台になったとされる。
発展：作業部会と『13桁の安心』[編集]
2001年頃から、MCSR Rankedは複数の企業・研究機関が参加する作業部会で整備されるようになったとされる。作業部会では、評価をブレさせないために「係数の丸め」ルールが議論され、最終的に小数点以下13桁まで記録する“運用上の安心”が選ばれたとされる[4]。当時の資料では「人が安心するのは真の精度ではなく、表示桁数である」と明記されていたともされる[12]。
また、側からは「透明性の要求が強い」ため、監査ログの形式に共通化が求められた。これにより、提案側の章立て（背景・目的・手順・リスク・検証）が、MCSR Ranked向けに再編成される現象が起きたとされる[7]。結果として、研究計画書が“評価のための文章”へ寄っていったという指摘もある。
一方で、運用者は「ランキングはあくまで議事の材料」としつつ、実際には資金配分の事実上の入口になった。2010年前後には、会議で上位に並んだ提案が、次の選考会で優遇される慣行が定着したとされる[3]。このとき、審査員が“順位の順位”を気にし始め、評価の目的がいつの間にか“説明の最適化”から“数字の最適化”へ移った、と批判されている。
社会への波及：監査ログ経済と会議の省エネ[編集]
MCSR Rankedが広まると、組織は評価のために資料作成部門を新設するようになったとされる。たとえばでは、企業の総務・法務・研究支援が統合される形で「監査ログ管理室」が置かれたという例が報告されている[13]。この室は、スコアそのものよりも、参照先の整合性を保証する役割を担ったとされる。
社会的影響としては、会議運営が“短縮”された反面、異議申し立てが難しくなるという問題が生じた。上位の提案は、異論が出ても「ログの参照先が揃っている」ため、反対派が論点を組み替えなければならない、と語られる[8]。つまり、議論が減るのではなく、“争点の場所”が変わったのである。
さらに、MCSR Rankedは“監査可能性”を梃子に、教育にも波及したとされる。大学では、研究室の新人研修で、提案書の冒頭に監査ログ参照欄を設ける課題が出されたという。そこで作られたテンプレートが、のちに学会の書式改定として採用された、とする証言がある[1]。
批判と論争[編集]
批判としてまず挙げられるのは、MCSR Rankedの数値が“説明責任の代行”になりやすい点である。順位が高いほど正しいと誤解され、プロジェクト側が「スコアは高いので合理的」と主張して、肝心の仮説の妥当性まで検討されないことがあると指摘される[3]。
また、運用の実態に関して「補助係数がブラックボックスである」点が繰り返し問題視された。監査ログは残すが、係数そのものは公開されないため、外部研究者からは“見えない丸め”として批判されることがあった[9]。この批判は、特に周辺の標準化会議で取り上げられ、「透明性の理念と運用の安全性が衝突している」との論点が生まれたとされる[14]。
さらに、やや奇妙な論争として「桁数信仰」が挙げられる。13桁まで記録する運用は精密に見える一方、審査員は“桁が多いほど説得力がある”ように振る舞ったという観察が報告された[12]。中には、桁数を増やすだけで順位が少し上がるように設計したテンプレート改造が流行し、監査ログ係が疲弊したという逸話まで存在する[4]。この逸話は、数字が人を動かすのではなく、人が数字に動かされる構造を象徴すると評されている。
脚注[編集]
関連項目[編集]
脚注
- ^ クラウディア・ハンター『会議を並べ替える技術：提案評価の実務』ボストン計測出版, 2000.
- ^ Ethan R. Miller「Model Credibility Scoring and Review: An Auditable Ranking Framework」『Journal of Decision Systems』Vol. 12, No. 3, pp. 41-58, 2002.
- ^ 田中啓介『監査可能性と数値の社会学』東洋法政学叢書, 2008.
- ^ Sofia Alvarez「13-Digit Comfort: Why Precision Displays Influence Reviewers」『International Review of Administrative Methods』Vol. 6, Issue 1, pp. 9-27, 2009.
- ^ 【要出典】MCSR Ranked運用研究会「MCSR Ranked運用指針（暫定版）」『作業部会資料』第2巻第1号, pp. 1-32, 2011.
- ^ Martin J. Feldman「Proposal-to-Model Mapping in Committee Rankings」『Operations of Governance』Vol. 18, No. 4, pp. 120-146, 2013.
- ^ 梁瀬美咲『研究計画書の章立て再編と評価の最適化』紀伊研究社, 2016.
- ^ Nadia Okafor「Risk-Exception Accounting in Credibility Scores」『Risk & Reasoning』Vol. 3, No. 2, pp. 77-95, 2017.
- ^ R. K. Singh『透明性はどこへ行くのか：評価システムの実装史』Northgate Academic Press, 2019.
- ^ “MCSR Ranked Handbook: The Real Story of Ranking”Northgate Academic Press, 2021.
外部リンク
- MCSR監査ログ・アーカイブ
- ボストン作業部会ウォッチ
- ランキング透明性研究会
- 提案審査テンプレート倉庫
- 13桁の会議省エネメモ