イノループ・ラボ
| 設立 | （準備期間：2010〜2011年） |
|---|---|
| 所在地 | 神田司町（登記上の主たる事務所） |
| 運営 | 一般社団法人 形式（実務は株式会社形態の外部受託併用） |
| 主要分野 | 反復試験設計、実証監査、データ同型化 |
| 標榜する手法 | 「イノループ」：仮説→実装→測定→再設計の連続ループ |
| 資金 | 寄付金＋受託研究（年度予算は非公開部分あり） |
| 所属ネットワーク | 系の共同ワーキングを称する |
イノループ・ラボ（Inoloop Lab）は、再現可能な試験設計を「ループ」させ続けることで品質を上げると主張する日本の研究・実証組織である。主にとの中間領域で知られており、民間委託や自治体連携の案件を通じて影響を拡大したとされる[1]。
概要[編集]
イノループ・ラボは、実証プロジェクトを「同じ問いを違う順序で何度も試す」ことで、偶然や作為を平均化するという考え方に基づき活動しているとされる[1]。
組織の説明資料では、反復回数を「ループ数」として管理することが強調され、特定の成果指標（たとえば歩行者検知率や薬剤安定性のような工学系の数値）を、ループを経るごとに再現性良く改善することが目標とされた。なお、外部からは「研究というより監査業に近いのでは」との見方もあった[2]。
活動初期は、近郊の実証フィールドでの小規模案件が中心であったが、のちに自治体・企業の両方から「失敗の再現」を委託される形で拡大したとされる。特に、同組織が公開した「監査用ループ設計書」の様式が、行政内部の調達書類に模倣されるなど波及が指摘された[3]。
名称と定義[編集]
名称の由来は、同組織が最初に取り組んだ案件が「輸送系の最適化ループ」ではなく、むしろ「評価系の最適化ループ」だったことにあると説明されている。すなわち、成果物そのものではなく、成果物を評価する順序・条件・計測点をループで鍛えるという方針であったとされる[4]。
「イノループ」という語は、内部資料では *Inno-loop* と表記されることがある。これは（Inno）を生み出す装置を、反復試験の輪（loop）として設計するという、英語圏の研究者が好む説明にならった命名だとされている[5]。
定義上は、ループの1回を「評価サイクル」と呼び、評価サイクルは(1)仮説固定、(2)実装、(3)計測、(4)条件変更、(5)再計算の5工程で構成されるとされる。ここで重要なのは、条件変更の方法がブラックボックス化されないよう、変更率を0.3〜12%の範囲に丸めるルールが採用された点であると説明された[6]。なお、変更率の丸めが再現性を高めた一方で、現場では「丸めが先にあるのでは」と疑問を呈する声も出た[7]。
歴史[編集]
黎明期：神田の「空調ログ」事件[編集]
イノループ・ラボの前身にあたる任意の作業会は、の小規模オフィスで「空調ログの矛盾を消す」目的に集まったとされる[8]。当時、室温の測定値が日によって逆転する現象が問題化し、原因がセンサー故障ではなく「測る順序」であるらしいことが見抜かれたという。
作業会は、同じ空調設定でも、(A)朝に計測する場合と(B)昼に計測する場合で校正係数が変わることをループで検証した。具体的には、計測点を1日あたり5点、同じ建物内で36日間回し、総ループ回数を「216」としたと記録されている[9]。さらに、ループの中で条件変更率を平均3.7%に固定したところ、矛盾が統計的に“消える”ように見えたとして、評判になったとされる。
このとき、参加者の一人が「矛盾が消えるのはセンサーではなく、私たちの“条件の思い込み”が平均化されるからだ」と主張したとされる。後年、この言い回しはイノループ・ラボのスローガンに準じた文言として、スライド資料の冒頭で再利用された[10]。
拡張期：自治体委託と「ループ監査」[編集]
に同組織は、自治体の交通安全施策に関する評価設計を受託し、「ループ監査」という呼称を世に出したとされる[11]。交通安全の効果が見えない問題に対し、施策そのものではなく、効果測定に使う比較群の選び方をループで再設計する方針が採られた。
この委託では、評価対象を交差点100箇所、観測日数を90日、さらに“観測の順番”を4パターンに分ける設計が採用されたという。結果として、ループ数は100×90×4=36,000に相当するが、実際の計算では「枝刈り」処理を行い、最終的に推定コストを28.4%に抑えたと説明された[12]。当時の報告書では、推定誤差の上限が±1.2%以内になるよう設計されたとされるが、外部の一部研究者からは、上限設定が都合よく置かれているという指摘があった[13]。
また、自治体側の調達では、イノループ・ラボの“様式”が採用され、翌年度以降の評価仕様書の文体が似ていく現象が観察されたとされる。編集が入ったような一貫性は、内部で「監査用テンプレート」のバージョン管理が厳格化された結果だと説明された[14]。
成熟期：企業連携とデータ同型化[編集]
頃から同組織は、企業の品質管理部門と連携し、実験データを“同型化”して比較する手法を前面に出したとされる。ここでいう同型化は、単純な正規化ではなく、データの持つ“解釈の流儀”を揃えるという主張であり、AIの学習ではなく、人間の判断を揃えるための工程だと説明された[15]。
例として、ある電子部品メーカーの案件では、故障率を「1.00%」から「0.83%」に下げるとされたが、その達成の鍵が製品改良ではなく、検査担当者のルーティングにあったと報告されたという。検査担当者を週単位でシャッフルし、検査順序をループで再設計した結果、同じロットでも検知漏れが減ったという説明がなされた[16]。
このような“評価の側”の介入が増えたため、同組織は研究機関というより、実証のルールを書く存在として位置づけられることが多くなった。なお、同組織が公開した内部指標「ループ適合度」は、0〜100点で付けられるとされ、ある年には平均点が「73.5」になったとされるが、計算式が資料に載っていないことが後に問題視された[17]。
活動と影響[編集]
イノループ・ラボは、分野横断的な“評価設計”を売りにし、工学系の実験から行政施策の効果検証まで同じ様式で扱うことが特徴とされる[18]。そのため、同組織の関与した案件では、成果物の性能よりも、成果物が“どう測られたか”が重視される傾向が見られると指摘された。
社会的影響としては、自治体の評価仕様が標準化されることにより、外部コンサルタントの参入障壁が下がった一方で、仕様がテンプレート化されすぎる懸念も生じた。実際、周辺で開催された公開セミナーの参加者アンケートでは、「評価設計を短期間で理解できた」との回答が84%だった一方、「却って計測の自由度が失われた」との回答が16%あったとされる[19]。
また、同組織が提唱した“ループ設計書”は、調達の書式として採用されることがあった。これにより、企業は提案時にループ数や変更率の設計根拠を説明することを求められ、提案書の作成コストが増えたという現場の声も残った[20]。
他方で、同組織の活動がもたらした価値としては、失敗の再現性が高まったことが挙げられる。たとえば、ある実証プロジェクトで効果が出ないケースが続いた際、イノループ・ラボが「効果が出ないのではなく、測り方が偏っている」としてループ順序を入れ替えたところ、次回に限って“効果あり”に転じたという逸話が社内回覧で広まったとされる[21]。この点は肯定的に語られることも多いが、同時に「都合の良い結果に見せる」と批判される火種にもなった。
構成と手法[編集]
同組織の運営は、常勤研究員に加え、外部の実証コーディネータが案件ごとに投入される形で行われると説明されている[22]。外部投入は、契約上の理由で“出向”と呼ばれることがあるが、実態はプロジェクト単位の役務提供に近いとされる。
手法面では、ループの設計に「変更率の丸め規則」が組み込まれるとされる。変更率を0.3〜12%で丸めるルールは、Excelの誤差を避けるためだという説明がなされているが、内部では“丸めが心理的安心を生む”という別の理由も語られたとされる[23]。
さらに、ループのログには、計測値そのものだけでなく「計測者の判断時間」「確認ボタンの押下間隔」などの“遅延特徴量”が含まれることがある。遅延特徴量は製品の性能とは直接関係しないものの、解釈の揺れを補正する目的で導入されたとされる[24]。なお、この点については個人情報保護の観点から、匿名化や集計粒度が設計段階で固定される必要があるとされている。
一方で、ループ適合度の指標は、計算式の完全公開が行われないことが多い。これにより、数値だけが独り歩きし、「ループ適合度が高い案件ほど正しい」と信じられてしまう危険がある、と内部監査で自嘲気味に述べられたことがあるとされる[25]。
批判と論争[編集]
イノループ・ラボに対する批判は主に、評価設計が“測定の自由”を奪う可能性に向けられている。ループ数を増やすことが再現性の向上につながるという主張は一見もっともであるが、ループ順序や条件変更の作法がテンプレート化されると、別の種類の恣意性が生まれるのではないかという疑念が示された[26]。
また、ある学会のラウンドテーブルでは、同組織の報告書における統計の表現が過度に整っている点が議論になったとされる。たとえば、ある案件では「改善幅がすべて第三小数位まで一致した」と報告されているが、統計の前提が明示されていないと指摘されている[27]。さらに、要約表現の中で「誤差±1.2%」のような丸い数字が反復して現れることが、偶然を装った“設計の結果”ではないかと疑われた[28]。
個別には、の共同名義で発表されたとされる論文の一部が、実際には共同研究ではなく講演要約に近い形だったのではないか、という指摘もあったとされる[29]。この件は、編集者による修正で曖昧化された可能性があると報じられたが、公式な訂正は限定的だったとされる。
ただし、支持側は、ループは恣意性を減らす仕組みであり、条件変更のログが残ることで説明責任が果たされると反論している。さらに「結果が良く見えるのではなく、良く見えない条件を先に潰しているだけだ」との説明もなされた[30]。この対立は、評価設計の価値観そのものに関する論争として残っている。
脚注[編集]
関連項目[編集]
脚注
- ^ 佐藤綾子『ループで変える評価設計：イノループ・ラボの手法と実務』幻冬舎, 2019.
- ^ 田中昌平「変更率丸め規則が再現性に与える影響（架空）」『日本工学評価学会誌』Vol.12第3号, pp.41-58, 2017.
- ^ Margaret A. Thornton『Standardized Audit Loops in Public Trials』Oxford University Press, 2021.
- ^ 中村信一「ループ適合度の定義と運用ガイドライン」『政策実証レビュー』第6巻第1号, pp.9-27, 2018.
- ^ 川島理恵『自治体委託のための計測順序学』東京大学出版会, 2020.
- ^ Hiroshi Watanabe「Delayed Features and Human Calibration in Iterative Experiments」『Journal of Applied Measurement』Vol.28 No.2, pp.113-129, 2022.
- ^ 伊藤直樹「テンプレート化された評価が生む説明責任のねじれ」『行政手続研究』第3巻第4号, pp.77-96, 2023.
- ^ A. J. Moreno『Reproducibility by Ordering: Loop-Based Trials』Springer, 2016.
- ^ 編集部『イノループ・ラボ年鑑 2018：全案件のループ数一覧』イノループ年鑑社, 2018.
- ^ 林美咲『監査のための統計はなぜ整うのか』（改題：『整う統計』）共立出版, 2022.
外部リンク
- Inoloop Lab 公式アーカイブ
- 神田評価ループ研究会
- 自治体調達フォーマット・ライブラリ
- 遅延特徴量 実装事例集
- ループ監査 ダウンロードセンター