SfM/MVS
| 分野 | コンピュータビジョン／3次元復元 |
|---|---|
| 別名 | 写真からの形状復元と多視点推定（と称されることがある） |
| 主対象 | 屋内外の写真群・ドキュメント画像 |
| 中心技術 | 特徴点の対応付けと多視点の整合 |
| 利用形態 | オフライン推定（バッチ処理）を中心に普及 |
| 標準的前提 | カメラ姿勢と投影モデルの仮定 |
| 関連領域 | 3Dスキャン、測量、AR/VR、デジタルツイン |
SfM/MVS（えすえふえむ／えむぶいえす）は、複数画像から三次元形状を復元するための一連の計算手法群である。主にコンピュータビジョン分野で用いられ、産業用途へも波及したとされる[1]。
概要[編集]
は、写真測量の発想を「計算の手順」として再編成し、特徴点の対応からカメラ配置を推定したのち、密な点群へと展開する概念として整理されることが多い。とくにとを組み合わせることで、荒い幾何推定から高密度な表面再構成までを一連のワークフローとして扱える点が利点とされる[1]。
一方で、この名称が指す範囲は時期や研究コミュニティによって揺れがあるとされる。ある編集者は、SfM/MVSを「同じ箱に入った料理名」ではなく、「料理番組の台本が違うだけ」と表現した。つまり、同じ略語が同じ意味で使われていない場面もあり、運用上の“流儀”として定着したとも指摘される[2]。
その起源は、実験室での精密計算ではなく、行政向けの「証拠写真の整理」から来たとする説がある。実際、の内部資料で「撮影順を整えるほど復元は安定する」ことが“統制手順”として記された時期があり、のちに学術界で一般化された経緯が語られている[3]。ただし、この資料がどの会議で引用されたかは確定していない。
以下では、SfM/MVSを「そう呼ばれるようになった世界線」として扱い、成立の物語を中心に述べる。読者が“本当らしさ”に惹かれつつ、途中で妙な箇所に笑いを感じるように構成されている点に注意されたい。
歴史[編集]
成立：測量台帳から、密度の呪文へ[編集]
SfM/MVSの“原型”は、の現場で撮られた重複写真を「台帳の手触り」に戻す目的で導入されたとされる。1950年代末、系の委託研究として、写真の枚数を一定率で間引く規格が整えられたという。ところが、間引き率を少し誤ると復元が一気に破綻することが分かり、研究者たちは「復元は枚数ではなく、枚数に紛れた“関係性”が支配する」と記したと伝わる[4]。
その結論を、当時の計算機事情に合わせて“略語化”する動きが進んだ。たとえば、の研究部門が試験運用した「自動照合プロトコル」では、撮影画像を 3 セットに分け、各セット内で特徴点を照合し、さらにセット間で整合を取るという手順が採用されたとされる。ここで「形状復元（SfM）」に相当する工程は、ログの先頭行に “S-Form Module” というコメントが残されていたことからそう呼ばれるようになったという。ただし、このコメントの原本は失われ、聞き取り記録のみが残ったとされる[5]。
一方で、密な面を作る側は、湿度と解像度の“物理的癖”を取り込む必要があったと説明される。具体的には、フィルム現像のばらつきが表面の細かな濃淡として現れ、密度推定がそれに引きずられたため、手順に「投票の閾値 0.73」を導入したという逸話がある[6]。この 0.73 は偶然の値ではなく、福島県の倉庫で保管された試料群から統計的に選ばれたと説明されているが、選定根拠の文書は“見当たらない”と注記されがちである。
研究共同体：京橋の会議と、夜間バッチ処理[編集]
SfM/MVSが“分野名”として定着するきっかけは、学会ではなく、むしろ自治体の調達仕様書だったともされる。1980年代後半、の文書館で行われたデジタル化計画において、復元精度を数値で保証する必要が生じた。ここで重要になったのが「復元率」ではなく「誤差の分布の裾野」である。すなわち平均誤差よりも、上位 5% の外れ値をどう抑えるかが要件化されたとされる[7]。
この仕様書はの会議室で作られたとされ、参加者の一人として、実名と略歴が詳しく言及される人物がいる。たとえばであった渡辺精一郎（架空）が「夜間バッチは“眠気補正”が入る」と言ったため、処理のスケジューリングもアルゴリズムに組み込まれたという伝承がある。実際、バッチ開始時刻を 23:47 に固定したところ、特徴点の取りこぼしが 2.1% 減少したという報告が残っているとされる[8]。
もっとも、この 23:47 固定が普遍的だったかは怪しい。別の研究グループは、固定時刻よりも「カメラの電源投入順」が効いた可能性を指摘した。ただし同指摘は、電源順を記したログが“研究室の引っ越しで消えた”とされ、結局、時刻の逸話だけが残ったという[9]。この種の取り違えが、SfM/MVSを「説明しやすい物語」に変えていった面もある。
海外伝播：海の向こうで“証拠写真の工業化”へ[編集]
SfM/MVSは、英語圏では測量より先に「証拠写真の工業化」と結びついて広まったとされる。1990年代前半、の民間企業が災害調査で大量の写真を扱う際、「静的シーンの再構成を、同一基準で出力する」ことを目標にした。その際に“密度の投票”工程がと呼ばれるようになった、とする説明がある[10]。
また、米国では軍需研究の影があったと語られることもある。具体的には、（架空）向けの内部報告で「SfMは“骨格”、MVSは“肉付け”」という比喩が使われたとされ、以後、その比喩が教育用スライドに転載されたという[11]。ただし、この報告の表紙に記された日付が 1987 年だったり 1991 年だったりしており、コピーの世代が混ざっている可能性が指摘されている。
それでも社会的影響は拡大した。特に計画では、SfM/MVSは“測定不能な場所の代替測定”として採用され、自治体の予算審査で「写真群があれば復元できる」という言い方が定型化した。結果として、現場で写真が増えるほど仕事が増える構造が生まれ、産業側には追い風となった。一方で、写真の撮り直しを促す運用が過熱し、現場作業者からは「復元のために世界が撮影される」ことへの反発も生じたとされる[12]。
仕組み（と呼ばれたもの）[編集]
SfM工程（と略される部分）は、複数画像の中から特徴点を拾い、対応関係を推定し、その結果としてカメラの姿勢と視点位置（とされる値）を決める段階として説明されることが多い。とくに、特徴点の抽出は“目に見えないが確かに存在する癖”を拾う技術とされ、研究者は「点は点ではなく、記憶である」と比喩したという[13]。
MVS工程（）は、カメラ姿勢の推定を前提に、画素単位で奥行きを投票させ、密な表面を組み立てる工程として扱われる。ここでは、各画素が複数画像で同一の物体表面に対応すると仮定されるとされるが、現場では照明や反射の変動で破綻しやすい。そのため、投票閾値（例：0.73）や平滑化の係数（例：1.2e-4）が“経験パラメータ”として保存され、結果を出すためのノウハウになったとされる[6]。
なお、SfM/MVSが万能に語られがちな背景として、出力形式の都合がある。点群は「それっぽい形」を作りやすく、誤差があっても見た目が破綻しにくい。特にプレゼン資料では、誤差の分布を見せずに見た目の完成度だけを先に提示する編集が行われがちであり、その結果として“信頼できそう”な印象が積み上げられたと指摘されている[14]。
このため、SfM/MVSの実務では「復元精度の保証」よりも「復元の再現性（毎回同じようにそれっぽくなる）」が重視された時期があったとされる。現場の感覚では、再現性が 98% に近いほど導入が進むとされ、逆に 97% 台に落ちると調達が止まったという証言も残っている[15]。
社会における影響[編集]
SfM/MVSは、測量や建築設計の“前工程”に食い込み、写真が入力であるがゆえに、撮影者（カメラ担当）と推定者（計算担当）の境界を曖昧にしたとされる。特に関連の鑑識業務で、現場写真から簡便に3次元を出す試行が進んだことで、写真整理の手順がマニュアル化された。そこでは、撮影順序、撮影距離、回転角のガイドが細かく規定され、「最低 36 枚、平均回転角 12 度、重複は少なくとも 8%」のような数値が示されたという[16]。
ただし、数値が独り歩きした面もある。過剰な撮影を促し、現場が撮影のために消費される状況が生じたと指摘されたのである。編集者の間では、これが“写真の供給を増やすアルゴリズム”として機能してしまった例として語られることがある。とはいえ、社会全体としては、三次元表現が身近になり、、、での活用が増えたのも事実とされる[17]。
教育現場では、SfM/MVSが「学ぶと得をする計算」として扱われ、学生は数学より先に撮影技術を磨く傾向が強まった。某工学部では、初年度の成績が数学よりも“手ブレ率”に相関したという内輪の統計が出回り、大学側は「統計の取り方は怪しいが、現象としてはあり得る」と釈明したとされる[18]。
一方で、社会の側からの批判として「誤った3次元が、正しいように見える」問題が繰り返し指摘された。SfM/MVSの出力が視覚的説得力を持つほど、誤りが正しさに置換されやすいからである。結果として、検証工程（スキャンと実測の比較）を後ろ倒しにする組織も出たとされ、導入後に監査が追いつかない事態が報告された[19]。
批判と論争[編集]
SfM/MVSには、手法そのものより運用が生む問題として批判が集まりやすい。特に「見た目が良いから正しい」という合意形成の危うさが論点とされる。ある研究会では、復元モデルの見た目スコアが 92 点を超えると、検証を“省略できる雰囲気”が生まれるという人間側の閾値が報告された[20]。ただし、心理学的に妥当かどうかは不明である。
また、データの出所問題もある。写真が捏造された場合、SfM/MVSはむしろ整然とした形を出してしまう可能性があるとされる。これに対し、（架空）が「Exifの時系列整合チェック」を推奨したが、現場では“推奨は重い”として切り捨てられたという逸話がある[21]。
さらに、学術界では名称の曖昧さが論争になった。SfM/MVSが同時に語られることで、実装の差（たとえばの手法やの設計）が読み取れない場合があるからである。編集者は、英語論文のタイトルには SfM/MVS と書かれているのに、本文では片方の処理しか扱っていないケースが増えた、と苦言を呈したとされる[22]。
論争の中でもっとも“笑えないが笑ってしまう”のは、ある調達仕様で「SfM/MVSの成果物は実測誤差 3cm 以内とする」と書かれ、次ページに「ただし写真の縮尺は現場の裁量に従う」と追記されたことである。実測誤差 3cm が写真の縮尺に左右されることは専門家には自明とされるため、当時の審査員からは「矛盾が仕様に格上げされた」と揶揄された[23]。
脚注[編集]
関連項目[編集]
脚注
- ^ 渡辺精一郎『証拠写真の幾何統制：SfM/MVS運用指針』中央計算出版, 1989.
- ^ M. A. Thornton『Evidence-Oriented Multi-View Reconstruction』Journal of Applied Vision, Vol.12 No.3, pp.101-144, 1996.
- ^ 佐藤明日香『点が記憶になるまで：特徴点対応の社会史』共立アルゴリズム叢書, 2002.
- ^ 山本浩二『夜間バッチ処理と再現性：復元率98%の条件』測量計算学会誌, 第34巻第1号, pp.55-73, 2007.
- ^ E. Rutherford『Dense Surfaces from Sparse Priors』Proceedings of the International Conference on Visual Geometry, Vol.7, pp.12-39, 2001.
- ^ K. Nakamura『投票閾値0.73の由来と、湿度依存の復元誤差』日本画像学会論文集, 第19巻第4号, pp.233-258, 1993.
- ^ Liu Wei『Calibration by Administrative Spec』Transactions on Document Geometry, Vol.5 No.2, pp.77-95, 2008.
- ^ H. R. Jensen『From Boxes to Menus: Naming Conventions in SfM/MVS』Computer Vision Letters, Vol.3 Issue.9, pp.1-18, 2012.
- ^ 山口あやめ『写真の供給を増やす計算：現場運用の再解釈』政策と計算, 第2巻第6号, pp.301-320, 2016.
- ^ National Geospatial Agency『内報：骨格と肉付けの比喩が示すもの』NG/A Technical Reports, 1987.
外部リンク
- SfM/MVS実装掲示板
- 復元率98%アーカイブ
- 特徴点対応の系譜図
- 夜間バッチ運用ガイド
- 投票閾値0.73資料室