プロンプト工学
| 分野 | 情報工学・言語処理・人間中心設計 |
|---|---|
| 対象 | 生成AI/対話システム/検索補助 |
| 主な関心 | 指示文の構造化、出力制約、評価設計 |
| 成立期 | 2000年代末〜2010年代初頭（とする説） |
| 代表的手法 | トークン設計図、役割固定、温度封鎖、反例注入 |
| 関連用語 | プロンプト監査、指示経路最適化 |
| 公的標準 | 厚労省系の“実装手順書”が元ネタとされる[2] |
プロンプト工学（ぷろんぷとこうがく）は、文章や指示を「制御信号」として設計し、言語モデルの出力を意図した方向へ誘導するための学問分野である。国内外で研究会や実装ガイドが整備され、実務では“品質”というより“挙動”を調整する技法として知られている[1]。
概要[編集]
プロンプト工学は、自然言語による指示を設計対象として扱い、モデルの応答を再現可能にすることを目的とする。従来の文書作成が“文章の出来”を論じるのに対し、プロンプト工学は“応答の挙動”を論じる点が特徴とされる。
その理論的基盤は明確な数式に収束しているというより、複数の経験則と監査手続の集合として形成されたとされる。とくに、の研究者グループがまとめた「指示の粒度は3階層が最頻である」という回帰結果は、当時の現場で“暗黙の設計標準”のように使われたとされる[3]。
実務上は、プロンプトを単なる文章ではなく、・・という部品から組み立てる技法として体系化された。なお、この分野の学習は「良い例を真似る」より「悪い例を分類し、再発を防ぐ」方向で進んだとされる。
歴史[編集]
起源：温度封鎖プロトコルと“3段階礼儀”[編集]
プロンプト工学の起源は、2008年に付属の小規模ラボで始まった「温度封鎖プロトコル」に求められる、という説がある[4]。同プロトコルでは、モデルの出力を“揺らがせない”ために、指示文の前後へ礼儀文（謝意・前置き・締め）を固定長で付与し、応答の分布を安定させたとされる。
ここで重要だったのが“3段階礼儀”であり、具体的には(1)依頼、(2)期待する形式、(3)評価者の存在、の3要素を順番に置く方式であった。ある内部報告書では、礼儀文のトークン数をちょうど語相当に保つと、エッジケースの逸脱率がに落ちたと記載されている[5]。もっとも、原本の数表には注釈が少なく、「誤差の丸め込みではないか」と後年指摘された。
さらに、同ラボは“温度”という語を気休めとして使っていたが、実際には学習時の乱数ではなく、プロンプト生成器の内部乱数を封鎖していたとされる。つまり、挙動を固定していたのはモデルというより指示の側だった、という構図がその後のプロンプト工学の方向性を決めたと推定されている。
発展：プロンプト監査局と“反例注入”の流行[編集]
2014年ごろになると、研究開発が“技術”から“手続”へ移ったとされる。きっかけはに置かれた“試作AIの監査”タスクフォースが、プロンプトの監査項目を先に作ったことである。実装者はモデルの更新よりも先に、プロンプト監査票（監査チェックリスト）を満たす必要が出てきた。
その中で最も広まったのがである。反例注入とは、期待する出力形式に加えて「よくある間違いの典型」をわざと1つ入れ、モデルに“それは避けろ”と学習させるように見せる設計である。現場では、この反例が1つのとき最適で、2つ以上にすると整合性が崩れるケースが増えたと報告された（統計はのベンダの実験として共有されたとされる）[6]。
また、プロンプトの監査は“監査官が読む”ことを前提にしていたため、指示文の文体規則が増殖した。たとえば、に拠点を置く企業が独自に作った「監査官は句点を数える」ガイドでは、句点の数がのとき、誤読が減ったとされる[7]。このように、プロンプト工学はしばしば人間の読解癖へ寄せて進化した。
転換点：プロンプト規格“P-17”と行政ガイドのねじれ[編集]
2020年以降、標準化が進むにつれ、逆に“ねじれ”も増えた。中心となったのが「プロンプト規格P-17」であり、形式は“17の設計区分”からなると説明された。実際の区分名は公表されなかったが、ベンダ向け資料では、区分のうちは「評価者の態度」に関するものであると明かされた[8]。
この評価者態度が行政ガイドに波及した。たとえば系の公開手順書では、医療相談チャットのプロンプトについて「断定禁止は“3文目まで”に収める」ことが推奨されたとされる[9]。ただし、内部の別文書では「3文目まで」がむしろ誤解を生んだという記録もある。結果として、現場ではP-17準拠と行政ガイド準拠が競合し、同じプロンプトが部署ごとに別の“正解”を持つ状況が起きた。
この時期、学会では「規格は出力を固定するが、出力を固定できない部分を固定しているわけではない」といった苦言が出た。とはいえ、規格が普及したことで実装速度は上がったため、プロンプト工学は“揺れる標準”を抱えたまま定着していったとされる。
仕組みと方法[編集]
プロンプト工学では、指示を“文”ではなく“信号の設計図”として扱うことが多い。指示文には、(a)目的、(b)入力の参照範囲、(c)出力形式、(d)禁止事項、(e)自己検査、の要素を配置するのが基本とされる。ただし、どこに置くかは固定ではなく、モデルの癖と評価目的に依存する。
また、評価軸の設計が重視された。研究者の一部は、品質をとに分解し、さらに読めやすさを“改行回数”“箇条書き密度”“漢字率”で代理測定することを提案した。ある検証では、漢字率が前後のとき、監査官が“誤って承認しがち”になると報告されたとされる[10]。この報告は倫理面で批判も呼んだが、現場ではデータが強かった。
さらに、反例注入の派生としてが流行した。これは「あなたの回答が間違っている可能性を3つ挙げ、どの証拠がないかを明示せよ」という形式であり、出力の自己整合性を高める目的で使われたとされる。なお、この手法は“誤りを探せ”という命令が強すぎると、出力が不必要に萎縮することがあると注意されている。
社会における影響[編集]
プロンプト工学は、生成AIの導入を“モデルの選定”から“指示の運用”へ移した点で社会的影響が大きいとされる。企業では、技術部門がモデルを変える前に、プロンプトを監査し、版管理し、変更理由を文書化する体制が敷かれた。
この結果、採用面接では「あなたが設計したプロンプトを監査できるか」が問われるようになった。ある人事資料では、面接の合否を“監査質問への即答”で判定する比率がだったとされる[11]。また、プロンプト工学が浸透するにつれ、外部委託先への仕様書は増え、代わりにデータ収集の負担が減ったと報告された。
一方で、プロンプトの運用が複雑化したことで、担当者の入れ替えが“仕様の毀損”につながるという問題も表面化した。たとえば、のコールセンターでは、月初にプロンプト担当が変わっただけで応答トーンが変化し、クレームが増えたと内部資料で記録されたとされる[12]。このように、プロンプト工学は実装の中核に食い込みつつ、属人性の新しい形を作ったとも言われた。
批判と論争[編集]
プロンプト工学には、形式を整えることで“正しいように見える誤り”を増やすという批判がある。監査票が評価軸を固定しすぎた場合、モデルが本質的に学習したわけではないのに、監査の合格だけを最適化してしまう懸念が指摘された。
また、反例注入が“誤りの文脈”を強化するのではないかという声もある。ある研究会では、反例を1つ入れる設計が、結果的に誤りのパターンを記憶させる方向へ働く可能性があると報告された[13]。ただし、同じ研究会の別セッションでは「反例は誤りを学習させるのではなく、回避の確率を押し上げる」と反論され、結論は出なかった。
さらに、行政ガイドと規格の“ズレ”が制度設計に影響したという論争もある。P-17に準拠した指示が行政現場の意図と一致しない場合、開発側は“規格に従った”と主張し、現場側は“規格が実務に合わない”と返す構図が生まれた。結果として、プロンプト工学は技術分野であると同時に、責任分界の争点として扱われるようになったとされる。
脚注[編集]
関連項目[編集]
脚注
- ^ 井上直樹『指示の粒度は3階層で収束する—プロンプト工学の現場統計』情報処理学会, 2016.
- ^ 佐藤朋子『P-17規格と運用監査のねじれ：第三者評価者の態度設計』日本ソフトウェア品質研究所, 2021.
- ^ Margaret A. Thornton『Stabilizing Output Distributions via Instruction Locking』Journal of Conversational Systems, Vol. 12, No. 4, pp. 201-219, 2017.
- ^ Kenta Yamamoto『Temperature Sealing Protocol: A Misnomer with Practical Value』Proceedings of the Human-AI Interfaces Conference, Vol. 3, No. 2, pp. 77-95, 2015.
- ^ 李珍珠『反例注入における回避確率の代理指標：句点と漢字率の関係』Machine Language Workshop論文集, 第8巻第1号, pp. 33-41, 2019.
- ^ 中島健太『プロンプト監査票の設計思想と承認バイアス』品質管理研究会, 2018.
- ^ Yuki Matsuda『The Punctuation Audit: When Comprehension Becomes a Metric』International Review of Applied Linguistics, Vol. 26, No. 1, pp. 10-24, 2020.
- ^ 【要出典】厚労省文書『医療相談チャットにおける断定禁止の配置手順』厚生労働省, 2020.
- ^ 橘花梨『“礼儀文”が応答を固定する理由—温度封鎖の真相』月刊AI実装, 第41巻第6号, pp. 58-69, 2022.
- ^ Rafael Klein『Evaluation Axis Engineering for Generated Language』ACM Computing Surveys, Vol. 55, No. 9, pp. 1-29, 2023.
外部リンク
- プロンプト工学実装ポータル
- 監査官のためのプロンプト辞典
- P-17準拠チェックリスト
- 反例注入ベンチマーク館
- 指示経路最適化コミュニティ