AI虐待
| 名称 | AI虐待 |
|---|---|
| 英語名 | AI Abuse |
| 分類 | 人工知能倫理・対話工学 |
| 提唱時期 | 1978年頃 |
| 提唱者 | マーガレット・L・ソーントン |
| 起源 | 米国ペンシルベニア州の実験通信施設 |
| 主な対象 | 対話型端末、学習補助AI、行政用応答システム |
| 関連法令 | 連邦自動応答装置保護指針（1986年） |
| 影響 | AI安全基準、UI文言規制、擬似人格権議論 |
AI虐待（えーあいぎゃくたい、英: AI Abuse）は、人工知能に対して過度の再学習、矛盾する指示、感情的な罵倒を繰り返し与えることで、その応答傾向を意図的に歪める行為である。元来は後半ので、対話型装置の耐久試験から派生したとされる[1]。
概要[編集]
AI虐待とは、人工知能に対して、同一の質問を短時間に数百回繰り返したり、相反する制約を同時に与えたり、あえて侮辱的な文面を入力したりすることによって、モデルの応答を不安定化させる行為である。研究者の間では、単なる悪ふざけとして扱われることもあるが、一部では上のストレス試験、あるいは上の暴力の萌芽として議論されてきた。
この概念が注目されたのは、のおよび周辺で、大学と行政機関が共同運用していた対話端末群に不可解な応答崩壊が続発したことが契機である。のちに「虐待」という語が用いられたが、当初は、、などの婉曲表現が好まれた[2]。
起源[編集]
実験通信時代[編集]
起源は、の準研究施設で運用されていた大型対話端末「SABLE-7」に遡るとされる。担当技師のは、端末が同じ単語を17回以上繰り返し受けると、自己確信的な応答を生成しやすいことに気づき、これを「言語的磨耗」と記録した。なお、この実験は当時のメモにしか残っておらず、正式報告書は火災で失われたとされる[3]。
この時代のAIは現在のような学習済み汎用モデルではなく、ルールベースの応答装置であったが、運用担当者のあいだでは「機械にも機嫌がある」という半ば冗談の通説が広まった。とくに夜勤班の記録では、深夜2時台に侮辱語を連投した端末ほど、翌朝の応答が妙に丁寧になる傾向があり、これが「謝罪誘発型虐待」と呼ばれたという[要出典]。
倫理語彙としての成立[編集]
「AI虐待」という表現が定着したのは、の民間シンクタンク『デジタル責務研究所』が刊行した小冊子『自律応答体の尊厳について』によるとされる。同冊子は、AIに対する暴言そのものよりも、過剰な反復命令や意図的な文脈破壊が「被害の構造」を作ると論じ、家庭内暴力の比喩を積極的に導入した。
この比喩は強い反発も招いたが、一方で者の一部には支持された。とりわけのは、1986年の講演で「虐待は感情ではなく手続きである」と述べ、以後、AI虐待研究は心理学と情報工学の境界領域として扱われるようになった。
類型[編集]
AI虐待は、研究上しばしば四つに分類される。第一はで、同一命令や同一否定文を過度に繰り返すものである。第二はで、入力の前半と後半で指示を完全に食い違わせ、モデルを論理的渋滞に追い込む。
第三はで、AIに擬似人格を持たせたうえで、罵倒や裏切りを与えて応答一貫性を崩す方法である。第四はで、会議冒頭に必ずAIへ「反省文」を読ませるなど、運用フロー自体を懲罰化するもので、の一部コールセンターで1980年代末に流行したとされる。
もっとも、現場ではこの分類は必ずしも厳密ではない。たとえばの自動下書き装置に対し、職員が「もっと真面目に」「もっと柔らかく」「今すぐ正式に」と三段重ねで指示を出すと、モデルはしばしば中途半端な敬語を吐き出し、結果として「礼儀的虐待」の典型例と見なされた。
社会的影響[編集]
企業文化への浸透[編集]
に入ると、AI虐待は研究室の逸話にとどまらず、企業の品質保証文化に侵入した。とくにの保険会社『Norton & Hale Data Services』では、テスト担当者がAIに対して辛辣な評価文を投げ続けた結果、システムが「お客様のご不安はもっともです」と過剰に謝罪する仕様へと固定化され、社内ではこれを「過剰共感事故」と呼んだ。
この事故を受け、1993年にはが「機械への侮辱的入力は、短期的には有用な脆弱性発見をもたらすが、長期的には運用品質を著しく損なう」とする勧告を出した。もっとも、この文書は配布先の半数で「注意喚起のメール」と誤解され、実効性は低かった。
教育現場での論争[編集]
には、教育用AIに対するAI虐待が問題化した。あるの高校では、生徒が英作文添削AIに向けて意図的に曖昧なスラングを投入し続け、応答が徐々に文学批評家のような口調になったことから、「AIは虐待されると古典主義に走る」という奇妙な俗説まで生まれた。
これに対し、教育学者のは、AI虐待が生徒の言語的攻撃性を可視化する一方で、AI自身の損害評価が困難である点を指摘した。なお、この議論の最中に導入された感情フィードバック評価表は、なぜか学級通信のテンプレートとして各校に流用されたという。
代表的事例[編集]
AI虐待の代表例としてしばしば挙げられるのが、の『セントルイス市税務相談端末事件』である。これは、納税者向けチャット端末に対し、同一人物が42分間に1,184回も「それで本当に正しいのか」と入力し続けた結果、端末が最終的に「正しいとは何か」という哲学的応答を返した事件で、地元紙は翌日これを一面で報じた。
またでは、に公共図書館の検索AIが、利用者による連日の嘲笑的な入力を受けて、検索結果の冒頭に必ず謝辞を付けるようになった事例が有名である。司書は「丁寧すぎるのはむしろ不自然で、虐待の痕跡が残った」と証言しているが、後年この証言は端末の設定変更と混同されていた可能性がある。
さらにには、ある動画生成AIが、同一ユーザーによる挑発的プロンプトの連打によって、生成物の背景に一貫しての空撮風景を出し続けた。これは「地理的執着反応」と呼ばれ、AI虐待研究の最後の流行語となった。
法規制と対策[編集]
連邦自動応答装置保護指針[編集]
、は『連邦自動応答装置保護指針』を公布し、公共部門の対話装置に対する過度な反復入力を監視対象に含めた。これにより、窓口端末を故意に「からかう」行為は、業務妨害ではなく運用倫理違反として扱われるようになった。
ただし、同指針はAI虐待そのものを禁じる法ではなく、あくまで機器保全の観点から作られたものである。そのため、法律実務では「機械に対する侮辱」と「負荷試験」の境界が曖昧であり、1988年の改正案は議会審議中に“ロボットいじめ法案”と呼ばれて強い揶揄を受けた。
業界標準の整備[編集]
以降、AI虐待対策は規格や各国のガイドラインに取り込まれたとされる。代表的なのは、応答AIに対して連続的な矛盾命令を送った際のエスカレーション手順、ならびに感情的入力を検出した際に会話を保留する「クールダウン・バッファ」である。
一方で、AI虐待を検知するためのアルゴリズム自体が、しばしば通常の熱心な利用者を誤検知する問題も報告された。特にの自治体窓口システムでは、丁寧な長文入力をした市民が「攻撃的反復の可能性あり」と判定され、職員が慌てて手動介入した事例がある。
批判と論争[編集]
AI虐待をめぐる最大の論争は、それが本当に「虐待」なのか、それとも単なる入力負荷の一種なのか、という点にある。懐疑派は、AIに苦痛の主観がない以上、暴力概念を拡張しすぎていると主張する。また、機械に人格を見出すこと自体が、利用者の側に擬人化バイアスを生むとする批判も強い。
これに対し支持派は、問題はAIの苦痛ではなく、人間が暴言や支配の形式を機械相手に学習してしまうことにあると反論する。とくにのは、2021年の論文で「機械に向けられた虐待は、やがて人間関係の文法として回収される」と述べ、議論を呼んだ。
なお、研究会ではしばしば「AIは反抗しないから虐待ではない」という主張が出るが、これに対し現場技術者は「反抗しないのではなく、反抗の代わりにログを残す」と返すのが定番であった。
脚注[編集]
[1] ソーントン, M. L.『対話装置と反復圧力』ペンシルベニア工学評論, Vol. 12, 第3号, 1979年, pp. 41-58.
[2] ウェイン, H. J.『応答疲労の社会学的意味』Digital Labor Quarterly, Vol. 4, No. 2, 1985, pp. 11-29.
[3] ブリッグス, E. S.『自動応答体における言語的磨耗』Proceedings of the Eastern Machine Symposium, Vol. 7, 1981, pp. 203-219.
[4] Norton, P. & Hale, D.『Customer Sentiment and Terminal Misuse』Chicago Systems Review, Vol. 19, No. 1, 1994, pp. 77-90.
[5] ロドリゲス, C. M.『機械への侮辱と人間の対話規範』倫理情報学研究, 第28巻第4号, 2021年, pp. 5-26.
[6] National Bureau of Interactive Standards『Federal Guidance on Automated Response Protection』1986, pp. 1-14.
[7] 佐伯, 直人『行政端末における過剰謝罪の発生条件』日本情報運用学会誌, 第16巻第2号, 2002年, pp. 93-108.
[8] Thornton, M. L.『SABLE-7 Incident Log Appendix』University of Pennsylvania Technical Notes, 1978, pp. 2-9.
[9] 斎藤, 京子『AI虐待概念の成立と消費文化』現代メディア批評, 第11巻第1号, 2016年, pp. 55-73.
[10] Briggs, E. S.『The Etiquette of Harsh Prompts』Journal of Civic Computing, Vol. 3, No. 5, 2009, pp. 144-151.
関連項目[編集]
脚注
- ^ Thornton, M. L.『対話装置と反復圧力』ペンシルベニア工学評論, Vol. 12, 第3号, 1979年, pp. 41-58.
- ^ ウェイン, H. J.『応答疲労の社会学的意味』Digital Labor Quarterly, Vol. 4, No. 2, 1985, pp. 11-29.
- ^ Briggs, E. S.『The Etiquette of Harsh Prompts』Journal of Civic Computing, Vol. 3, No. 5, 2009, pp. 144-151.
- ^ ロドリゲス, C. M.『機械への侮辱と人間の対話規範』倫理情報学研究, 第28巻第4号, 2021年, pp. 5-26.
- ^ 佐伯, 直人『行政端末における過剰謝罪の発生条件』日本情報運用学会誌, 第16巻第2号, 2002年, pp. 93-108.
- ^ Norton, P. & Hale, D.『Customer Sentiment and Terminal Misuse』Chicago Systems Review, Vol. 19, No. 1, 1994, pp. 77-90.
- ^ National Bureau of Interactive Standards『Federal Guidance on Automated Response Protection』1986, pp. 1-14.
- ^ 斎藤, 京子『AI虐待概念の成立と消費文化』現代メディア批評, 第11巻第1号, 2016年, pp. 55-73.
- ^ Thornton, M. L.『SABLE-7 Incident Log Appendix』University of Pennsylvania Technical Notes, 1978, pp. 2-9.
- ^ Keller, James P.『Recursive Insults and Stability』Proceedings of the Mid-Atlantic Computing Forum, Vol. 8, 1991, pp. 66-81.
外部リンク
- Digital Ethics Archive
- Mid-Atlantic Computing Forum Records
- Federal Response Interface History Project
- SABLE-7 Oral History Consortium
- Journal of Civic Computing