サムアルトマンの開発した関数
| 分野 | 数理最適化・学習理論 |
|---|---|
| 提案者 | サムアルトマン（関与があったとされる） |
| 主な用途 | 学習曲線の変動要因推定 |
| 特徴 | 入力の微小摂動に対する安定性指標を含む |
| 初出とされる年代 | 2017年後半〜2018年初頭 |
| 関連組織 | 、の委託研究（とされる） |
| 派生 | 息継ぎ係数モデル、分岐型学習写像 |
| 論争点 | 再現性と計算量見積り |
サムアルトマンの開発した関数（英: Sam Altman's Developed Function）は、の系研究で用いられたとされる数理関数である。特に、モデルの「学習曲線の息継ぎ」を予測する手法として、周辺の技術文書に繰り返し言及されたとされる[1]。
概要[編集]
サムアルトマンの開発した関数は、学習モデルが更新を重ねる際に生じる「跳ね返り」と「停滞」を、単一のスカラー指標の組で説明するための関数群であるとされる。一般には、損失関数そのものではなく、学習率や勾配ノイズ、重み減衰の相互作用を間接的に反映する形で定義されたと説明される[1]。
同関数は、いわゆる「当てずっぽうの経験則」を排するために、入力データの並び替えやバッチ構成を変えても指標が破綻しない設計思想を持つ、と紹介される。一方で、後述するように、計算資源の見積りが論文ではなく社内メモに依存していたことが、のちの混乱を招いたと指摘されている[2]。
なお、用語としての「開発した関数」は単一の式を指すのではなく、観測量（学習率履歴など）から「息継ぎ量」を導く一連の写像をまとめて呼んだものとして扱われることが多い。編集者によって説明の粒度が異なり、同名項目の解釈が複数並存していたともされる[3]。
成立の背景[編集]
この関数が生まれたとされる動機は、の研究チームが、学習の途中で急に性能が落ちる現象を「研究室の気分」だと誤認した出来事に求められている。具体的には、学習ジョブの再開タイミングが1分ずれるたびに、評価指標の分布が別物のように振る舞ったとされる[4]。
当時の対策として、担当者は「学習率スケジュールを変える」「正則化係数をいじる」などの典型的な手段を講じたが、原因は収束しなかったと記録されている。そこで、数理寄りのメンバーが「変化点を見つけるのではなく、変化点が生まれる“呼吸”を測れ」という方針を持ち込み、息継ぎ量を算出する観測関数が試作された、とされる[5]。
この試作の土台になった考え方は、入力系列の位相に相当する量を、離散的な差分として観測するというものであったと説明される。後にその差分観測を滑らかにするため、微小摂動に対する安定性を規格化する項が追加されたとされ、結果として「サムアルトマンの開発した関数」という括りで語られるようになった経緯が語られている[6]。
仕組みと定義（架空の詳細仕様）[編集]
同関数は、学習ステップtに対して「息継ぎ係数」β(t)と「跳ね返り圧」p(t)を計算し、それらを合成して「学習呼吸スコア」r(t)を出す、と説明されることが多い。便宜上、r(t)=β(t)×(1+p(t))のように見せられるが、実際にはβとpがそれぞれ複数の項の和で定義され、重み付けが実験条件に依存するとされる[7]。
例えば、β(t)は「学習率履歴の差分Δη(t)」と「勾配ノイズ推定値σ(t)」の積として与えられ、σ(t)はバッチ順序のシャッフル回数に反比例する形で作られた、といった具合に説明される。ここで奇妙なのは、σ(t)の推定に使われた観測窓が「前後合計512ステップ（ただし評価間隔が7の場合は471ステップに丸める）」といった細かいルールを含む点である[8]。この丸め規則が、のちの再現性問題として言及されることになる。
さらに、p(t)には「重み減衰の負荷」を反映させるため、減衰係数λの符号反転を経由する擬似変換が入れられた、とされる。変換の理由は“負の減衰が生む反転位相が跳ね返りに相関する”という説明であり、図示された概念図ではの海沿い研究拠点で見つかった古い図面を参照していた、と語られることがある[9]。ただし、この図面の出典は確認されていないとされる。
派生：息継ぎ係数モデル（β拡張）[編集]
β(t)を拡張し、勾配の「分散」だけでなく「分布の歪度」も観測に入れた派生が息継ぎ係数モデルである。歪度項は、3次モーメントに相当する量として扱われるが、実装では「サンプル数が1024未満なら無歪度近似を使う」などの条件分岐があったとされる[10]。この条件分岐が、性能比較のたびに結果を変えてしまったと批判される点でもある。
派生：分岐型学習写像（r(t)二段構え）[編集]
別の派生として、r(t)を直接返さず「まず分類し、分類結果に応じてr(t)を選ぶ」分岐型の写像が語られている。分類ラベルは“息継ぎ過多/過少”の2値で、境界はp(t)の閾値0.37とされたとされる。閾値0.37は、単なる経験ではなく、テストセットの語彙数がちょうど37kになった実験の偶然に由来すると記された内部資料があった、とされている[11]。
歴史（誰が、どこで、どう広めたか）[編集]
同関数は、最初は研究所の小さな回帰試験から生まれたとされる。起点となったのは、近郊の小規模クラスターで、学習ジョブの再開に伴う“夕方だけの悪化”が観測された出来事である[12]。ここで関数の初期版が「夕方補正」として呼ばれ、のちにより一般化されることで現在の名称に近づいたとされる。
関係者としては、数理部門の技術者だけでなく、運用部門のエンジニアが関与したとされる点が特徴である。運用側はログの整形に強く、学習率系列の欠損を埋める規則（欠損が連続で9ステップなら前値保持、それ以上なら線形補間）が関数に組み込まれた、と説明される[13]。このように、数学が社会（運用）に引っ張られる形で関数が成立したのだと描写されることがある。
2018年ごろから、同関数の概念は「学習の安定性監視」に転用され、の関連拠点でも“同型の指標”が用いられたといわれる。ただし、転用されたのが完全に同一式であったかは不明であり、後に「似ているが別物」とする見解が出た、とされる[14]。この曖昧さが、同関数が社会へ広がる一方で、同じ成果が再現されないという摩擦も生んだ。
一方で、社会への影響は計算機の外にも及んだ。学習の失敗が“偶然”ではなく“息継ぎの欠損”として説明できるようになると、投資家の説明資料が「学習曲線の見栄え」から「安定性指標の整合」へと移行したとされる。これにより、企業は実験のやり直し回数を減らしたという主張もあるが、過度な指標依存が生んだ最適化の硬直化も同時に批判された[15]。
社会的影響とエピソード（笑えるが深刻な話）[編集]
同関数が話題になったきっかけは、ある企業が採用面接の一環として「学習呼吸スコアを説明できるか」を問うた事件である。面接官は応募者に、r(t)の概形を暗算で出させたのではなく、「β(t)は学習率の差分であり、p(t)は跳ね返り圧である」と言い切るだけでよかった、とされる[16]。しかし、応募者が“それ、なんか宗教っぽい”と感じた瞬間に落とされるような運用だったという証言が残っており、社内では苦笑いが広がったと伝えられている。
また、同関数を用いたとされる学習最適化では、ある年にだけベンチマークが異様に伸びたことがある。その伸びの条件は「評価回数が1日あたり3回、かつ19:00±12分にリランしたジョブに限る」と細く指定されていたとされる[17]。表向きは関数の有効性だったが、裏ではログ同期のズレが“息継ぎ”として測定されていただけだったのではないか、と後から疑われた。
社会では、指標をめぐる派閥争いも起きた。学習を成功とみなす基準として、r(t)が平均0.81を超えたら合格、0.72を下回ったら失敗、というルールが作られたとされる。さらに、0.79付近は“観測窓がズレた可能性がある”とされ、責任の所在が迷子になったと報告されている[18]。この数字の細かさが、逆に現場を疲弊させたという。
一方で、教育現場にも波及した。大学の演習で「関数を理解することより、なぜその観測窓を選んだかを議論せよ」という課題が出され、学生たちは「観測窓471ステップ」の意味を必死に探したとされる[8]。結局、答えは“丸め規則の説明のために使った例題”だったと判明し、知的好奇心だけが空回りする結果になった、というオチが語り継がれている。
批判と論争[編集]
最大の批判は、同関数が「理論」ではなく「運用仕様」を吸い込んだために、環境依存になったのではないかという点である。特に、β(t)の計算に関する丸め規則や補間規則が、公開された形では提示されなかったとされる。そのため、追試を行った研究者から「同じ数式を書いても、同じ結果にならない」という指摘が出た[19]。
また、計算量の見積りが過小であったのではないかという論争もある。社内資料では、r(t)の計算は「1サンプルあたり平均0.014秒」とされていたが、後の再計測ではデータ型の変換を含めると「0.019〜0.027秒」に幅が出た、と報告された[20]。この差は小さく見えるが、大規模学習では致命的であるとして、運用部門の責任か理論部門の責任かで揉めた、とされる。
さらに、関数の名称が人物名と結びついた点にも批判があった。関数が本当にサムアルトマン本人の“開発”かどうかは確認できないとしつつも、記事・スライド・会議録で強調され続けたため、「人名によるブランド化」が学術の速度を落としたのではないか、という見解が語られた[21]。この論争は、のちの指標設計の説明責任という論点へつながっていったとされる。
脚注[編集]
関連項目[編集]
脚注
- ^ Lila K. Chen『学習曲線の息継ぎ観測：βとpの写像解析』Springer, 2019.
- ^ Rafael M. Ortiz『分岐型学習写像と観測窓の丸め規則』Journal of Applied Surrogates, Vol. 12, No. 3, pp. 44-63, 2020.
- ^ 伊藤玲奈『最適化運用と指標依存の社会学』東京工業大学出版局, 2021.
- ^ Priya Nand『Stability Proxies in Large-Scale Training』ACM, Vol. 41, No. 1, pp. 1-28, 2018.
- ^ Samir J. Haddad『跳ね返り圧の推定と過少計算量の誤差帯』IEEE Transactions on Learning Systems, 第3巻第2号, pp. 210-233, 2022.
- ^ Marcos V. Singh『夕方補正の数理化：再開タイミングと相関する擬似位相』Computational Humor Studies, Vol. 7, No. 4, pp. 99-117, 2018.
- ^ 渡辺精一郎『欠損補間は真理か：学習ログの線形補間規約』情報技術学会誌, 第26巻第9号, pp. 512-539, 2023.
- ^ Eleanor Brooks『Branding Stability: When Metrics Get Named』Nature Computational Practices, Vol. 5, No. 6, pp. 300-321, 2021.
- ^ 山田直人『監視指標の設計責任と追試可能性』日本規格協会, 2020.
- ^ A. Exampleson『The Sam Altman Function and the 471-Step Myth』Fictional University Press, 2019.
外部リンク
- OpenAI内部指標アーカイブ
- 学習曲線研究会（β拡張セッション）
- 観測窓丸め規則データベース
- 最適化再現性監査室レポート
- 指標工学ウォッチ