で、AIの自己改善（self-improvement）とAI研究の自動化（Automating AI research）について触れられました。ちょうど本日、Google Deepmindの「言語ゲームによる無限のソクラテス学習（Boundless Socratic Learning with Language Games）」という論文を目にしました。この論文では、「閉ループシステムにおける自己改善型学習」について独自の構想が示されています。この「ソクラテス式学習（Socratic Learning）」は、入力と出力空間の一致に基づく再帰的な改善を通じて、人工知能の潜在能力を最大限に引き出すものです。
定義
閉じたシステム（黒色）の中で、赤いエージェントは言語的インタラクションを通じて自己改善を行います。外部の観察者（金色）は、パフォーマンス指標（緑色）によってエージェントのパフォーマンスを評価します。もしエージェントの出力が将来的な入力に影響を与えることができる（青いパス）かつパフォーマンス指標が向上し続ける場合、これを自己改善と呼びます。もしエージェントの入力と出力空間が互換性を持つ場合、その自己改善は再帰的です。そして、入力と出力空間が言語である場合、それを「ソクラテス式学習」と呼びます。
自己改善
自己改善は一種の特別な向上プロセスであり、その核心はエージェントの出力（すなわち行動）が将来の学習に逆に影響を与えることです。これはエージェントが自身の経験の流れを形成し、閉じたシステム内で潜在的に無限の改善を実現できるということを意味します。
です。対称的なゲームにおいて、エージェントはプレイヤーと相手の二重の役割を果たし、フィードバック（例えば「誰が勝ったか？」）を伴う経験の流れを継続的に生成することで、スキルを向上させます。
——は実際の操作可能性に関連しています。
ソクラテス式学習
私たちが議論する自己改善は再帰形式であり、エージェントの入力と出力が互換性を持つ（つまり同じ空間内にある）ことを要求します。このモードでは、エージェントの出力が将来的な入力となり、閉ループが形成されます。
注意すべき点として、入力と出力空間は完全に一致しているわけではなく、部分的に交差しているだけです。例えば、エージェントはコードを生成しつつ、自然言語や（部分的に自己生成された）コード、および実行トレースを感知することがあります。この形式は一般的な自己改善よりも制約が多く、それは環境の仲介作用を減らすためです。通常の場合、エージェントの出力は複雑な環境マッピングを通じて間接的に入力分布に影響を与えますが、再帰的な自己改善は出力と入力の互換性に直接依存します。
この再帰メカニズムは多くのオープン進化プロセスの属性の一つであり、オープン改善は人工スーパーアイコン（ASI）への道筋の核心特性と考えられています。それでも、この互換性は伝統的な同形自己修正要件よりも緩やかであり、より汎用的です。
言語ゲーム
「Attention is All You Need」から「Language Games Are All You Need」へ。
という概念は、この分野に重要な示唆を与えています。彼は『哲学的研究』において次のように述べています。「言語とそれが交織する行動の全体を、私は『言語ゲーム』と呼ぶ。」
ヴィトゲンシュタインは、言語の意味は単なる単語自体ではなく、言語相互作用の過程に現れるものだと考えました。この考えに触発され、本稿では「言語ゲーム」を、規則集合（コードで表されるプロトコル）として定義し、このプロトコルは一つまたは複数のエージェント（「プレイヤー」）間での言語入出力を基にしたインタラクション方式を規定し、ゲーム終了時に各プレイヤーに対してスカラー評価関数を提供します。
ここで強調したいのは、操作可能性を確保するために、すべての言語ゲームが有限時間で終了することを前提としている点です。この定義は、言語と行動を緊密に結びつけ、エージェント間の効率的な協力を構築するための理論的枠組みを提供します。
言語ゲーム：ソクラテス式学習の核心要件を満たす
言語ゲーム（Language Games）はその定義上、ソクラテス式学習の二つの核心要件を満たします：
拡張可能なインタラクションデータ生成メカニズム（自己対戦を含む）を提供する； 付随するフィードバック信号（得点）を自動生成する。
実際、これはカバレッジとフィードバック条件の論理的必然に他なりません。すべてのフィードバック信号を持つ操作可能なインタラクションデータ生成形式は本質的に言語ゲームです。さらに言えば、この定義は多エージェントダイナミクスがもたらす豊富な戦略的多様性を許容し、カバレッジ条件をよりよく満たします。また、この多エージェント協力は哲学者たちの「ブレインストーミング」のような動的な社会的共創に近いものであり、単なる「千年生きる孤独者の独り言」ではありません。
実用性の観点からは、言語ゲームは取り組みやすいです。人類の歴史はすでに種類豊富なゲームとプレイヤーのスキルを創造し、磨いてきました。これにより、言語ゲームを構築するための豊富な経験的基礎が提供されます。Nguyenは、この多様性を人間の行動力と局所的動機の柔軟性の表現とさえ見なしています。ある理論家（Derridaなど）はさらに、あらゆるディスクOURSEが何らかの意味で既にゲームの構造を持っていると主張するかもしれません。Derridaはこう言っています。「どんなディスクOURSEでも、詩や神託であっても、類似のものを生み出すための規則体系を含んでおり、それによって方法論が描かれている。」
関連概念はヴィゴツキーの自律型エージェント（Vygotskian autotelic agents）まで遡ることができます。Colasらは、これらのエージェントが閉ループシステムではないとしても、多くの「内面化された社会的インタラクション」が言語ゲームとみなせると言っています。多くの一般的な大規模言語モデル（LLM）のインタラクションパターンも、言語ゲームとして非常にうまく表現できます。例えば：
弁論 キャラクター扮演 心理理論 交渉 脱獄防御
さらには、開放システムにおいても、ヒューマンフィードバックに基づく強化学習はこのカテゴリに含まれます。
結論：オープンなソクラテス式学習は可能である
私たちは閉じたシステムにおける再帰的な自己改善から始まり、汎用人工知能（AGI）への道筋におけるその潜在能力を探りました。現在の段階では、楽観的な態度で結論を出すことができます：
一方で、その主要な課題（フィードバックとカバレッジ）は広く知られています。 は、これらの課題に対処するための建設的な出発点を提供し、実際の研究アジェンダをどのように策定するかの方向性も示しています。
具体的なロードマップは今後さらに整備される必要がありますが、全体的な研究方向性は明らかになっています。特に注目すべきは、言語ゲームの多様性と豊かさがまだ過小評価されている重要な次元であることです。私たちは、オープンゲームを生成するプロセスを探索することが理想的な出発点になると考えています。
興味深いことに、これらのアイデアは閉じたシステムの中で自分たちだけで話すのではなく、学術領域に提出して検証されることになります。
ネットユーザーのコメント
「DeepMindのソクラテス式学習はAGIへの大きな飛躍です！言語ゲームと自主学習による自己改善の概念は刺激的で、今後の発展が楽しみです。」
「夢の中で、AIは人類に教えるのでしょうか？」
「少なくともグーグルは素晴らしい贈り物を届けてくれました！OpenAIはもう少し面白みに欠け始めています。」
「この閉環境下での自己学習方式はとても興味深いです。自己対戦や構造化されたインタラクションを通じて、エージェントは独自の訓練データを生成し、能力を向上させることができ、継続的な人的介入を必要としません。」
「これらのシステムが正しい質問をする方法を学ぶことが重要です。単に私たちが与えた問題を解決するだけでなく。」
「自己変更を行うシステムは現行アーキテクチャの制約を超えられるかもしれませんが、それは同時にAIが予測不可能な変更を行うことを意味しないでしょうか？このようなシステムを安全にテストし、展開するにはどうすればよいですか？」
「言語ゲームは強力な反復学習のサンドボックスです。これにより、AIは独自の問題を生成し、解決し、推論能力を最適化します。これはAGIへの大きな一歩です。」
「聞いただけで素晴らしく感じられます。」