トーマスは昨日、私に一記事を勧めました。「愛の機械たち - どうしてAIが世界をより良い場所に変えるか」（原題：Machines of Loving Grace - How AI Could Transform the World for the Better）。この記事の著者はアンソロピック（Anthropic）のCEOであるダリオ・アモデイです。ダリオはプリンストン大学で生物物理学の博士号を取得し、その後スタンフォード大学医学部でポスドク研究員を務めました。
懸念
記事の中で、ダリオはAIの発展に関する多くの懸念を提起しました：
：AI技術の基本的な進化とそれに伴う多くの（しかしすべてではない）利点は避けられないようです（リスクがすべてを狂わせる場合を除く）。このプロセスは主に強力な市場の力によって推進されています。一方で、リスクは既定ではありません。私たちの行動がこれらのリスクの発生確率を大きく変えることができます。
：AI企業がAIの利点について過度に喧伝すると、ネガティブな問題を回避しているように感じられ、さらには宣伝のように思われることがあります。私は、原則的に言えば、あまりにも「自分の立場からの発言」が多いことは個人の心にとっても害になると信じています。
：多くのAIリスクについて議論する公人（AI企業のリーダーに至るまで）がAGI（汎用人工知能）後の世界を描写する方法に違和感を感じることがよくあります。彼らはまるで預言者になり、人々を「救済」へと導いているかのようです。私は、企業を単独で世界を形作る力として見るのは危険であり、技術目標を宗教的な理解で捉えるのも不適切だと考えます。
：私は大多数の人々が強力なAIの可能性を過小評価していると思いますが、現在AIの極端な未来について議論する人々はしばしば「SF的」なトーンで話します（例えば意識のアップロード、宇宙探査、またはサイバーパンク風の未来など）。これにより、これらの主張が真剣に受け止められにくくなり、これらのアイデアに非現実的な色合いを与えてしまいます。明確にしておくべきですが、問題はこれらの技術が可能かどうか、どれほどの確率で実現するか（本文では詳細に議論されています）ではなく、この「雰囲気」が含む文化的な負荷や明示されていない仮定に関係しています。それは、我々が望む未来とは何か、そして社会問題がどのように進化するのかに関連しています。最終的には、このような議論は少数のサブカルチャーの幻想のように感じられ、多くの人々を疎外させます。（昨日見たイーロン・マスクのプレゼンテーションはまさにこのSFルートでした。）
もまた欠かせません。
基本的な前提とフレームワーク
ダリオは「AGI」（汎用人工知能）よりも「powerful AI」という表現を使うことを好み、そのようなAIは今日の大規模言語モデル（LLM）に似ているかもしれませんが、異なるアーキテクチャや学習方法に基づいている可能性があります。そのAIにはいくつかの重要な特性があり、簡単にまとめると「
：生物学、プログラミング、数学、エンジニアリング、執筆などの関連分野において、このAIは純粋な知能においてノーベル賞受賞者さえ上回ります。未解決の数学定理を証明したり、非常に複雑なコードを書いたり、優れた小説を執筆することさえ可能です。
：単に「対話できるエージェント」ではなく、このAIは人類が仮想環境で操作可能なすべてのインターフェースを持っています。テキスト、音声、ビデオ、マウスやキーボードの制御、インターネットアクセスなどです。これらを通じて、インターネット上でタスクを遂行したり、人間に指示を送信したり受け取ったり、材料を注文したり、実験を指揮したり、ビデオを見たり作成したりすることができます。これらのタスクの遂行能力は世界最高峰の人間を超えています。
：このAIは単に質問に答えるだけでなく、数時間、数日、あるいは数週間かかるタスクを割り当てられ、賢い従業員のように独立してそれを遂行できます。必要があればのみ質問します。
：AIは物理的な形態を持っていません（コンピュータ画面を通して表示されるものを除く）が、既存の物理ツール、ロボット、実験装置などをコンピュータ経由で操作できます。理論上、AIは自分専用のロボットや装置を設計することも可能です。
：このAIを訓練するためのリソースは再利用でき、数百万のインスタンスを実行できます（2027年までにクラスタ規模に達すると予測されています）。これらのインスタンスは人間の10倍から100倍の速度で情報を吸収し、行動を生成します。ただし、物理的な世界やそれに相互作用するソフトウェアの応答時間に制限されることがあります。
：各インスタンスは異なるタスクを個別に遂行でき、また人間同様に複数のインスタンスが一緒に働くこともできます。さらに、タスクのニーズに応じて異なるサブグループを微調整し、特定のタスクでより優れたパフォーマンスを発揮させることも可能です。
ダリオが挙げた経済学者の例は面白いものです：一般的には生産要素の限界利益について議論されます。例えば労働力、土地、資本などです。簡単に言えば、特定の状況下で特定の生産要素が制約要因となることがあります。例えば、空軍には飛行機もパイロットも必要ですが、飛行機が不足している場合、パイロットを増やすだけでは役に立ちません。
つまり、AI時代には「知能の限界利益」（marginal returns to intelligence）について議論を始めるべきです。AIの知能レベルが高くなるにつれ、他の要素が知能を補完するものであり、知能が極めて高いレベルに達したとき、どのような要因が新しいボトルネックや制約になるかを理解する必要があります。
したがって、知能がどのように生産や問題解決のスピードや効果に影響を与えるかを考えるために、私たちは次のような質問をする必要があります：
how much does being smarter help with this task, and on what timescale?
Limit
ダリオが挙げた主要な制約は以下の通りです：
：ハードウェア、素材科学、人間とのコミュニケーション、さらには既存のソフトウェア基盤にも速度の上限があります。さらに、科学実験は通常連続的であり、一つの実験が次の実験の結果に依存します。これは、大きなプロジェクト（例えば癌治療法の開発）を完了するのに最低限必要な時間が短縮できないことを意味します。知能が向上しても、この速度は速められません。
：例えば、現代の粒子物理学者たちは非常に賢く、多くの理論を提案していますが、粒子加速器が提供するデータが限られているため、十分な証拠がないために異なる理論を検証したり選択したりできません。AIが超知能になっても、データが不足している場合、大幅な進展は難しいかもしれません。
：一部の事象は本質的に予測不可能または混乱しており、最も強力なAIであっても人間や現在のコンピュータよりも有意に良い予測ができません。例えば、三体問題における混沌系の予測では、AIの優位性は現在の技術よりも少し先まで予測できる程度に限定されます。
：法律を破ったり、人間に害を与えたり、社会を壊すことなく多くのことは達成できません。原子力、超音速飛行、さらにはエレベーターの技術は非常に進んでいますが、規制や恐怖のためにその影響は大幅に弱められています。
：これが最初の制約のより厳格なバージョンです。いくつかの物理法則は破ることができないと考えられます。例えば、光速を超えられないこと、混ざったプディングを元に戻せないこと、チップ上のトランジスタ数には平方センチメートルあたりの限界があり、一定範囲を超えると信頼性が失われることなどです。計算には各ビットを消去するために一定のエネルギーが必要であり、これにより世界の計算密度に制限が加えられます。
Timescale
短期的には、いくつかの要因はAIが突破できない硬い制約かもしれませんが、長期的にはこれらの制約がより柔軟になる可能性もあります。例えば：
：AIは新しい実験方法を開発し、以前は動物実験が必要だったデータを今ではin vitro（試験管内）で得られるようになるかもしれません。 ：AIは私たちに新しいツールを設計し建造する手助けをし、例えばより大きな粒子加速器を作ることで現在不足している科学データを得ることができます。 ：倫理の範囲内で、AIは臨床試験システムを改善し、官僚主義を減らし、さらには新しい司法管轄区域を創造することで、臨床試験をより効率的かつコストを低くすることが可能かもしれません。また、AIは新しい科学技術を開発し、人間の臨床試験の必要性を減らす手助けをするかもしれません。
私たちは知能の役割を動的な視点から見るべきです。初期段階では、知能は他の生産要素によって深刻に制約されますが、時間が経つにつれてAIはこれらのボトルネックを回避する方法を見つけ出すでしょう（例えば物理法則のようなものは完全には消えないでしょう）。
もう一つ私たちが考えるべき質問は：
How fast does it all happen and in what order?
明日のノートでは、この5つの領域から始め、AIが人間の生活を直接的にどのように改善する可能性があるかを分析します：
生物学と身体的健康 神経科学と精神的健康 経済発展と貧困問題 平和と統治 仕事と意味