の要点をまとめました。今日飛行機の中で最初の2章を丁寧に読みましたが、多くの興味深い内容が含まれていました。
機械学習モデル
過去10年間にわたって、多くの注目を集める機械学習モデルは産業界によって提供されており、その影響力は学界を大きく上回っています。これは主に、データの取得、計算リソース、財政的支援において産業界が学界よりも圧倒的な優位性を持っているためです。
国レベルでは、この分野で最も顕著な貢献をしているのはアメリカであり、次いでヨーロッパと中国が続きます。
モデルのパラメータ数から見ると、通常、訓練データが多いモデルほど多くのパラメータを持ち、また多くのパラメータを持つモデルは性能が優れている傾向があります。
計算リソースについて議論する際、私たちは通常PetaFLOPs（千万億回の浮動小数点演算）という単位で測定します。
基礎モデルの概要
基礎モデルに焦点を当てるとき、これらのモデルの多くが依然としてオープンソースであることに注意する必要があります。
注：基礎モデル（Foundation Model）と伝統的な機械学習モデルの関係は、基礎モデルが特定のタスク向けの機械学習モデルを構築するための強力な事前学習プラットフォームを提供することにあります。これらのモデルの事前学習能力を利用することで、大規模なデータトレーニングから始めることなく、新しい機械学習モデルをより効率的に訓練し、展開することができます。
過去1年間で、基礎モデルへの貢献においてGoogleがリードしており、その後をMetaが追っています。学界では、カリフォルニア大学バークレー校（UC Berkeley）の貢献が特に目立っています。
国レベルで見ると、アメリカが基礎モデルの開発と応用においてリーダーの地位にあり、中国がそれに次いでいます。
訓練コスト
一般大衆が最も興味を持ち、噂したい部分は、大規模モデルを遊ぶのにどれくらいの費用が必要かということです！
まず、トレーニングコストを推定してみましょう。
AIモデルのトレーニングコストは、その計算需要と直接的に関係しています。
トレーニング費用の継続的な上昇により、大学などの伝統的な人工知能研究拠点が最先端の基礎モデルを独自に開発することが事実上困難になっています。例えば、バイデン大統領のAIに関する行政命令は、産業界と学界の間のギャップを埋めるために、国立AI研究リソースを作ることで、産業界外の研究者に必要な計算力やデータリソースを提供し、より高度なAI研究を行えるようにすることを目指しています。
これは歴史的なアポロ計画に少し似ています。🐶