Googleは最近、Gemmaを公開し、その重み情報を発表しました。
Gemmaはオープンウェイトモデルです。オープンウェイトとは、モデルの重み（つまりトレーニング後のパラメータ）が公開されており、ユーザーがそれらの重みを使用してモデルを実行したり、推論やファインチューニングを行うことができるという意味です。他のオープンソースモデルと比較すると、オープンソースはさらに広範な開放性を提供します。モデルの重みだけでなく、コード、アーキテクチャ、トレーニングプロセスも完全にオープンソース化されており、ユーザーは自由にアクセスして変更することができます。
Gemmaは、Vertex AIまたはGoogle Kubernetes Engine (GKE)を使用してGoogle Cloud上で展開およびトレーニングでき、テキスト生成の推論とTransformersによって実現されます。
また、Google Colabを使用することもでき、これは公式に提供されているコードです：
https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb
他のオープンモデルと比較した場合：
Gemma は、7B パラメータと 2B パラメータのバージョンの2つの規模で提供されています。
Gemma 7B は非常に強力なモデルで、消費級 GPU や TPU での効率的な展開と開発を目的としており、Mistral 7B を含む 7B パラメータクラスのモデルの中で最高性能と競うことができます。 Gemma 2B はそのサイズ範囲内では興味深いモデルであり、CPU およびデバイスエンドアプリケーションに適していますが、ランキングでのスコアは Phi 2 などの同クラスの最良モデルほど高くありません。
直接試してみたい場合は、こちらからアクセスできます：https://huggingface.co/chat?model=google/gemma-7b-it
以下は、Gemma モデルを使用して私がまとめた Gemma のパフォーマンスに関する回答です：
Googleの公式発表によると、Gemmaは新しい大規模言語モデルであり、テキスト要約、コード翻訳、質問応答などのタスクを完了することができます。以下はその性能の概要です：
特長:
高い正確性: テキスト要約、コード翻訳、質問応答などを含むさまざまなタスクで最先端のパフォーマンスを達成します。 T5とQNLGの評価において、PaLMやMegatron-Turing NLGなどの以前のモデルよりも優れたパフォーマンスを発揮します。 マルチモーダル能力: テキスト、コード、画像を処理でき、さまざまなタスクに適用可能です。 Pythonと他のプログラミング言語の間でコードを翻訳できます。 特定のトレーニングなしに: 大量のトレーニングを必要とせずに、スムーズにタスクを遂行できます。 タスク間の知識をより効率的に転移することができます。
課題:
リソース占有: 大量の計算リソースが必要であり、それがアクセス可能性を制限するかもしれません。 Googleは、その効率を向上させるために技術を開発していると述べています。 偏見: トレーニングデータからバイアスを継承する可能性があります。 Googleは、公平性を考慮したトレーニング技術を使用するなど、さまざまな方法でバイアスの軽減に努めています。
全体的に:
Gemmaはパフォーマンスが素晴らしく、多くのアプリケーションを進歩させる強力な言語モデルです。しかし、リソースの消費と潜在的なバイアスは解決すべき課題です。