WWDC24 Day2 AIに関連する内容

、今日はDay2でどのAI関連技術や製品が言及されたか見てみましょう。

補助プログラミング

  • Code Completion
  • Swift Assist

ハードウェア基盤

端末での機械学習(On-device ML)は主にAppleのハードウェアサポートに依存しています:

統合メモリ(unified memory)、CPU、GPU およびニューラルエンジン(Neural Engine)内の機械学習アクセラレーター(ML accelerators)により、効率的かつ低遅延の推論能力が構築されます。

Vision

  • テキスト抽出
  • 顔認識
  • 身体姿勢認識

Translation

  • シンプルなUI
  • 柔軟なAPI Swift Assist
  • 効率的なバッチ処理

CreateML

独自のデータを使ってモデルを訓練する

  • ターゲット追跡
  • データソースの探求
  • 時系列モデル

デバイス上でモデルを実行

HuggingFaceからダウンロードした様々なモデルをローカルで実行できます:Whisper、Stable Diffusion、Mistral、LLama、Falcon、CLIP、Qwen、OpenELM。

  1. 訓練(macOS上での訓練が可能です)
  2. 準備(Core MLツールを使用)
  3. 統合(Core MLを使用)

研究貢献

MLX

MLXは、Apple Silicon上で効率的かつ柔軟な機械学習を実現することを目指したNumPyのような配列フレームワークで、Appleの機械学習研究チームによって提供されています。

CoreNet

CoreNetは、深層ニューラルネットワークツールキットで、研究者やエンジニアが標準的なモデルや新しい種類の大規模・小規模モデルを様々なタスクのために訓練できるようにします。これには基礎モデル(例: CLIPやLLM)、オブジェクト分類、オブジェクト検出、セマンティックセグメンテーションなどが含まれます。

OpenELM

OpenELMは、オープンなトレーニングと推論フレームワークを持つ効率的な言語モデルファミリーです。OpenELMは、Transformerモデルの各層でパラメータを効率的に分配する階層的なスケーリング戦略を使用し、精度を向上させます。例えば、約10億のパラメータ予算において、OpenELMの精度はOLMoより2.36%向上し、さらに2倍少ない事前学習データが必要です。

さらなる研究貢献はhttps://machinelearning.apple.com/で確認できます。