、今日はDay2でどのAI関連技術や製品が言及されたか見てみましょう。
補助プログラミング
Code Completion Swift Assist
ハードウェア基盤
端末での機械学習(On-device ML)は主にAppleのハードウェアサポートに依存しています:
統合メモリ(unified memory)、CPU、GPU およびニューラルエンジン(Neural Engine)内の機械学習アクセラレーター(ML accelerators)により、効率的かつ低遅延の推論能力が構築されます。
Vision
テキスト抽出 顔認識 身体姿勢認識
Translation
シンプルなUI 柔軟なAPI Swift Assist 効率的なバッチ処理
CreateML
独自のデータを使ってモデルを訓練する
ターゲット追跡 データソースの探求 時系列モデル
デバイス上でモデルを実行
HuggingFaceからダウンロードした様々なモデルをローカルで実行できます:Whisper、Stable Diffusion、Mistral、LLama、Falcon、CLIP、Qwen、OpenELM。
訓練(macOS上での訓練が可能です) 準備(Core MLツールを使用) 統合(Core MLを使用)
研究貢献
MLX
MLXは、Apple Silicon上で効率的かつ柔軟な機械学習を実現することを目指したNumPyのような配列フレームワークで、Appleの機械学習研究チームによって提供されています。
CoreNet
CoreNetは、深層ニューラルネットワークツールキットで、研究者やエンジニアが標準的なモデルや新しい種類の大規模・小規模モデルを様々なタスクのために訓練できるようにします。これには基礎モデル(例: CLIPやLLM)、オブジェクト分類、オブジェクト検出、セマンティックセグメンテーションなどが含まれます。
OpenELM
OpenELMは、オープンなトレーニングと推論フレームワークを持つ効率的な言語モデルファミリーです。OpenELMは、Transformerモデルの各層でパラメータを効率的に分配する階層的なスケーリング戦略を使用し、精度を向上させます。例えば、約10億のパラメータ予算において、OpenELMの精度はOLMoより2.36%向上し、さらに2倍少ない事前学習データが必要です。
さらなる研究貢献はhttps://machinelearning.apple.com/で確認できます。