期間
2024 - 2025
- 通常モデルの変換に成功
- Statefulモデルの変換に成功
- オンデバイスへの移植を実験中
使用ツール・スキル
スキル
- Core ML / MLCompute
- Swift
- オンデバイス推論パイプライン構成
動機
- モバイルキーボードで使える、Apple CPU、GPU、NPUに最適化したMLモデルを作りたかった。
- キーボード環境ではCoreMLのメモリ使用量が追跡されないと知り、限られたメモリ内でAIによる入力補完の推論処理を実装したいと考えた。
学んだこと
- coremltoolsを使ったPyTorchモデルの変換方法を学習。
- iOS 18で導入されたKV-cacheを使い、Statefulモデルへ変換する方法を研究。