기간
2024 - 2025
- 일반 모델 변환 성공
- Stateful 모델 변환 성공
- 온디바이스 이식 실험 진행 중
사용 기술
기술
- Core ML / MLCompute
- Swift
- On-device inference 파이프라인 구성
시작한 이유
- 모바일 키보드에서 쓸 ML모델을 Apple CPU, GPU, NPU에 맞춰 만들고 싶었습니다.
- 키보드 환경에서는 CoreML의 메모리 사용량이 추적되지 않는다고 알고 있었습니다. 제한된 메모리 안에서 AI 자동완성 추론을 구현해 보고 싶었습니다.
개발 메모
- coremltools로 pytorch모델을 변환하는 방법을 익혔습니다.
- iOS 18에서 소개된 KV-cache로 Stateful 모델을 변환하는 방법을 익혔습니다.