Period.

2024 - 2025

• 일반 모델 변환 성공
• Stateful 모델 변환 성공
• 온디바이스 이식을 실험을 진행 중

Used Tools & Skills

Skills

• Core ML / MLCompute
• Swift
• On-device inference 파이프라인 구성

Motivation

• 모바일 키보드에서 사용할 수 있는 Apple CPU, GPU, NPU에 최적화된 ML모델을 구축하고 싶었습니다.
• 한정된 모바일 키보드 메모리 자원에서 CoreML은 메모리 추적이 되지 않는다는 것을 알고 키보드에서 AI를 통한 자동완성 추론 로직을 구현하고 싶었습니다.

Learned

• coremltools을 활용한 pytorch모델 변환 방법을 학습하였습니다
• iOS 18부터 소개된 KV-cache를 활용한 Stateful 모델로의 변환 로직을 학습하였습니다.