Kv-Cache

한 개발자가 DeepSeek 4.1 Flash를 한 달간 12개 프로젝트에 써 보고 남긴 사용기입니다. 작업당 비용 차이, 저렴한 모델과 Opus 5.5를 나눠 쓰는 방식, KV 캐시 축소가 긴 세션 비용에 주는 영향을 정리했습니다.

Apple Silicon 환경에서 KV 캐시를 SSD로 계층화하고 Continuous Batching을 지원하는 로컬 LLM 추론 서버 oMLX를 소개합니다.