Apple-Silicon

Apple Silicon 환경에서 KV 캐시를 SSD로 계층화하고 Continuous Batching을 지원하는 로컬 LLM 추론 서버 oMLX를 소개합니다.

알리바바의 Qwen 3.8 27B 모델을 기반으로 가드레일을 약화한 무삭제 변형 모델이 공개되었습니다. 엔비디아 GPU나 클라우드 서버 없이 애플 실리콘의 통합 메모리와 GGUF 양자화를 활용해 맥북 로컬 환경에서 직접 구동합니다.

OpenAI Whisper 모델을 한국어 구어체 데이터로 파인튜닝하고 맥북 로컬 환경에서 Metal 가속으로 빠르게 구동하는 무료 온디바이스 STT 도구 batisay를 소개합니다.