Transformer

Q Labs가 공개한 Dust 논문을 바탕으로, 역전파 없이 활성값 노이즈 Perturbation으로 트랜스포머를 학습시키는 Zeroth-Order 기법의 원리와 메모리 및 연산 트레이드오프를 살펴봅니다.

iMessage 대화 기록을 학습하여 개인의 말투를 모방하는 소형 Transformer 모델을 Mac에서 직접 구축하는 파이프라인을 소개합니다.