Ai-Hardware

역전파 없이 트랜스포머를 학습시키는 Dust 기법 분석

Q Labs가 공개한 Dust 논문을 바탕으로, 역전파 없이 활성값 노이즈 Perturbation으로 트랜스포머를 학습시키는 Zeroth-Order 기법의 원리와 메모리 및 연산 트레이드오프를 살펴봅니다.