Q Labs에서 역전파 없이 트랜스포머 언어 모델을 학습시키는 Dust 기법을 공개했습니다. 미분 연산과 역방향 그래프 계산 없이 순방향 패스만으로 가중치를 업데이트하는 Zeroth-Order 접근법입니다. 메모리 병목이 심해진 하드웨어 환경에서 역전파의 대안을 제시합니다.

토큰 단위 노이즈 주입과 오차 추정

Dust는 토큰마다 활성값(Activation)에 노이즈를 독립적으로 주입하는 Node Perturbation 방식을 사용합니다. 역전파가 연쇄법칙으로 오차를 직접 계산하는 반면, Dust는 손실 변화량을 측정해 오차를 통계적으로 추정합니다. 각 토큰이 가상의 인구 역할을 수행하므로 한 번의 순방향 패스로 대규모 평가를 병렬 처리합니다. 오차 추정 정밀도는 노이즈 시도 횟수 K 가 증가할수록 역전파의 Gradient 신호에 수렴합니다. 정렬이 뛰어납니다.

연산과 메모리의 트레이드오프 구조

Dust는 역방향 그래프를 유지하지 않아 Activation 및 옵티마이저 상태 메모리 사용량을 크게 줄입니다. 미분 불가능한 연산 구조도 학습 대상에 포함합니다. 대가로 동일한 신호 품질을 얻기 위해 많은 순방향 연산이 요구됩니다. 소모가 큽니다.

기존 Weight-space 진화 전략 방식인 EGGROLL 대비 10^3-10^4배 뛰어난 연산 효율성을 보였습니다. 2억 4천만(243M) 파라미터 및 10억(1B) 토큰 환경까지 오차 추정 신호의 안정성을 입증했습니다. 모델 스케일이 커질수록 인구 효율성이 높아지는 특징을 나타냈습니다.

하드웨어 병목 관점에서의 시사점

현재 LLM 학습과 추론의 주요 병목은 연산량보다 메모리 대역폭과 용량입니다. GPU 연산 자원에 여유가 있다면 메모리를 아끼고 연산을 더 쓰는 설계가 실용적인 이점을 제공합니다. 역전파 중심 패러다임 바깥에서 새로운 가능성을 제시한 시도입니다.

요약

  • Dust는 토큰별 Activation Perturbation을 통해 역방향 그래프 없이 순방향 패스만으로 오차를 추정하는 Zeroth-Order 학습 방식을 구현했습니다.
  • 기존 ES 기법인 EGGROLL 대비 10^3-10^4배 높은 연산 효율을 달성했으며 모델 규모가 커질수록 인구 효율성이 증가하는 확장성을 보였습니다.
  • 메모리 대역폭 병목이 극심한 최근 AI 하드웨어 지형에서 연산량을 늘리고 메모리 점유를 줄이는 새로운 학습 가능성을 제시했습니다.