Tuning

* 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다.

 

PEFT

모델의 전체 파라미터를 다 학습시키지 않고 매우 적은 양의 파라미터만 학습하여 빠른 시간 내에 새로운 문제를 거의 비슷한 성능으로 학습시키는 방법

 

LoRA(Low-Rank Adaptation of Large Language Models)

reparameterization

고정된 weight를 갖는 pretrained model에 학습이 가능한 rank decomposition 행렬을 삽입한 것

행렬의 차원을 r만큼 줄이는 행렬과 다시 원래 크기로 키워주는 행렬의 곱을 이용하여 줄인 행렬의 파라미터만 학습시키는 방법

 

QLoRA(Efficient Finetuning of Quantized LLMs)

4bit로 양자화된 모델을 LoRA 기법을 활용해 파인튜닝하는 방법

NF4(4-bit NormalFloat) + 이중 양자화 + 페이지드 옵티마이저(Paged Optimizer) 등을 사용하여 메모리 소모 줄임

메모리 소모를 줄일 수 있음

16비트로 되어있는 모델의 파라미터를 4비트로 축소

 

* 출처: https://arxiv.org/abs/2106.09685