- 유용성: 질문에 대해 도움이 되는 데이터
- 안전성: 안전한 대답과 그렇지 않은 대답 데이터
torch.no_grad()- gradient 계산 context 비활성화 함수
- pytorch의 autograd engine 비활성화시켜 더이상 gradient 트래킹 X
- 필요한 메모리 감소 및 연산속도 증가
'LLM' 카테고리의 다른 글
| Attention (0) | 2024.01.22 |
|---|---|
| Word Embedding (0) | 2024.01.20 |
| 개념 (0) | 2024.01.17 |
| LLM 평가지표 (0) | 2024.01.13 |
| LangChain (1) | 2024.01.13 |