딥러닝 모델을 학습할 때 보통 모델 구조나 성능에 집중하지만, 실제로는 메모리와 연산 자원(resource)이 훨씬 더 중요한 제약 조건이 됩니다. 특히 대규모 모델을 다루게 되면 이 모델이 주어진 자원으로 학습 가능한지 자체가 가장 먼저 해결해야 할 이슈입니다. 이번 글에서는 Stanford CS336 강의를 기반으로, PyTorch 관점에서 딥러닝 학습 시 어떤 요소들이 메모리와 연산량을 결정하는지를 정리해보았습니다. 단순한 개념 설명이 아니라, 실제로 모델을 학습할 때 반드시 알아야 하는 resource accounting 관점에 초점을 맞추려고 합니다. - 딥러닝 학습 = 텐서가 차지하는 메모리 + 그 텐서들에 대해 수행하는 FLOPs 계산- 학습 전에 메모리·연산량·시간을 계산하는 것 중요 - ..

YOLO는 실시간 객체 탐지를 위한 딥러닝 모델로, 한 번의 신경망 연산으로 이미지 내의 객체를 빠르게 탐지할 수 있는 것이 특징입니다. YOLO 모델에 대한 설명은 이전 포스팅을 참고해주세요. YOLOv10 모델 구조YOLO(You Only Look Once)는 객체 감지 및 이미지 분할 모델입니다. 2015년 출시된 YOLO 모델은 빠른 속도와 정확성으로 널리 사용되었습니다. YOLOv10은 Ultralytics 파이썬 패키지를 기반으로 구축되어 실시bompro.tistory.com 아래는 YOLO 모델을 로컬 환경에서 실행하는 코드입니다. 1. 가상환경 생성conda create -n yolov10 python=3.10conda activate yolov10 2. 의존성 패키지 설치git clon..

YOLO(You Only Look Once)는 객체 감지 및 이미지 분할 모델입니다. 2015년 출시된 YOLO 모델은 빠른 속도와 정확성으로 널리 사용되었습니다. YOLOv10은 Ultralytics 파이썬 패키지를 기반으로 구축되어 실시간 객체 감지에 대한 새로운 접근 방식을 도입하였습니다. 이전 YOLO 버전에서 NMS를 제거하고 End-to-End Head를 도입하여 실시간 객체 탐지 기능을 향상시켰습니다. 실시간 물체 감지는 짧은 지연 시간으로 이미지에서 물체의 범주와 위치를 정확하게 예측하는 것을 목표로 합니다. 그러나 기존 YOLO 모델은 NMS에 대한 의존도와 아키텍처의 비효율성이 성능을 저해했습니다. YOLOv10은 NMS 없는 학습을 위한 Consistent Dual Assignment..

LLM 모델 추론이나 학습에 필요한 허깅페이스 모델을 로컬로 다운받는 방법입니다. 1. huggingface-cli 로그인pip install huggingface_hub huggingface cli를 위한 패키지를 설치하고 https://huggingface.co/settings/tokens 에서 토큰을 발급받아 로그인합니다.huggingface-cli login 2. 허깅페이스 모델 접근 권한 획득 권한 부여 상태는 설정에서 확인 가능합니다. Hugging Face – The AI community building the future. huggingface.co 3. 로컬 다운로드git clone https://huggingface.co/{모델 주소} 4. .git 파일 삭제rm -rf .git..

지난 11월 11~12일 팀 네이버에서 DAN24 컨퍼런스를 개최했습니다. 여러 세션 중 첫째날 진행한 [네이버 검색이 이렇게 좋아졌어? LLM의 Re-Ranking Ability 검색에 이식하기] 트랙에 대한 내용을 정리해보고자 합니다.  검색에서의 LLM검색에서 LLM은 문서의 순위를 정렬하는 Ranker로 사용됩니다. 문서를 검색해서 사용자의 query와 유사한 문서인지 순위를 매깁니다. 순위를 매기는 방법으로는 크게 두가지가 있습니다. List-wise 방법과 Point-wise 방법입니다. List-wise는 문서 전체를 고려하여 query와의 유사도를 ranking합니다. Point-wise는 각 문서에 대해 개별적으로 query와의 유사도를 판단합니다. 이런 방법은 실시간으로 검색 결과를 제..

G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentThe quality of texts generated by natural language generation (NLG) systems is hard to measure automatically. Conventional reference-based metrics, such as BLEU and ROUGE, have been shown to have relatively low correlation with human judgments, especiallyarxiv.org G-Eval은 사람이 아닌 GPT4를 사용해서 평가하는 방법론입니다. 해당 방법론을 활용해서 LLM을 평가하고자 논문에서 예시로..

HAE-RAE Bench는 언어 모델의 한국어 능력을 평가하기 위해 제작된 벤치마크 데이터셋입니다. 여러 언어 모델이 공개되면서 한국어만 하는 언어 모델이 필요한가에 대한 논의가 활발해지고 있는데, HAE-RAE Bench는 이에 대한 가이드를 주고자 합니다. 이는 한국어의 고유한 특성과 지식을 반영한 Instruction 데이터셋입니다. 한국어 어휘, 독해, 문법과 지식, 총 4가지 영역에 걸쳐 언어 모델의 능력을 평가하는 벤치마크입니다.    평가 메트릭으로는 log-likelihood를 사용했습니다. 각 답변에 대해 log-likelihood를 계산하여 가장 높은 likelihood를 선택하는 방식입니다.    출처https://arxiv.org/abs/2309.02706https://github..

Positional Embedding은 BERT에서 토큰의 상대적인 위치를 나타내기 위해 사용하는 방법입니다. Positional Embedding에서는 Sine과 Cosine 함수를 사용합니다. 그 이유는 아래와 같습니다. 입력값에 따라 달라지는 함수값규칙적으로 증가하거나 감소입력값의 범위에 대한 제한이 없음 Sine과 Cosine 함수는 항상 -1과 1 사이의 값을 가집니다. 절대적인 위치를 사용할 경우 학습 데이터보다 긴 데이터는 입력할 수 없습니다. Positional Embedding에서는 상대적인 위치를 사용하여 학습데이터보다 긴 데이터도 입력할 수 있습니다. * 출처: https://arxiv.org/abs/1810.04805

* 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. PEFT모델의 전체 파라미터를 다 학습시키지 않고 매우 적은 양의 파라미터만 학습하여 빠른 시간 내에 새로운 문제를 거의 비슷한 성능으로 학습시키는 방법 LoRA(Low-Rank Adaptation of Large Language Models)고정된 weight를 갖는 pretrained model에 학습이 가능한 rank decomposition 행렬을 삽입한 것행렬의 차원을 r만큼 줄이는 행렬과 다시 원래 크기로 키워주는 행렬의 곱을 이용하여 줄인 행렬의 파라미터만 학습시키는 방법 QLoRA(Efficient Finetuning of Quantized LLM..

* 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. 프롬프트 엔지니어링에서 답변을 위해서 적절한 컨텍스트를 제공하는 것이 가장 중요합니다. 적절한 컨텍스트를 제공하는 방법이 벡터 서치입니다. 벡터 서치에 사용되는 개념은 아래와 같습니다. Embedding텍스트를 실수의 집합인 벡터로 만드는 것단어가 어느 차원에 위치하는지 표현단어가 유사한 의미를 가지면 근처에 위치하도록 함Vector Search임베딩 스페이스에서 서로 유사한 것들끼리 찾도록 함각 요소간의 거리를 distance 혹은 similarity라고 함Semantic Search는 의미 기반 서치를 의미ANN차원이 커지면서 고차원의 벡터를 비교하는 데 속..