전체 글

* 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. PEFT모델의 전체 파라미터를 다 학습시키지 않고 매우 적은 양의 파라미터만 학습하여 빠른 시간 내에 새로운 문제를 거의 비슷한 성능으로 학습시키는 방법 LoRA(Low-Rank Adaptation of Large Language Models)고정된 weight를 갖는 pretrained model에 학습이 가능한 rank decomposition 행렬을 삽입한 것행렬의 차원을 r만큼 줄이는 행렬과 다시 원래 크기로 키워주는 행렬의 곱을 이용하여 줄인 행렬의 파라미터만 학습시키는 방법 QLoRA(Efficient Finetuning of Quantized LLM..

* 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. 프롬프트 엔지니어링에서 답변을 위해서 적절한 컨텍스트를 제공하는 것이 가장 중요합니다. 적절한 컨텍스트를 제공하는 방법이 벡터 서치입니다. 벡터 서치에 사용되는 개념은 아래와 같습니다. Embedding텍스트를 실수의 집합인 벡터로 만드는 것단어가 어느 차원에 위치하는지 표현단어가 유사한 의미를 가지면 근처에 위치하도록 함Vector Search임베딩 스페이스에서 서로 유사한 것들끼리 찾도록 함각 요소간의 거리를 distance 혹은 similarity라고 함Semantic Search는 의미 기반 서치를 의미ANN차원이 커지면서 고차원의 벡터를 비교하는 데 속..

* 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. 모델링 혹은 파인튜닝 필요한 경우 숫자를 예측하는 선형 회귀 문제 대량의 로그성 데이터의 실시간 처리 특수 목적의 매우 높은 정밀도를 요구하는 문제 데이터의 최신성이 중요하지 않은 경우 데이터 보안이 매우 중요한 경우 프롬프트 엔지니어링이란? : 인공지능 모델이 이해하여 원하는 결과물을 제공할 수 있도록 프롬프트 입력값을 최적화하는 과정 프롬프트 엔지니어링 종류 Zero-shot: 앞의 정보 없이 명령 One-shot: 하나의 예시를 주면서 명령 Few-shot: 여러 예시를 주면서 명령 Chain of Thought: 생각하는 방식의 가이드를 제공 Zero S..