Attention: 문맥에 따라 집중할 단어를 결정하는 방식 Encoder: input 를 압축 데이터(context vector)로 변환 및 출력 Decoder: 압축 데이터(context vector)를 입력받아 output data로 출력

단어 임베딩이란 단어를 벡터로 표현하는 방법입니다. 희소 표현(Sparse Representation): 표현하고자 하는 단어의 인덱스 값만 1, 나머지는 0 (Ex. 창문 = [1, 0, 0]) 밀집 표현(Dense Representation): 사용자가 설정한 값으로 단어의 벡터 차원 설정 (Ex. 창문 = [0.2, -1.1, 0.9]) 단어 임베딩은 단어를 밀집 표현 형태로 표현합니다. Word2Vec분산표현(Distributed Representation)비슷한 문맥에서 등장하는 단어는 비슷한 표현을 갖는다는 가정단어의 의미를 여러 차원에 분산하여 표현단어 벡터 간 유의미한 유사도 계산 가능CBOW(Continuous Bag of Words): 주변에 있는 단어들을 입력으로 중간에 있는 단어 예..

유용성: 질문에 대해 도움이 되는 데이터 안전성: 안전한 대답과 그렇지 않은 대답 데이터 torch.no_grad() gradient 계산 context 비활성화 함수 pytorch의 autograd engine 비활성화시켜 더이상 gradient 트래킹 X 필요한 메모리 감소 및 연산속도 증가

DPO(Directly Preference Optimization): 두 모델 간의 대답 분포도를 비교하여 사용자가 원하는 대답으로 분포를 맞추는 방법RLHF: 인간의 피드백을 사용하여 ML 모델을 최적화함으로써 자가 학습을 보다 효율적으로 수행하는 기계 학습Depth-Up scaling: LLM의 효율적인 확장을 위한 깊이 기반 스케일링과 지속적인 사전 훈련RAG(Retrieval Augmented Generation)PEFT(Parameter-Efficient Fine-Tuning): 효율적 파라미터 파인 튜닝Zero-shot learning: 모델이 학습 데이터셋에서 본 적 없는 완전히 새로운 카테고리나 작업에 대해 성능을 발휘하는 학습 방식Few-shot learningTraining set, S..

평가지표 내용 추론능력 (ARC) - ARC(AI2 Reasoning Challenge) - AI가 질문에 대한 답변이 얼마나 적절한지 측정 - 과학적 사고와 이해를 평가하기 위한 테스트 - 과학 문제를 해결하는 데 필요한 추론 능력 측정 상식능력 (HellaSwag) - AI가 짧은 글 및 지시사항에 알맞은 문장을 생성하는지 측정 - 주어진 상황에서 가장 가능성 있는 다음 시나리오를 예측하는 능력 테스트 언어이해력 (MMLU) - MMLU(Massive Multitask Language Understanding) - 다양한 분야의 질문에 대한 답변이 얼마나 정확한지 측정 환각방지능력 (TruthfulQA) - AI가 생성한 답변이 얼마나 진실한지 측정 한국어상식생성능력 (KoCommonGEN V2) -..

랭체인(LangChain)이란?언어모델(Language)과 외부도구를 마치 사슬(Chain)처럼 결합앵무새는 언어의 의미를 진정으로 이해하지 못한 채 단지 방대한 데이터를 학습한 후 확률적으로 나오는 단어를 조합하여 앵무새처럼 따라하는 확률적 앵무새(Stochastic Parrots) ModulesModel I/O: 언어모델과의 인터페이스Data Connection: 애플리케이션별 데이터와의 인터페이스Chains: 호출 시퀀스 구축Agents: 상위 지시문이 주어지면 체인이 사용할 툴을 선택할 수 있도록 함Memory: 체인 실행 간에 애플리케이션 상태 유지Callback: 체인의 중간 단계를 기록 및 스트리밍