티스토리

To be professional
검색하기

블로그 홈

To be professional

bompro.tistory.com/m

Data Scientist

구독자
0
방명록 방문하기

주요 글 목록

  • 허깅페이스 모델 로컬 다운로드 LLM 모델 추론이나 학습에 필요한 허깅페이스 모델을 로컬로 다운받는 방법입니다.  1. huggingface-cli 로그인pip install huggingface_hub huggingface cli를 위한 패키지를 설치하고 https://huggingface.co/settings/tokens 에서 토큰을 발급받아 로그인합니다.huggingface-cli login  2. 허깅페이스 모델 접근 권한 획득 3. 로컬 다운로드git clone https://huggingface.co/{모델 주소}  4. .git 파일 삭제rm -rf .gitrm -rf .gitattributes  5. 파일 압축 (tar 또는 tar.gz)tar -cvf {파일명}.tar {폴더명}tar -zcvf {파일명}.tar.gz.. 공감수 1 댓글수 0 2024. 11. 27.
  • RRADistill 지난 11월 11~12일 팀 네이버에서 DAN24 컨퍼런스를 개최했습니다. 여러 세션 중 첫째날 진행한 [네이버 검색이 이렇게 좋아졌어? LLM의 Re-Ranking Ability 검색에 이식하기] 트랙에 대한 내용을 정리해보고자 합니다.  검색에서의 LLM검색에서 LLM은 문서의 순위를 정렬하는 Ranker로 사용됩니다. 문서를 검색해서 사용자의 query와 유사한 문서인지 순위를 매깁니다. 순위를 매기는 방법으로는 크게 두가지가 있습니다. List-wise 방법과 Point-wise 방법입니다. List-wise는 문서 전체를 고려하여 query와의 유사도를 ranking합니다. Point-wise는 각 문서에 대해 개별적으로 query와의 유사도를 판단합니다. 이런 방법은 실시간으로 검색 결과를 제.. 공감수 2 댓글수 1 2024. 11. 26.
  • G-Eval Prompt G-Eval: NLG Evaluation using GPT-4 with Better Human AlignmentThe quality of texts generated by natural language generation (NLG) systems is hard to measure automatically. Conventional reference-based metrics, such as BLEU and ROUGE, have been shown to have relatively low correlation with human judgments, especiallyarxiv.org G-Eval은 사람이 아닌 GPT4를 사용해서 평가하는 방법론입니다. 해당 방법론을 활용해서 LLM을 평가하고자 논문에서 예시로.. 공감수 0 댓글수 0 2024. 2. 27.
  • HAE-RAE Bench HAE-RAE Bench는 언어 모델의 한국어 능력을 평가하기 위해 제작된 벤치마크 데이터셋입니다. 여러 언어 모델이 공개되면서 한국어만 하는 언어 모델이 필요한가에 대한 논의가 활발해지고 있는데, HAE-RAE Bench는 이에 대한 가이드를 주고자 합니다. 이는 한국어의 고유한 특성과 지식을 반영한 Instruction 데이터셋입니다. 한국어 어휘, 독해, 문법과 지식, 총 4가지 영역에 걸쳐 언어 모델의 능력을 평가하는 벤치마크입니다.    평가 메트릭으로는 log-likelihood를 사용했습니다. 각 답변에 대해 log-likelihood를 계산하여 가장 높은 likelihood를 선택하는 방식입니다.    출처https://arxiv.org/abs/2309.02706https://github.. 공감수 0 댓글수 0 2024. 2. 25.
  • M1 Mac brew install 오류 brew install [package name] 터미널에서 명령어를 수행하면 다음과 같은 오류가 발생합니다. Error: Cannot install under Rosetta 2 in ARM default prefix (/opt/homebrew)! To rerun under ARM use: arch -arm64 brew install ... To install under x86_64, install Homebrew into /usr/local. 이는 intel과 m1의 경로차이 때문에 생기는 오류입니다. 앞에 arch -arm64를 붙이면 해결하실 수 있습니다. arch -arm64 brew install [pacakge name] 공감수 0 댓글수 0 2024. 2. 22.
  • [Clean Code] 1장 깨끗한 코드 프로그래밍은 기계가 실행할 정도로 상세하게 요구사항을 명시하는 작업이며, 이렇게 명시한 결과가 바로 코드다. 궁극적으로 코드는 요구사항을 표현하는 언어이다. 르블랑의 법칙(leblanc's Law): 나중에 코드를 정리하겠다고 하지만, 나중은 결코 오지 않는다.나쁜 코드가 샇일수록 팀 생산성은 떨어진다.요구사항 변경, 일정 등의 핑계를 대나, 잘못은 전적으로 프로그래머에게 있다.빨리 가는 유일한 방법은 언제나 코드를 최대한 깨끗하게 유지하는 습관이다.비야네 스트롭스트룹(C++ 창시자)보는 사람에게 즐거움을 선사해야 한다.속도 뿐만 아니라 CPU 자원을 낭비하지 않는 코드오류 없이 세세한 사항까지 꼼곰하게 처리하는 코드한 가지를 잘하는 코드그래드 부치잘 쓴 문장처럼 읽힌다.설계자의 의도를 숨기지 않는다.추.. 공감수 0 댓글수 0 2024. 2. 20.
  • Positional Embedding Positional Embedding은 BERT에서 토큰의 상대적인 위치를 나타내기 위해 사용하는 방법입니다. Positional Embedding에서는 Sine과 Cosine 함수를 사용합니다. 그 이유는 아래와 같습니다. 입력값에 따라 달라지는 함수값규칙적으로 증가하거나 감소입력값의 범위에 대한 제한이 없음 Sine과 Cosine 함수는 항상 -1과 1 사이의 값을 가집니다. 절대적인 위치를 사용할 경우 학습 데이터보다 긴 데이터는 입력할 수 없습니다. Positional Embedding에서는 상대적인 위치를 사용하여 학습데이터보다 긴 데이터도 입력할 수 있습니다. * 출처: https://arxiv.org/abs/1810.04805 공감수 0 댓글수 0 2024. 2. 11.
  • Tuning * 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. PEFT모델의 전체 파라미터를 다 학습시키지 않고 매우 적은 양의 파라미터만 학습하여 빠른 시간 내에 새로운 문제를 거의 비슷한 성능으로 학습시키는 방법 LoRA(Low-Rank Adaptation of Large Language Models)고정된 weight를 갖는 pretrained model에 학습이 가능한 rank decomposition 행렬을 삽입한 것행렬의 차원을 r만큼 줄이는 행렬과 다시 원래 크기로 키워주는 행렬의 곱을 이용하여 줄인 행렬의 파라미터만 학습시키는 방법 QLoRA(Efficient Finetuning of Quantized LLM.. 공감수 0 댓글수 0 2024. 2. 9.
  • Vector Search * 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. 프롬프트 엔지니어링에서 답변을 위해서 적절한 컨텍스트를 제공하는 것이 가장 중요합니다. 적절한 컨텍스트를 제공하는 방법이 벡터 서치입니다. 벡터 서치에 사용되는 개념은 아래와 같습니다. Embedding 텍스트를 실수의 집합인 벡터로 만드는 것 단어가 어느 차원에 위치하는지 표현 단어가 유사한 의미를 가지면 근처에 위치하도록 함 Vector Search 임베딩 스페이스에서 서로 유사한 것들끼리 찾도록 함 각 요소간의 거리를 distance 혹은 similarity라고 함 Semantic Search는 의미 기반 서치를 의미 ANN 차원이 커지면서 고차원의 벡터를.. 공감수 0 댓글수 1 2024. 2. 9.
  • 프롬프트 엔지니어링 * 이 글은 패스트캠퍼스 [The RED : 프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발] 강의를 듣고 작성되었습니다. 모델링 혹은 파인튜닝 필요한 경우 숫자를 예측하는 선형 회귀 문제 대량의 로그성 데이터의 실시간 처리 특수 목적의 매우 높은 정밀도를 요구하는 문제 데이터의 최신성이 중요하지 않은 경우 데이터 보안이 매우 중요한 경우 프롬프트 엔지니어링이란? : 인공지능 모델이 이해하여 원하는 결과물을 제공할 수 있도록 프롬프트 입력값을 최적화하는 과정 프롬프트 엔지니어링 종류 Zero-shot: 앞의 정보 없이 명령 One-shot: 하나의 예시를 주면서 명령 Few-shot: 여러 예시를 주면서 명령 Chain of Thought: 생각하는 방식의 가이드를 제공 Zero S.. 공감수 0 댓글수 0 2024. 2. 9.
  • SMOTE SMOTE는 불균형 데이터를 분류하고자 할 때 사용하는 방법으로 minority 데이터를 oversampling하는 방법입니다. T: minority 표본 수 N: Amount of SMOTE N% k: Number of nearest neighbors x점과 k-nearest neighbor 내에 있는 점 중 임의의 점 y 선택 minority 데이터 x와 임의의 점 y의 차이 diff 계산 x + gap * diff (이 때, gap은 0과 1사이의 난수) 위의 과정 N번 반복 위와 같은 과정으로 두 개의 점을 잇는 선을 따라 임의의 점을 선택하여 oversampling할 수 있습니다. 공감수 0 댓글수 0 2024. 1. 29.
  • Attention Attention: 문맥에 따라 집중할 단어를 결정하는 방식 Encoder: input 를 압축 데이터(context vector)로 변환 및 출력 Decoder: 압축 데이터(context vector)를 입력받아 output data로 출력 공감수 0 댓글수 0 2024. 1. 22.
  • Word Embedding 단어 임베딩이란 단어를 벡터로 표현하는 방법입니다. 희소 표현(Sparse Representation): 표현하고자 하는 단어의 인덱스 값만 1, 나머지는 0 (Ex. 창문 = [1, 0, 0]) 밀집 표현(Dense Representation): 사용자가 설정한 값으로 단어의 벡터 차원 설정 (Ex. 창문 = [0.2, -1.1, 0.9]) 단어 임베딩은 단어를 밀집 표현 형태로 표현합니다. Word2Vec 분산표현(Distributed Representation) 비슷한 문맥에서 등장하는 단어는 비슷한 표현을 갖는다는 가정 단어의 의미를 여러 차원에 분산하여 표현 단어 벡터 간 유의미한 유사도 계산 가능 CBOW(Continuous Bag of Words): 주변에 있는 단어들을 입력으로 중간에 있는.. 공감수 0 댓글수 0 2024. 1. 20.
  • 평가지표 유용성: 질문에 대해 도움이 되는 데이터 안전성: 안전한 대답과 그렇지 않은 대답 데이터 torch.no_grad() gradient 계산 context 비활성화 함수 pytorch의 autograd engine 비활성화시켜 더이상 gradient 트래킹 X 필요한 메모리 감소 및 연산속도 증가 공감수 0 댓글수 0 2024. 1. 19.
  • 개념 DPO(Directly Preference Optimization): 두 모델 간의 대답 분포도를 비교하여 사용자가 원하는 대답으로 분포를 맞추는 방법 RLHF: 인간의 피드백을 사용하여 ML 모델을 최적화함으로써 자가 학습을 보다 효율적으로 수행하는 기계 학습 Depth-Up scaling: LLM의 효율적인 확장을 위한 깊이 기반 스케일링과 지속적인 사전 훈련 RAG(Retrieval Augmented Generation) PEFT(Parameter-Efficient Fine-Tuning): 효율적 파라미터 파인 튜닝 Zero-shot learning: 모델이 학습 데이터셋에서 본 적 없는 완전히 새로운 카테고리나 작업에 대해 성능을 발휘하는 학습 방식 Few-shot learning Training.. 공감수 0 댓글수 0 2024. 1. 17.
  • LLM 평가지표 평가지표 내용 추론능력 (ARC) - ARC(AI2 Reasoning Challenge) - AI가 질문에 대한 답변이 얼마나 적절한지 측정 - 과학적 사고와 이해를 평가하기 위한 테스트 - 과학 문제를 해결하는 데 필요한 추론 능력 측정 상식능력 (HellaSwag) - AI가 짧은 글 및 지시사항에 알맞은 문장을 생성하는지 측정 - 주어진 상황에서 가장 가능성 있는 다음 시나리오를 예측하는 능력 테스트 언어이해력 (MMLU) - MMLU(Massive Multitask Language Understanding) - 다양한 분야의 질문에 대한 답변이 얼마나 정확한지 측정 환각방지능력 (TruthfulQA) - AI가 생성한 답변이 얼마나 진실한지 측정 한국어상식생성능력 (KoCommonGEN V2) -.. 공감수 0 댓글수 0 2024. 1. 13.
  • LangChain 랭체인(LangChain)이란?언어모델(Language)과 외부도구를 마치 사슬(Chain)처럼 결합앵무새는 언어의 의미를 진정으로 이해하지 못한 채 단지 방대한 데이터를 학습한 후 확률적으로 나오는 단어를 조합하여 앵무새처럼 따라하는 확률적 앵무새(Stochastic Parrots) ModulesModel I/O: 언어모델과의 인터페이스Data Connection: 애플리케이션별 데이터와의 인터페이스Chains: 호출 시퀀스 구축Agents: 상위 지시문이 주어지면 체인이 사용할 툴을 선택할 수 있도록 함Memory: 체인 실행 간에 애플리케이션 상태 유지Callback: 체인의 중간 단계를 기록 및 스트리밍 공감수 0 댓글수 1 2024. 1. 13.
  • Mac M1 Konlpy konlpy 설치 pip install konlpy JAVA Download - ARM64 DMG Installer https://www.oracle.com/java/technologies/downloads/ Download the Latest Java LTS Free Subscribe to Java SE and get the most comprehensive Java support available, with 24/7 global access to the experts. www.oracle.com 확인 from konlpy.tag import Okt okt = Okt() WordCloud 라이브러리 설치 Conda install -c conda-forge wordcloud 공감수 0 댓글수 0 2023. 9. 16.
  • Mac M1 Chromedriver pip3 install selenium brew install --cask chromedriver pip3 install webdriver_manager from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome() 공감수 0 댓글수 0 2023. 9. 16.
  • 네이버 부동산 기사 크롤링 네이버 부동산 기사 제목을 크롤링하고자 합니다. 네이버 부동산 > 뉴스 > 우리동네뉴스로 접속하면 지역의 시군구별 기사를 볼 수 있습니다. 다음 페이지로 넘어가거나 다른 지역을 선택하면 링크가 함께 바뀌기 때문에 동적 크롤링에 사용되는 Selenium이 아닌 BeautifulSoup을 사용합니다. 먼저 접속 시 기본으로 보여지는 첫 페이지에서 기사 제목을 크롤링합니다. from bs4 import BeautifulSoup import pandas as pd import requests link = 'https://land.naver.com/news/region.naver?city_no=1100000000&dvsn_no=1114000000&page=1' url = requests.get(link) html.. 공감수 0 댓글수 0 2023. 9. 9.
  • pyLDAvis A task has failed to un-serialize 오류 pandas 버전 오류 ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. google-colab 1.0.0 requires pandas==1.5.3, but you have pandas 2.1.0 which is incompatible. numba 0.56.4 requires numpy=1.18, but you have numpy 1.25.2 which is incompatible. tensorflow 2.13.0 requires numpy=1... 공감수 0 댓글수 0 2023. 9. 9.
  • Google Colab에서 Konlpy 설치 !apt-get update !apt-get install g++ openjdk-8-jdk !pip install konlpy JPype1-py3 !bash 공감수 0 댓글수 0 2023. 9. 9.
  • 토픽 모델링 토픽 모델링: 문서의 집합에서 토픽을 찾아내는 프로세스 출처: https://wikidocs.net/30708 공감수 0 댓글수 0 2023. 9. 9.
  • KBI 금융DT 테스트 기출문제 한국금융연수원에서 주관하는 KBI 금융DT 테스트 7회 후기입니다. 시험과목은 크게 디지털 금융의 이해, 디지털 금융의 활용 총 두가지로 나뉘어지며, 세부적으로는 네 가지 교과목이 있습니다. 그 중 디지털금융 기술이 배점 50점으로 전체의 반을 차지하고 있어 시간이 부족하신 분들은 해당 과목부터 공부하시는 것을 추천드립니다. (다른 자격증과 달리 과목별 과락 기준이 없더라구요)  자격 등급은 점수에 따라 DT-Gold, DT-Blue, DT-Green으로 부여받습니다. 60점 이상부터 자격증이 부여된다고 생각하시면 될 것 같습니다. 아래는 KBI 금융 DT 테스트 7회 기출이며, 주어진 키워드에 대한 설명이나 밑줄친 내용이 변형되어 출제되었습니다. 시험을 준비하는 동안 후기나 기출문제를 찾기 어려웠는데 .. 공감수 4 댓글수 0 2023. 7. 22.
  • 빈도분석 단어 빈도 사전 # 문자 단어 형태로 분리 words = text.split() # 단어 빈도 사전 dic = {} for i in words: if i not in dic: dic[i] = 1 else: dic[i] += 1 # 데이터프레임화 df = pd.DataFrame({'단어':dic.keys(), '빈도수':dic.values()}) 워드클라우드 from wordcloud import WordCloud import matplotlib.pyplot as plt # 워드클라우드 설정 # background_color = 'white' # font_path = '폰트파일.ttf' # mask = img wc = WordCloud() cloud = wc.generate_from_frequencies(.. 공감수 0 댓글수 0 2023. 7. 22.
  • 블록체인 스테이블 코인 법정화폐 담보방식 정의: 법정화폐 만큼만 암호화폐 발행 장점: 가격 안정성이 가장 확실하게 보장되며 직관적이고 이해하기 쉬움 단점: 법정화폐를 담보로 그 양만큼만 발행하기 때문에 중앙화 이슈 암호화폐 담보방식 정의: 기존 암호화폐를 담보로 발행 장점: 과정이 스마트 컨트랙트 상에서 투명하게 진행되기 때문에 탈중앙화 단점: 담보로 제공된 암호화폐 가격을 외부로부터 가져와야 하기 때문에 오라클 문제 시뇨리지 정의: 발행기관이 화폐 발행을 통해 얻는 화폐의 액면가와 화폐의 발행비용 차익 장점: 시중에 유통되는 법정화폐의 통화량을 조절하는 통화정책과 유사 단점: 프로그래밍된 스마트 컨트랙트 알고리즘에 의존하기 때문에 급격한 시장상황 변화에 취약 UTXO(Unspent Transaction Outp.. 공감수 0 댓글수 0 2023. 7. 21.
  • 디지털금융 기술 클라우드 정의 클라우드 분류 서비스 모델에 따른 분류 IaaS(Infrastructure as a Service): 서비스형 인프라로 네트워크를 통해 이용자에게 컴퓨팅 자원 제공 Ex. 웹사이트 서버 PaaS(Platform as a Service): 서비스형 플랫폼으로 소프트웨어 개발 환경 제공 SaaS(Software as a Service): 서비스형 소프트웨어로 네트워크를 통해 필요한 만큼 이용할 수 있도록 함 Ex. 세일즈포스 운영 모델에 따른 분류 퍼블릭 클라우드 프라이빗 클라우드 하이브리드 클라우드 커뮤니티 클라우드 멀티 클라우드 서버 가상화 하이퍼바이저: 물리적인 호스트 시스템이 여러 대의 가상 머신을 게스트로 운영 Type1: 호스트의 하드웨어 위에서 바로 구동되며 다수의 가상머신 관리,.. 공감수 0 댓글수 0 2023. 7. 18.
  • Google Colab에서 Selenium 사용하기 !pip install selenium !apt-get update !apt install chromium-chromedriver !cp /usr/lib/chromium-browser/chromedriver /usr/bin Selenium 설치 apt 업데이트 chromedriver 설치 해당 경로에 설치한 chromedriver 복사 import selenium print(selenium.__version__) Selenium 버전 확인 # Selenium 버전이 3에서 4로 업그레이드되면서 from selenium.webdriver.common.by import By 실행 from selenium import webdriver from selenium.webdriver.common.by import .. 공감수 0 댓글수 0 2023. 7. 15.
  • 데이터 크롤링 BeautifulSoup: python으로 html을 다루는 라이브러리 request: 페이지 요청 라이브러리 # 1. 스크래핑 페이지 지정 # 2. 페이지 요청 # 3. text를 html 형태로 변환 # 4. 태그값으로 원하는 데이터 추출 link = 'https://search.naver.com' url = requests.get(link) BeautifulSoup(url.text) html.find('span', attrs = {'class': 'value'}) # 1. 웹 브라우저 창 열기 # 2. 지정한 페이지 불러오기 # 3. 창이 열릴 때까지 10초 대기 # 4. html 형태로 변환 # 5. 원하는 태그 값 가져오기 # 6. 웹 브라우저 창 닫기 driver = webdriver.Chro.. 공감수 0 댓글수 0 2023. 7. 15.
  • 데이터 시각화 라이브러리 import matplotlib.pyplot as plt import seaborn as sns import plotly.graph_objects as go 1. Matplotlib plt.plot(x, y): 선 그래프 plt.bar(x, y): 막대 그래프 plt.hist(x): 히스토그램 plt.scatter(x, y): 산점도 plt.pie(x): 파이 차트 # labels: 항목 이름 # autopct: 항목 퍼센트 plt.pie(x, labels = labels, autopct = '%.2f') 여러 그래프 # 1행 2열 그래프 fig = plt.figure() ax1 = fig.add_subplot(1, 2, 1) ax2 = fig.add_subplot(1, 2, 2) ax1.pl.. 공감수 0 댓글수 0 2023. 7. 8.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.