[CS336] Lecture2. PyTorch, Resource Accounting
·
LLM
딥러닝 모델을 학습할 때 보통 모델 구조나 성능에 집중하지만, 실제로는 메모리와 연산 자원(resource)이 훨씬 더 중요한 제약 조건이 됩니다. 특히 대규모 모델을 다루게 되면 이 모델이 주어진 자원으로 학습 가능한지 자체가 가장 먼저 해결해야 할 이슈입니다. 이번 글에서는 Stanford CS336 강의를 기반으로, PyTorch 관점에서 딥러닝 학습 시 어떤 요소들이 메모리와 연산량을 결정하는지를 정리해보았습니다. 단순한 개념 설명이 아니라, 실제로 모델을 학습할 때 반드시 알아야 하는 resource accounting 관점에 초점을 맞추려고 합니다. - 딥러닝 학습 = 텐서가 차지하는 메모리 + 그 텐서들에 대해 수행하는 FLOPs 계산- 학습 전에 메모리·연산량·시간을 계산하는 것 중요 - ..
리눅스 마스터 2급 필기
·
Etc
리눅스 마스터 2급 자격증을 준비하면서 공부한 주요 내용을 정리하고자 합니다. 베이스가 없다보니 바로 기출문제부터 풀기보다는 개념을 먼저 정리하고 넘어갔습니다. 특히 목차를 먼저 파악한 뒤 세부 내용을 살펴보니 공부하는데 훨씬 도움이 되었습니다. 자격증을 준비하시는 분들께 도움이 되었으면 합니다. 과목분류내용리눅스 운영 및 관리파일 시스템 관련 명령어권한 및 그룹 설정, 파일 시스템의 관리쉘(Shell)개념 및 종류, 환경 설정프로세스 관리개념 및 유형, 프로세스 Utility에디터에디터의 종류, 에디터 활용소프트웨어 설치 및 삭제개념 및 사용법, 소프트웨어 설치 및 삭제장치 설정주변장치 연결 및 설정, 주변장치 활용리눅스 활용X 윈도우개념 및 사용법, X 윈도우 활용인터넷 활용네트워크의 개념, 인터넷 ..
YOLOv10 로컬 실행
·
LLM
YOLO는 실시간 객체 탐지를 위한 딥러닝 모델로, 한 번의 신경망 연산으로 이미지 내의 객체를 빠르게 탐지할 수 있는 것이 특징입니다. YOLO 모델에 대한 설명은 이전 포스팅을 참고해주세요. YOLOv10 모델 구조YOLO(You Only Look Once)는 객체 감지 및 이미지 분할 모델입니다. 2015년 출시된 YOLO 모델은 빠른 속도와 정확성으로 널리 사용되었습니다. YOLOv10은 Ultralytics 파이썬 패키지를 기반으로 구축되어 실시bompro.tistory.com 아래는 YOLO 모델을 로컬 환경에서 실행하는 코드입니다. 1. 가상환경 생성conda create -n yolov10 python=3.10conda activate yolov10 2. 의존성 패키지 설치git clon..