Advanced Python

최적화 기법 심화2 - LLM을 위한 데이터 전처리

6 minute read

최적화 기법 심화1 - GPU 메모리 관리 및 최적화

3 minute read

LLM 모델 파인튜닝을 위한 GPU 최적화 (4) 실습2

3 minute read

Multi-GPU

FSDP, ZeRO 예제

3 minute read

FSDP, ZeRO 예제

LLM 모델 파인튜닝을 위한 GPU 최적화 (5)

6 minute read

분산 처리 기법

LLM 모델 파인튜닝을 위한 GPU 최적화 (4) 실습

6 minute read

Single GPU 환경에서 LLM 돌리기

LLM 모델 파인튜닝을 위한 GPU 최적화 (3)

3 minute read

Hugging Face & PEFT

LLM 모델 파인튜닝을 위한 GPU 최적화 (2)

3 minute read

GPU vs CPU

LLM 모델 파인튜닝을 위한 GPU 최적화 (1)

3 minute read

LLM & GPU

(Pytorch) Distributed Training - DDP

1 minute read

DDP

DeepSpeed

2 minute read

Offload

1 minute read

Offload, DeepSpeed

Gradient Checkpointing

1 minute read

Q-LoRA

2 minute read

Quantization

less than 1 minute read

Float32 vs Float16 vs BFloat16

Pytorch 성능 개선

3 minute read

데이터 분산 연산 (DP와 DDP)

3 minute read

torch.nn.DataParallel, torch.nn.parallel.DistributedDataParallel

pep8 요약

1 minute read

파이썬 라이브러리 3편

1 minute read

json, sys.argv, abc, pip, requests, 클로저

파이썬 라이브러리 2편

2 minute read

os.path, glob, pickle, argparse, getpass, 동시 실행

파이썬 라이브러리 1편

3 minute read

datetime, collections, pprint, random, itertools, functools

Visual Studio 핵심 단축키 모음

less than 1 minute read

Visual Studio 핵심 단축키 모음

if name ==’main’

less than 1 minute read

if name ==’main’

CPU의 Multiprocessing ( feat. Python )

1 minute read

Multiprocessing

append vs + []

less than 1 minute read

append vs + []

Generator & Yield

less than 1 minute read

Generator & Yield

with 구문 & 컨텍스트 매니저

less than 1 minute read

with 구문 & 컨텍스트 매니저

반복가능 자료형 & 반복자

1 minute read

반복가능 자료형 & 반복자

동적 타이핑 vs 정적 타이핑

less than 1 minute read

동적 타이핑 vs 정적 타이핑

다차원 리스트

less than 1 minute read

다차원 리스트

할당 & 얕은 복사 & 깊은 복사

less than 1 minute read

할당 & 얕은 복사 & 깊은 복사

리스트

less than 1 minute read

리스트

Python, 객체 지향 프로그래밍

less than 1 minute read

객체 지향 프로그래밍

Print문 파헤치기

less than 1 minute read

Print, sep, end, flush

Useful Python Libraries

4 minute read

Import, Argparse, Logging, os, tqdm, csv & pickle