LLM은 GPU 위에서 어떻게 동작할까 | How LLMs Run on GPUs (2)
🔗 LLM 분산 학습을 위한 GPU 병렬화 전략과 통신 방식을 정리합니다.
🔗 LLM 분산 학습을 위한 GPU 병렬화 전략과 통신 방식을 정리합니다.
🖥️ GPU의 기본 작동 원리부터 LLM이 GPU 메모리를 사용하는 방식, 메모리 계산법까지 처음부터 짚어봅니다.
📚 현재의 LLM을 만든 연구들을 순서대로 소개합니다.

🎲 Likelihood(우도/가능도), 확률 이론, 베이즈 정리와 가우시안 분포를 살펴봅니다.
🎨 생성 모델의 기본 개념과 다양한 학습 방법을 공부하고, 데이터 생성 원리를 알아봅시다.