LLM 강화학습 알고리즘(RLHF, DPO) 간단 정리

LLM 학습에 사용되는 강화학습 알고리즘들을 간략하게 정리한 포스트입니다.

Byte Latent Transformer (BLT)를 쉽게 이해해 보자

최근 메타에서 공개한 Byte Latent Transformer (BLT)를 정리한 포스트입니다.

DeepSpeed ZeRO에 대한 설명과 모델 학습 코드를 정리한 포스트입니다.

Transformer 논문 'Attention is All You Need'를 스크래치로 구현하고 한영 번역 모델을 학습시키는 과정을 다룹니다.