여기를 클릭하면, 샘플강의가 재생됩니다.
강좌코드 : la_P050427
김종영 강사
[심화과정]Fine tuning (파인 튜닝) - Transformer (트랜스포머) 아키텍처 Part.1
담당강사 : 김종영
| 강의구성 | 총 8강좌 (강의시간 : 총 ) | 권장 수강기간 | 30일 |
|---|---|---|---|
| 강의형식 | 동영상 | 증빙서류 |
이 강좌의 80% 이상 수강 시 출력이 가능합니다. |
- 과정소개
- 본 과정은 AI 모델을 특정 목적에 맞게 최적화하는 핵심 기술인 Fine-tuning을 Transformer 아키텍처의 원리부터 실제 구현까지 체계적으로 학습합니다. Attention 메커니즘, Self-attention, Multi-head Attention 등 Transformer의 핵심 구조를 수식과 함께 이해하고, 사전학습(Pre-training)된 모델이 Fine-tuning을 통해 어떻게 새로운 태스크에 적응하는지 그 원리를 탄탄히 익힙니다. 학습률(Learning Rate), 배치 크기(Batch Size), Epoch 등 주요 하이퍼파라미터의 역할을 이론적으로 파악하고, PyTorch와 Hugging Face를 활용한 실습을 통해 텍스트 분류, 감성 분석 등 실제 태스크에 Fine-tuning을 직접 적용해봅니다. 이 과정을 통해 AI/ML을 처음 접하는 분도 Transformer 기반 모델의 동작 원리를 이해하고, 원하는 도메인에 맞는 모델을 스스로 학습시킬 수 있는 기초 역량을 갖추게 됩니다.
- 학습목표
- ● Transformer 아키텍처의 전체 구조(인코더, 디코더)와 RNN/LSTM 대비 병렬 처리 방식의 차이를 이해할 수 있다. ● 단어 임베딩과 Positional Encoding의 원리를 이해하고, sin/cos 함수를 활용한 위치 벡터 생성 방식을 설명할 수 있다. ● Multi-Head Self-Attention의 Q, K, V 행렬 연산 과정과 Scaled Dot-Product Attention을 이해할 수 있다. ● Add & Norm(Residual Connection + Layer Normalization)과 Feed Forward Network의 역할과 수식을 이해할 수 있다. ● Padding Mask와 Look-ahead Mask의 개념과 동작 방식을 이해하고 학습 데이터 준비 과정을 설명할 수 있다.
- 교육대상
- Transformer 아키텍처의 원리를 이해하고 PyTorch 기반 AI 모델 구현 및 Fine-tuning을 학습하고자 하는 개발자 및 AI 입문자
차시별 학습목표
- 01. Transformer 논문(Attention Is All You Need)의 핵심 기여와 인코더-디코더 구조를 이해할 수 있다. 토큰화와 Embedding 테이블의 동작 원리 및 End-to-end 학습 방식을 이해할 수 있다.
- 02. Positional Encoding이 필요한 이유와 sin/cos 함수를 이용한 위치 벡터 생성 방식을 이해할 수 있다. 차원별 주기 차이를 통해 각 위치를 고유한 벡터로 표현하는 원리를 설명할 수 있다.
- 03. Q, K, V 행렬의 역할과 생성 방식을 이해할 수 있다. QK^T 행렬 곱을 통해 단어 간 관련성을 계산하고 softmax로 attention 가중치를 구하는 과정을 설명할 수 있다.
- 04. Scaled Dot-Product Attention의 결과가 주변 단어와의 관계를 반영한 벡터임을 이해할 수 있다. Multi-Head Attention에서 여러 관점을 병렬로 계산하기 위해 reshape과 transpose를 사용하는 이유를 설명할 수 있다.
- 05. 8개의 head 결과를 concat한 뒤 Wo 행렬로 통합 표현을 만드는 과정을 이해할 수 있다. Single-head attention 대비 Multi-head attention이 갖는 표현력의 이점을 설명할 수 있다.
- 06. Gradient Vanishing 문제와 Covariate Shift 문제의 개념을 이해할 수 있다. Residual Connection(Add)과 Layer Normalization(Norm)이 각각 어떤 문제를 해결하는지 설명할 수 있다.
- 07. Gradient Descent와 Chain Rule을 이용한 역전파(Backpropagation) 원리를 이해할 수 있다. Feed Forward Network의 구조(512→2048→512)와 ReLU 활성화 함수의 역할을 설명할 수 있다.
- 08. Padding Mask가 PAD 토큰에 attention이 가지 않도록 -inf를 사용하는 원리를 이해할 수 있다. Look-ahead Mask를 통해 디코더가 미래 시점의 토큰을 보지 못하도록 하는 Teacher Forcing 학습 방식을 이해할 수 있다.
- 참고사항
- - 수강 기간 중 언제든지 반복 수강이 가능합니다.
- - 수강 여부 : 해당 차시의 80%를 수강하면 (회색) 배경으로 표시됩니다.
- - 수강 신청 완료 후 수강할 수 있습니다.
- - 즐겨찾기 한 강좌는 MY Class에서 확인할 수 있습니다.