여기를 클릭하면, 샘플강의가 재생됩니다.
강좌코드 : la_P050428
김종영 강사
[심화과정]Fine tuning (파인 튜닝) - Transformer (트랜스포머) 아키텍처 Part.2
담당강사 : 김종영
| 강의구성 | 총 13강좌 (강의시간 : 총 ) | 권장 수강기간 | 30일 |
|---|---|---|---|
| 강의형식 | 동영상 | 증빙서류 |
이 강좌의 80% 이상 수강 시 출력이 가능합니다. |
- 과정소개
- 본 과정은 AI 모델을 특정 목적에 맞게 최적화하는 핵심 기술인 Fine-tuning을 Transformer 아키텍처의 원리부터 실제 구현까지 체계적으로 학습합니다. Attention 메커니즘, Self-attention, Multi-head Attention 등 Transformer의 핵심 구조를 수식과 함께 이해하고, 사전학습(Pre-training)된 모델이 Fine-tuning을 통해 어떻게 새로운 태스크에 적응하는지 그 원리를 탄탄히 익힙니다. 학습률(Learning Rate), 배치 크기(Batch Size), Epoch 등 주요 하이퍼파라미터의 역할을 이론적으로 파악하고, PyTorch와 Hugging Face를 활용한 실습을 통해 텍스트 분류, 감성 분석 등 실제 태스크에 Fine-tuning을 직접 적용해봅니다. 이 과정을 통해 AI/ML을 처음 접하는 분도 Transformer 기반 모델의 동작 원리를 이해하고, 원하는 도메인에 맞는 모델을 스스로 학습시킬 수 있는 기초 역량을 갖추게 됩니다.
- 학습목표
- ● PyTorch를 활용하여 Scaled Dot-Product Attention, Multi-Head Attention, Positional Encoding 등 Transformer의 핵심 구성 요소를 직접 코드로 구현할 수 있다. ● EncoderLayer, DecoderLayer, Encoder, Decoder, Transformer 클래스를 순서대로 구현하고 전체 아키텍처를 완성할 수 있다. ● GPT-1의 Pre-training(next token prediction)과 Fine-tuning(downstream task 적응) 2단계 학습 방법론을 이해할 수 있다. ● GPT-1의 Task-specific input transformation([Start], [Delim], [Extract] 특수 토큰)과 각 downstream task별 입력 구조를 이해할 수 있다. ● BERT의 MLM, NSP Pre-training 방식과 양방향 인코더 구조를 이해하고, BIO 태깅, [CLS]/[SEP]/[MASK] 특수 토큰의 역할을 설명할 수 있다.
- 교육대상
- Transformer 아키텍처의 원리를 이해하고 PyTorch 기반 AI 모델 구현 및 Fine-tuning을 학습하고자 하는 개발자 및 AI 입문자
차시별 학습목표
- 01. scaled_dot_product_attention 함수와 MultiHeadAttention 클래스를 PyTorch로 구현할 수 있다. Q, K, V 행렬의 shape 변환(reshape, transpose)과 배치 행렬 곱 연산 과정을 코드로 표현할 수 있다.
- 02. PositionwiseFeedForward, AddAndNorm, PositionalEncoding, TokenEmbedding 클래스를 PyTorch로 구현할 수 있다. nn.LayerNorm, nn.Embedding 등 PyTorch 내장 모듈의 사용법을 이해할 수 있다.
- 03. EncoderLayer와 DecoderLayer 클래스를 구현하고 self-attention, masked self-attention, cross-attention의 차이를 코드로 표현할 수 있다. Encoder와 Decoder 클래스에서 nn.ModuleList와 deepcopy를 활용해 레이어를 쌓는 방법을 이해할 수 있다.
- 04. Transformer 클래스를 완성하고 src_embedding, tgt_embedding, Encoder, Decoder를 통합하는 전체 아키텍처를 구현할 수 있다. Padding Mask와 Look-ahead Mask를 생성하는 함수를 코드로 구현할 수 있다.
- 05. GPT-1의 Pre-training → Fine-tuning 2단계 학습 방법론의 의의와 Transformer 디코더 기반 단방향 구조의 특징을 이해할 수 있다. Classification, Entailment, Similarity, Multiple Choice 등 downstream task별 입력 변환 구조를 설명할 수 있다.
- 06. GPT-1 pre-training의 목표 함수 L1(U)와 next token prediction 방식을 이해할 수 있다. h0 = UWe + Wp 수식에서 토큰 임베딩과 위치 임베딩의 역할 및 shape을 설명할 수 있다.
- 07. transformer_block을 n번 반복하는 GPT-1의 순전파 과정과 hn·We^T를 통한 다음 토큰 확률 분포 계산 방식을 이해할 수 있다. 단방향 attention에서 각 토큰이 이전 토큰만 참조하는 원리를 설명할 수 있다.
- 08. GPT-1 fine-tuning의 목표 함수 L2(C)와 [Extract] 토큰에서 추출한 h_l^m 벡터를 Linear 레이어에 전달하는 과정을 이해할 수 있다. Classification과 Entailment 태스크의 입력 구조 및 W_y의 shape을 설명할 수 있다.
- 09. Similarity와 Multiple Choice 태스크의 입력 구조와 GPT-1이 각 태스크를 처리하는 방식을 이해할 수 있다. L3 = L2 + λ·L1 통합 목표 함수의 의미와 fine-tuning 시 pre-training 능력을 유지하는 이유를 설명할 수 있다.
- 10. BERT의 양방향 인코더 구조와 GPT-1(단방향 디코더)과의 차이를 이해할 수 있다. Single Sentence Classification, NLI, QA, NER 등 BERT의 downstream task별 입력 구조와 출력 방식을 설명할 수 있다.
- 11. BERT의 [CLS], [SEP], [MASK] 특수 토큰의 역할과 위치를 이해할 수 있다. NER 태스크에서 사용하는 BIO 태깅 방식(B-, I-, O)을 이해하고 실제 예시에 적용할 수 있다.
- 12. MLM(Masked Language Model)의 15% 마스킹 전략(80% [MASK] 교체, 10% 랜덤 교체, 10% 유지)과 NSP(Next Sentence Prediction)의 학습 방식을 이해할 수 있다. Token Embedding, Segment Embedding, Position Embedding 세 가지 임베딩의 역할과 합산 방식을 설명할 수 있다.
- 13. BERT fine-tuning에서 pre-trained 가중치를 재사용하고 태스크별 Linear Layer를 추가하는 방식을 이해할 수 있다. 분류 태스크는 [CLS] 벡터를, QA/NER 태스크는 모든 토큰 벡터를 사용하는 이유를 설명할 수 있다.
- 참고사항
- - 수강 기간 중 언제든지 반복 수강이 가능합니다.
- - 수강 여부 : 해당 차시의 80%를 수강하면 (회색) 배경으로 표시됩니다.
- - 수강 신청 완료 후 수강할 수 있습니다.
- - 즐겨찾기 한 강좌는 MY Class에서 확인할 수 있습니다.