파인튜닝 예제

https://github.com/hiyouga/LlamaFactory

https://github.com/hiyouga/LlamaFactory/pull/7537

파인튜닝

• 모델 구조

1. Freeze 되는곳
   • Vision Tower - 이미지/비디오 인코더 가중치 전부 고정
   • Audio Tower - 오디오 인코더도 같이 freeze
     ⇒ Omni 모델에서 vision tower 옵션이 audio tower도 포함
2. 실제 학습되는 곳
   • Thinker(LLM) 내부에서 원래 있던 가중치(W)는 전부 고정되고, LoRA가 추가한 작은 행렬(A, B)만 학습
   • lora_rank: 8 짜리 저랭크 행렬만 학습
   • 원본 가중치는 건드리지 않음
3. 방법

   • SFT(Supervised Fine-Tuning)

     입력(질문)  →  모델  →  출력(답변)
                      ↑
               정답 답변이랑 비교해서
               틀린 만큼 가중치 업데이트
     

1. 연구실 데이터셋 생성

a 구역

a,b,c 구역 각각 20장씩 수집

b 구역

c 구역

1. 데이터셋

   • LlamaFactory/data 폴더 밑에 데이터셋 폴더 생성 후 그 아래에 사진과 오디오 저장

     

2. json 파일

1. LlamaFactory/data/dataset_info.json에 내 데이터셋 추가

   

2. 훈련 yaml 파일 만들기

LlamFactory/examples/train_lora 에 내 훈련 yaml 생성