kongsberg
콩스버그
kongsberg
전체 방문자
오늘
어제
  • 분류 전체보기 (44)
    • DL&ML (31)
    • 웹프로그래밍 (2)
    • 상식 (3)
    • 재테크 (7)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

인기 글

태그

  • llama2
  • 글자크기 조절
  • 재테크
  • Pretraining
  • pylint
  • llm training
  • 네이버CMA
  • 토스뱅크
  • pytorch
  • synthetic data
  • CMA
  • GPT
  • html 글자크기
  • pre-training
  • Llama
  • LLM
  • TMUX
  • CSS 글자크기
  • 거대언어모델
  • 네이버통장

최근 댓글

최근 글

티스토리

hELLO · Designed By 정상우.
kongsberg
DL&ML

Instruction Pre-Training:Language Models are Supervised Multitask Learners 논문 리뷰

Instruction Pre-Training:Language Models are Supervised Multitask Learners 논문 리뷰
DL&ML

Instruction Pre-Training:Language Models are Supervised Multitask Learners 논문 리뷰

2024. 9. 12. 15:12
728x90

논문 핵심

  • 기존 "줄글"만 학습시키던 Pre training 대신, "줄글" + "질문&답변"(instruction)을 학습함으로써, 성능 upgrade
  • "줄글"로부터 "질문&답변"(instruction)을 생성하는 LLM(Instruction synthesizer) 학습(Mistral 7B)한 후, inference해서 pre training data 생성
  • Domain Specific에서도 좋은 성능을 보여줌

 

모델 process

1. instruct synthesizer

🚩 instruct synthesizer 학습

- {본문 + QA}형식 instruction task dataset를 사용하여 raw text(줄글)로부터 instruction(질문+답변)을 생성하는 것을 학습

 

  • Mistral-7B로 학습
    • Loss는 instruction부분만 학습
  • 약 34만 data로 학습 (34개 taks * 각 1만개 사용)

🚩 instruct synthesizer Inference

 

2. LLM Pre-training

  • instruct synthesizer가 만든 instruction을 추가하는것을 제외하고는 Vanilla pre-training과 동일
  • 🚩 General instruct pre-training
    • 200M중 40M만 뽑아서 instruction synthesizer로 데이터셋 augment
      • 20M으로 질문&답변 생성, 두번째 20M으로 concat해서 질문&답변 생성 (총 40M)
        • 이를 5번 반복
        • 최종적으로 200M instruction pre-training dataset 생성
        • 추가로 synthesizer finetuning에 쓰였던 데이터도 pre-training dataset으로 사용
  • 🚩 Domain specific instruct pre-training
    • two domains: biomedicine, finance
    • 3-round inference 하였음
      • 후엔 prompting generalization을 위하여 domain speicific하지않고 general한 instruction도 생성해서 섞었음

 

3. 성능

🚩 general performance

🚩 domain specific performance

 

🚩 Instruct PT 한것과 안한것의 instruct FT 성능 수렴속도차이

728x90

'DL&ML' 카테고리의 다른 글

합성(Synthetic) 데이터 기반 사전학습 (Pre-training)  (0) 2025.07.16
LLM domain adaptation further pre-training에서 최적의 general domain 비율  (0) 2025.07.16
[Transformer 쉽게 이해하기] - self-attention, multi-haed attention, cross-attention, causal attention 설명과 코드 설명  (0) 2024.01.19
Polyglot-Ko (한국어 LLM) 논문 리뷰  (1) 2024.01.09
EcomGPT: Ecommerce LLM Instruct tuning paper 리뷰  (1) 2023.10.11
  • 논문 핵심
  • 모델 process
  • 1. instruct synthesizer
  • 2. LLM Pre-training
  • 3. 성능
'DL&ML' 카테고리의 다른 글
  • 합성(Synthetic) 데이터 기반 사전학습 (Pre-training)
  • LLM domain adaptation further pre-training에서 최적의 general domain 비율
  • [Transformer 쉽게 이해하기] - self-attention, multi-haed attention, cross-attention, causal attention 설명과 코드 설명
  • Polyglot-Ko (한국어 LLM) 논문 리뷰
kongsberg
kongsberg

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.