further pre-training

Instruction Pre-Training:Language Models are Supervised Multitask Learners 논문 리뷰

논문 핵심기존 "줄글"만 학습시키던 Pre training 대신, "줄글" + "질문&답변"(instruction)을 학습함으로써, 성능 upgrade"줄글"로부터 "질문&답변"(instruction)을 생성하는 LLM(Instruction synthesizer) 학습(Mistral 7B)한 후, inference해서 pre training data 생성Domain Specific에서도 좋은 성능을 보여줌 모델 process1. instruct synthesizer🚩 instruct synthesizer 학습- {본문 + QA}형식 instruction task dataset를 사용하여 raw text(줄글)로부터 instruction(질문+답변)을 생성하는 것을 학습 Mistral-7B로 학습Loss..