LoRa 썸네일형 리스트형 loRA 논문 리뷰 arxiv.org/pdf/2106.09685.pdf Abstract NLP 의 중요한 패러다임 중 하나가, 일반적인 domain의 data를 large-scale pretraining하고 이를 특정 task 혹은 domain에 적용하는 과정을 포함한다. 우리가 더 큰 모델을 pre-traing할수록 full fine-tuning(모든 파라미터를 fine tuning하는 것)하는 것은 실현하기가 어려워진다. 가령 GPT-3을 예시로 들 수 있다. fine-tuned model의 독립적인 예시들(각각이 175B의 파라미터를 가짐)을 배치하는 것은 엄두도 못 낼 정도로 비요이 많이 든다. 그래서 우리는 Low-Rank Adaption 즉 LoRA를 제안한다. 이는 pre-trained model의 weight.. 더보기 이전 1 다음
