https://arxiv.org/pdf/2311.18237
Abstract
많은 데이터셋에서 사전학습된 Vision Foundation Model (VFMs)은, 다양한 downstream task에서 인상적인 성능을 보였다. 특히 limited labeled target data를 이용할 때 더욱 그렇다. 하지만, VFM의 높은 계산 비용으로 인해, 이 모델들은 실제로 자주 응용되기가 어렵다. 이것에 영감을 받아서 연구진은 다음 중요한 질문을 던졌다.: "어떻게 large VFM으로부터의 지식로부터의 지식을, limited labeled training data를 가지고 새로운 target task에 관한 small task-specific model을 훈련시키는 데에 활용할 수 있을까?"
그리고 simple task-oriented knowledge transfer approach를, 이 task에 대한 아주 효율적인 해결책으로 제안했다. 연구진의 실험 결과는 비교 모델들에 비해 적은 계산 비용으로 좋은 성능을 보일 수 있음을 입증했다.
또한 지식 전이에 사용되는 dataset이 final target task performance에 중요한 영향력을 가짐을 보였으며, web-scale image 검색을 효과적인 transfer set를 관리하는 데에 사용하는 검색 증강 지식 전이 전략을 소개한다.
1. Introduction
현재 cv community는, 큰 dataset에서 사전훈련된 많은 비전과 멀모 foundation model이 등장하고 있다. 이 모델들은 많은 downstream task에서, 특히 task-specific labeled data가 한정되어 있는 경우 잘 작동한다. 하지만, 많은 resource-constrained application에는 사용하기가 어려운데 그 이유는 해당 모델들이 inference 시 계산 비용이 크기 때문이다. 또한, 많은 응용들의 경우 특정 task나 도메인에 집중할 뿐더러 큰 VFM 모다는 small task-specific model을 필요로 한다. 이에 아직 많이 연구되지는 않았지만 중요한 질문을 던졌: 어떻게 large VFM으로부터의 지식을, limited labeled training data로 새로운 target task에 대해 small task-specific model을 효과적으로 훈련하기 위해 활용할 수 있을까?
이 질문에 답변하려면 task와 모델 구조의 경계를 가로질러 VFM으로부터의 지식을 전이하는 과정이 필요하다. 이건, 모델 구조 사이에서 지식을 전이하는 것에만 집중하는 knowledge distillation setting이나 task 간의 지식 전이에만 집중하는 transfer learning setting과는 다르다.
2. Approach and Contributions
여기서 연구진은 large pretrained VFM에서 small task-specific model로 지식을 전이하는 간단하고 매우 효율적인 접근법을 제안한다: task-oriented knowledge transfer이라는 이 접근법은, target task를 먼저 VFM에게 적절한 task-specific head와 limited labeled target task data를 사용해서 가르치고, task-oriented knowledge를 adapted VFM으로부터 target model에게 큰 unlabeled dataset(transfer set이라고 불림)을 가진 knowledge distrillation framework를 사용하여 전달한다. 마지막으로, target model은 limited labeled target task data를 사용하여 미세조정된다.
small task-specific model을 VFM을 활용하여 훈련시키는 대안책은, 먼저 VFM image encoder를 target model image encder로 증류하고, limited labeled target task data를 이용해서 target model을 미세 조정한다. 이 접근법을 task-agnostic knowledge transfer이라고 부른다. task-oriented 와 task-agnostic 둘 다 web-scale dataset에 대해 훈련되는 VFM을 활용한다. 대신, 하나는 small target model을 web-scale dataset으로 직접 pretrain한다. 하지만, 그런 사전학습은 매우 비쌀 수 있다. (예시)
연구진은 proposed task-oriented knowledge transfer approach를 task-agnostic knowledge transfer과 비교한다. 연구진이 알고 있는 한, limited labeled data로 small task-specific model을 훈련시키는 데에 VFM을 활용하는 것에 대해, 아래 발견들을 하는 다른 작업은 없다.
- task-oriented knowledge만을 전이하는 것이 task-agnostic transfer 보다 더 잘 작동함.
- task-oriented knowledge transfer from VFMs가, 다른 모델들보다 더 성능이 좋고 효율적
- large task-related unlabeled datasets들이 transfer sets로 활용되면 성능이 더 높다.
- large task-related transfer set이 쉽게 사용 가능한 게 아닐 경우에는, limited target task dataset으로 web-scale image 검색을 사용하는 dataset을 관리하는 것을 제안한다. 검색 증강 transfer set이 다른 ~ transfer set보다 더 좋다.
experimtents, related works는 생략.