AI - Transfer Learning

 

 

 

---

 Transfer Learning

 

 

 

 

 

 

Transfer Learning ( 전이 학습 )

 

 

전이 학습(Transfer Learning)은 머신러닝에서 특정 문제에 대해 학습한 모델을 다른 관련 문제에 적용하는 기법이다.

 

이 접근 방식의 핵심은 한 영역에서 학습한 지식을 다른 영역에 전달하여, 새로운 작업의 학습에 필요한 데이터의 양을 줄이고, 학습 속도를 가속화하며, 일반적으로 성능을 향상시키는 데 있다.

 

사전 학습(Pre-training)은 전이 학습의 첫 번째 단계로, 대규모 데이터셋에서 모델을 학습시킨다.

 

이 과정에서 모델은 다양한 특징과 패턴을 학습하게 된다.

 

예를 들어, 이미지 인식 작업에서는 ImageNet과 같은 큰 데이터셋에서 모델을 학습시킨다.

자연어 처리에서는, 대규모 텍스트 코퍼스를 사용해 언어 모델을 사전 학습시킨다.(예: BERT, GPT).

 

사전 학습된 모델은 이후 다음과 같은 방식으로 전이 학습에 활용된다.

 

1. 특징 추출기(Feature Extractor) //가중치 업데이트 x
: 모델의 사전 학습된 부분을 고정시키고, 출력층만 새로운 작업에 맞게 변경하여 학습합니다. 이 경우, 사전 학습된 모델의 가중치는 고정되어 있으며, 데이터의 고차원 특징을 추출하는 역할을 합니다.

2.미세 조정(Fine-tuning) //가중치 업데이트 o
: 사전 학습된 모델의 일부 또는 전체를 새로운 작업에 대해 추가적으로 학습시키는 과정입니다. 이를 통해, 모델은 새로운 작업의 특징에 더 적합하도록 조정됩니다. 이 과정에서 사전 학습된 가중치는 출발점으로 사용되고, 새로운 데이터에 기반하여 가중치가 업데이트됩니다.

 

전이 학습은 특히 새로운 작업에 대한 레이블이 지정된 데이터가 충분하지 않을 때 유용하다.

 

사전 학습된 모델을 사용함으로써, 적은 양의 데이터로도 효과적인 학습이 가능해진다.

이 방법은 다양한 분야에서 성공적으로 적용되고 있으며, 현대의 많은 딥러닝 응용에서 표준적인 접근법으로 자리 잡았다.