전이학습

 

학습된 기반(사전훈련)으로 새로운 학습(전이학습)을 하는 것.

기본 학습 후 신경망 모델의 마지막 단계 부분을 제거하고 추가 학습하여 완성.

Ex 2018년경 Google의 번역에서 Bert.
사전훈련을 통해 언어의 기본을 익히고 새로운 문장을 학습하면 더욱 쉽고 빠르게 배울 수 있다. 임의의 문장에 대하여 특정단어를 가려서 단어를 맞추게 학습. 임의의 두 문장을 제공하고 서로 이어지는 내용인지 판단하게 학습. 이렇게 하여 문장을 작성할 때 단어의 선택과 문장의 연결을 보다 자연스럽게 만들었다.