Datasets Train Valid Test

 

Train

모델을 학습하기 위한 데이터셋, 학습하며 최적의 파라미터를 찾다.

 

Validation

학습이 이미 완료된 모델을 검증하기 위한 데이터셋  
학습이 된 여러 가지 모델 중 가장 좋은 하나의 모델을 고르기 위해 사용. 
Validation 데이터 자체가 학습에 직접적으로 관여하는 것은 아니지만, 학습 과정에 어느 정도 관여를 한다고 볼 수 있다. 

 

Test

학습된 모델의 '최종 성능'을 평가하기 위한 데이터셋.
학습 과정에 전혀 관여를 하지 않는다.

 

기타

보통 데이터를 분할할 때 보통 아래와 같은 비율로 많이들 한다.
Train:Test = 8:2 or 7:3
Train : Validation : Test = 6 : 2 : 2