[Training]
예측하기 어려운 데이터를 이용해서 연구를 할수록 자연스럽게 MLP 를 구성하는 hidden layer 의 개수가 많아지게 됩니다.
이때 Back Propagation 과정을 거치면서 gradient 를 구하는 Neural Network 의 특성상 모델이 깊어질수록 (= layer 개수가 많아질수록) gradient 가 소실되거나 Overfitting, Internal Covariance Shift 등의 다양한 문제가 생겨나게 됩니다.
이러한 문제를 해결하기 위해 Day3 에서는 Model 을 training 할 때 적용할 수 있는 다양한 방법들을 배우는 시간을 가졌습니다.
Day 2 에서 배운 MLP(Multi-Layer Perceptron) 를 본격적으로 이용해 보면서 모델을 한층 깊게 세우는 방식을 이용해서 말이죠.
대표적으로 사용할 수 있는 기법인 Optimization, Dropout, Batch-Normalization 과 함께 자주 사용되지는 않지만 마찬가지로 모델에 적용할 수 있는 RProp, Layer Normalization 등의 다양한 방법을 수식과 함께 이론시간에 자세하게 배웠습니다.
실습시간에는 주어진 dataset 을 이용해서 이론시간에 배운 것 들을 하나하나 구현해보고 최종적으로 결과값을 비교하는 시간을 가졌습니다. 뿐만 아니라 모델을 깊게 쌓을수록 반복될 수 밖에 없는 코드인 nn.Linear 층을 좀 더 간단하게 쌓는 트릭에 대해서도 살포시 배울 수 있었습니다 J . Training 방법들이 상황에 따라서는 오히려 비효율적인 결과를 얻을 수 있다는 경우도 직접 확인해 볼 수 있었는데요! 다양한 데이터를 이용해 모델을 만들어가며 경험을 많이 쌓는 것이 제일 중요하겠죠?
[Training]
예측하기 어려운 데이터를 이용해서 연구를 할수록 자연스럽게 MLP 를 구성하는 hidden layer 의 개수가 많아지게 됩니다.
이때 Back Propagation 과정을 거치면서 gradient 를 구하는 Neural Network 의 특성상 모델이 깊어질수록 (= layer 개수가 많아질수록) gradient 가 소실되거나 Overfitting, Internal Covariance Shift 등의 다양한 문제가 생겨나게 됩니다.
이러한 문제를 해결하기 위해 Day3 에서는 Model 을 training 할 때 적용할 수 있는 다양한 방법들을 배우는 시간을 가졌습니다.
Day 2 에서 배운 MLP(Multi-Layer Perceptron) 를 본격적으로 이용해 보면서 모델을 한층 깊게 세우는 방식을 이용해서 말이죠.
대표적으로 사용할 수 있는 기법인 Optimization, Dropout, Batch-Normalization 과 함께 자주 사용되지는 않지만 마찬가지로 모델에 적용할 수 있는 RProp, Layer Normalization 등의 다양한 방법을 수식과 함께 이론시간에 자세하게 배웠습니다.
실습시간에는 주어진 dataset 을 이용해서 이론시간에 배운 것 들을 하나하나 구현해보고 최종적으로 결과값을 비교하는 시간을 가졌습니다. 뿐만 아니라 모델을 깊게 쌓을수록 반복될 수 밖에 없는 코드인 nn.Linear 층을 좀 더 간단하게 쌓는 트릭에 대해서도 살포시 배울 수 있었습니다 J . Training 방법들이 상황에 따라서는 오히려 비효율적인 결과를 얻을 수 있다는 경우도 직접 확인해 볼 수 있었는데요! 다양한 데이터를 이용해 모델을 만들어가며 경험을 많이 쌓는 것이 제일 중요하겠죠?