파이토치

모델 : 각 층을 포함하고 있는 인공 신경망 자체

모델의 기본 단위 : 층 (layer)

층을 순차적으로 쌓아 ANN, CNN, RNN 등의 모델 구축

데이터 정의 -> 모델 구축 -> 피드포워드 -> 손실함수 계산 -> 손실함수가 최소가 될 때 까지 옵티마이저, 즉 최적화 알고리즘을 이용해서 모델 파라미터(가중치, 바이어스)값을 찾아가는 과정을 반복하여 딥러닝 학습 진행

 

파이토치

기본 데이터 타입 : 텐서(Tensor)

TensorDataset과 DataLoader를 제공 -> 미니 배치 학습, 데이터 셔플, 멀티 프로세싱을 간단하게 수행 가능

 

- 모델을 학습하려면 피드 포워드 계산 값과 정답의 차이인 오차(loss)를 계산하는 손실함수와 옵티마이저가 필요

- 각 학습 단계에서 모델은 학습 데이터셋에 대한 예측을 수행하고, 오차(loss)를 역전파하여 모델의 파라미터를 최적화 시킴

 

옵티마이저도 확률적 경사하강법(SGD) 이외에도 ADAM, RMSProp 등의 다양한 옵티마이저가 있음