목차

하이퍼파라미터 튜닝

하이퍼파라미터

: 모델 학습 전에 설정되는 파라미터로 학습 과정을 제어

<aside> ✅

Parameter(매개변수)?

시스템이나 함수의 성질을 나타내는 변수

특정 파라미터에 따라 출력값이 달라진다.

</aside>

• 모델 성능 최대화, 과적합 방지 등에 필수적 (특히 대규모 데이터셋)
• 시간과 자원을 잡아먹기에 효율적인 방안을 채택해야

하이퍼 파라미터의 예시

학습률

: (학습 과정에서) 모델의 학습 속도를 조절

• 손실의 최저점을 찾기 위해서 단순히 빠른 것이 좋은 것이 아니다.

  optimizer_high = optim.SGD(model.parameters(), lr=0.1)
  low = optim.SGD(model.parameters(), lr=0.0001)
  

트리 깊이(Depth)

: 트리 기반 모델(의사결정트리, 랜덤 포레스트 등)에 이용

• 깊이가 깊어질수록 모델의 학습 능력이 향상 but, 과적합 위험도 커진다.

노드 수(Count)

: 트리 기반 모델(의사결정트리, 랜덤 포레스트 등)에서 이용

• 노드 수가 많아질수록 복잡한 모델을 생성 (세세하게 학습) but, 과적합 위험도 커진다.

배치 크기, 에포크 수

규제 매개변수 (Regularization Parameters)