1) Inductive Bias 란?

(1) 딥러닝에서 Bias란?

기본적인 Variance and Bias Trade-off

예측을 할 때에 있어 Bias와 Variance는 Trade-off를 가지게 된다.

즉, 두 가지를 모두 취하는 것은 불가능

우리의 집중하는 것에 따라 조절해주어야 할 필요성이 있다.

(2) Inductive Bias란?

그렇다면 Inductive Bias란?

일반적으로 모델이 갖는 일반적인 문제점은 모델이 brittle(깨지기 쉽다)하다는 것과, spurious(겉으로만 그럴싸한)하다는 것이 있다.

• Models are brittle : 표본으로 뽑은 분포에 대해서만 모델이 fitting이 된 상태이므로 데이터의 input의 분포가 바뀌면 모델의 결과는 이상해진다.
• Models are spurious : 데이터 본연의 의미를 학습하는 것이 아닌 결과(artifacts)와 편향(biases)를 학습한다.
  • 즉, 인과관계를 학습하는 것이 아닌 feature들의 분포를 통해 추론을 끼워맞추고자 하는 것

우리가 모분포로부터 뽑은 표본의 분포가 모분포를 따를 것이라는 보장이 없다. 또한, 표본 분포가 모분포의 예시들을 포괄하지 못하는 경우가 많다.

따라서 우리의 모델이 실제 환경에서 보다 정확한 예측값을 내놓도록 하기 위해 Inductive Bias를 이용하게 된다. Inductive bias란, 학습 시에는 만나보지 않았던 상황에 대하여 정확한 예측을 하기 위해 사용하는 추가적인 가정 (additional assumptions)을 의미한다.

우리의 모델이 훈련 데이터를 넘어 다른 데이터에 대해서도 일반화를 시키는 것을 목표로 한다. 그렇기에 train/valid/test로 데이터를 나누기도 한다. 이 목표로 다가가기 위해 모든 머신러닝 알고리즘에는 내재적인 Inductive Bias가 존재하는데, 이는 모델이 목표 함수를 학습하고 훈련 데이터를 넘어 일반화하기 위해 만든 가정이다.

• 예를 들어 CNN은 해당 pixel은 인접한 pixel들과 깊은 연관을 가지고 있기에 이들을 살펴볼 것이다.
• RNN의 경우 더 짧은 거리를 가지는 sequence 요소들이 지금 시점에 많은 영향을 미칠 것이기에 이들을 통해 결과를 산출할 것이다.
• 위의 특징을 가진 모델들이 학습 과정에서 어떻게 학습되냐에 따라 inductive bias가 생긴다.