[인공지능(AI) 기초 다지기] 4. 기초튼튼, 수학튼튼 (4)

4) 확률론 맛보기

 

- 확률론

• 통계적 기계학습의 기본원리 : 예측이 틀릴 위험(risk)을 최소화하도록 데이터를 학습
• 회귀분석의 L2-norm : 예측 오차의 분산을 가장 최소화하는 방향으로 학습 유도
  분류 문제의 교차엔트로피(cross-entropy) : 모델 예측의 불확실성을 최소화하는 방향으로 학습 유도
  -> 이것들을 확률론 기반으로 해석

 

- 이산확률변수 (discrete)

• 확률변수는 데이터 공간 X x Y  에 의해 결정되는 것이 아닌 확률변수의 분포 D에 의해 결정됨
• 확률변수가 가질 수 있는 모든 경우의 수를 고려하여 확률을 더하여 모델링 (급수, 질량함수)

• P(X = x) : 확률변수가 x 값을 가질 확률 

 

- 연속확률변수 (continuous)

• 데이터 공간에 정의된 확률변수의 밀도(density) 위에서의 적분을 통해 모델링 (적분, 밀도함수)

• P(x) : 밀도함수 = 누적확률분포의 변화율, 확률 X

 

 

- 확률분포

• 데이터 공간을 X × Y 라 표기
  D 는 데이터 공간에서 데이터를 추출하는 분포
• 데이터는 확률변수로 (x, y) ∼ D 라 표기
• 결합분포 P(x, y)는 원래 확률분포 D 를 모델링
• 주변확률분포 P(x)는 결합확률분포 P(x, y)를 각각의 y에 대해서 모두 더해주거나 적분해서 유도
• 조건부확률분포 P(x | y)는 데이터 공간에서 입력 x와 출력 y 사이의 관계를 모델링
  y가 주어진 상황에서 x에 대한 확률분포 (y=1인 조건)

 

- 조건부확률

• 조건부확률 P(y |x)는 입력변수x에 대해 정답이 y일 확률
  <- x가 조건부로 주어짐, y는 밀도로 해석
• 분류문제에서 softmax(Wϕ + b)은 데이터로 x로부터 추출된 특징패턴 ϕ(x)과 가중치행렬 W의 행렬곱을 통해 조건부확률 P(y | x)계산 
• 회귀 문제는 연속확률변수를 다루기 때문에 밀도함수를 해석 -> 조건부 기댓값 E[y | x]를 추정
  회귀문제에서 손실함수는 L2-norm의 기댓값 -> 조건부 기댓값은 L2-norm을 최소화하는 함수와 일치함 
• 조건부기댓값은 예측의 오차의 분산을 최소화하는 통계치로 적절
• 딥러닝은 다층신경망을 사용해 특징패턴 ϕ 추출
  어떤 손실함수를 사용할지는 모델과 문제에 의해 결정됨

 

- 기댓값 (Expectation)

• 데이터를 대표하는 통계량, 대표적인 통계적 범함수 (statistic functional)
• 모델링하려는 확률분포에서 계산해보고 싶은 다른 통계적 범함수를 계산하는데 이용되는 도구 -> 기댓값을 이용해 분산, 첨도, 공분산 등 계산
• 기댓값 = 평균 (mean) + 기계학습에서는 더 폭넓은 사용

 

- 몬테카를로 샘플링 (Monte Carlo)

• 확률분포를 모를 때 데이터를 이용해서 기댓값을 계산 <- 몬테카를로 샘플링 방법을 이용해 계산
• f(x)에 샘플링한 데이터를 대입 
  -> f(x(i))의 산술평균 계산 = 구하고자 하는 기댓값의 근사값
• 이산형이나 연속형에 상관없이 성립
• 항상 독립적으로 샘플링해야 함 -> 대수의 법칙에 의해 수렴성을 보장
• 하지만 샘플 사이즈가 작으면 오차 범위가 커질 수가 있음