now is better than never

[딥러닝 기초 다지기] 2. 딥러닝 기초 본문

Python/[코칭스터디 10기] Beyond AI Basic

[딥러닝 기초 다지기] 2. 딥러닝 기초

김초송 2023. 5. 18. 18:13

2) 뉴럴 네트워크 & MLP (Multi-Layer Perception)

- Neural Networks

  • Neural networks are function approximators that stack affine transformations followed by nonlinear transformations.
  • 행렬으로 연산해서 내가 정의한 값으로 근사하는 모델, 비선형 연산이 반복적으로 일어나는 모델
    이미지 (tensor) -> 라벨 (vector) = 함수를 모방

- Linear Neural Networks

출처: 강의 ppt

  • w, b 를 구하기 위해 back propagation
  • loss 를 최소화하는 w, b 의 방향을 미분으로 찾음
  • stepsize 가 너무 크면 발산, 작으면 학습이 안 됨

Gradient Descent (-) 방법

  • One way of interpreting a matrix is to regard it as a mapping between two vector spaces
  • 딥러닝은 이런 과정을 여러 번 깊게 쌓음
    • nonlinear transform : activation function (sigmoid, relu ... )

multi-layer perception

- Beyond Linear Neural Networks

  • Activation Functions = Nonlinear Transform

  • Universal Approximators
    • There is a single hidden later feedforward network that approximates any measurable function to any desired degree of accuracy on some compact set K.
    • hidden layer 가 1개만 있는 neural network 의 표현력은 우리가 일반적으로 생각할 수 있는 대부분 continuous function 들을 다 포함한다
      -> 하지만 그런 neural network 를 어떻게 찾는지는 모름

- Multi-Layer Perception (다층 퍼셉트론)

  • This class of architectures are often called multi-layer perceptrons.