now is better than never
[딥러닝 기초 다지기] 2. 딥러닝 기초 본문
2) 뉴럴 네트워크 & MLP (Multi-Layer Perception)
- Neural Networks
- Neural networks are function approximators that stack affine transformations followed by nonlinear transformations.
- 행렬으로 연산해서 내가 정의한 값으로 근사하는 모델, 비선형 연산이 반복적으로 일어나는 모델
이미지 (tensor) -> 라벨 (vector) = 함수를 모방
- Linear Neural Networks
- w, b 를 구하기 위해 back propagation
- loss 를 최소화하는 w, b 의 방향을 미분으로 찾음
- stepsize 가 너무 크면 발산, 작으면 학습이 안 됨
- One way of interpreting a matrix is to regard it as a mapping between two vector spaces
- 딥러닝은 이런 과정을 여러 번 깊게 쌓음
- nonlinear transform : activation function (sigmoid, relu ... )
- Beyond Linear Neural Networks
- Activation Functions = Nonlinear Transform
- Universal Approximators
- There is a single hidden later feedforward network that approximates any measurable function to any desired degree of accuracy on some compact set K.
- hidden layer 가 1개만 있는 neural network 의 표현력은 우리가 일반적으로 생각할 수 있는 대부분 continuous function 들을 다 포함한다
-> 하지만 그런 neural network 를 어떻게 찾는지는 모름
- Multi-Layer Perception (다층 퍼셉트론)
- This class of architectures are often called multi-layer perceptrons.
'Python > [코칭스터디 10기] Beyond AI Basic' 카테고리의 다른 글
[딥러닝 기초 다지기] 3. 최적화의 주요 용어 이해하기 (0) | 2023.05.22 |
---|---|
[딥러닝 기초 다지기] 1. 딥러닝 기초 (0) | 2023.05.18 |
[쇼핑데이터를 활용한 머신러닝] 12. 하이퍼 파라미터 튜닝 (0) | 2023.05.16 |
[쇼핑데이터를 활용한 머신러닝] 11. 피처 중요도와 피처 선택 (0) | 2023.05.15 |
[쇼핑데이터를 활용한 머신러닝] 9. 피처 엔지니어링 (1) (1) | 2023.05.10 |