| 문자 | 영어 | 한글 | 로마자 표기법 |
| Α α | Alpha | 알파 | a |
| Β β | Beta | 베타 | b |
| Γ γ | Gamma | 감마 | gh, g, j |
| Δ δ | Delta | 델타 | d, dh |
| Ε ε | Epsilon | 엡실론 | e |
| Ζ ζ | Zeta | 제타 | z |
| Η η | Eta | 에타 | i |
| Θ θ | Theta | 쎄타 | th |
| Ι ι | Iota | 요타 | i |
| Κ κ | Kappa | 카파 | k |
| Λ λ | Lambda | 람다 | l |
| Μ μ | Mu | 뮤 | m |
| Ν ν | Nu | 뉴 | n |
| Ξ ξ | Xi | 크시 | x, ks |
| Ο ο | Omicron | 오미크론 | o |
| Π π | Pi | 파이 | p |
| Ρ ρ | Rho | 로 | r |
| Σ σ ς | Sigma | 시그마 | s |
| Τ τ | Tau | 타우 | t |
| Υ υ | Upsilon | 입실론 | y, v, f |
| Φ φ | Phi | 피 | f |
| Χ χ | Chi | 카이 | ch, kh |
| Ψ ψ | Psi | 프사이 | ps |
| Ω ω | Omega | 오메가 | o |
이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부확률을 이용할 수 있다.
시퀀스 데이터를 다루기 위해선 길이가 가변적인 데이터를 다룰 수 있는 모델이 필요하다.
$H_T = Net_\Theta(H_{t-1}, X_{t-1})$
시퀀스 길이가 길어지면 BPTT를 통한 역전파 알고리즘의 계산이 불안정해지므로 길이를 끊는 것이 필요하다. (truncated BPTT)
이러한 문제들 때문에 Vanila RNN은 길이가 긴 시퀀스를 처리하는데 문제가 있다.
커널을 입력벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조
입력크기를 (H, W), 커널 크기를 $(K_H, K_W)$, 출력 크기를 $(O_H, O_W)$ 라고 하면 출력 크기는 다음과 같이 계산한다.
채널이 여러개인 2차원 입력의 경우 2차원 Convolution을 채널 개수만큼 적용한다. 텐서를 직육면체 블록으로 이해하면 좀 더 이해하기 쉬움.
Convolution 연산은 커널이 모든 입력데이터에 공통으로 적용되기 때문에 역전파를 계산할 때도 convolution 연산이 나오게 된다.
조건부확률 P(A | B)는 사건 B가 일어난 상황에서 사건 A가 발생할 확률을 의미한다.
베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려준다.
theta: 모수 (데이터가 관찰될 확률)
사후확률: 데이터를 관찰했을 때 이 가설이 성립할 확률 (데이터 관측 이후 측정한 확률이라 사후확률임)
사전확률: 모델링 이전에 사전에 주어진 확률로 이해할 것. (데이터 분석 전 타겟에 대한 모수나 가설 등 미리 설정한 값.)
가능도: 현재 주어진 파라미터(모수)가정에서 이 데이터가 관찰될 확률
Evidence: 데이터 전체의 분포
ex) COVID-99의 발병률이 10%로 알려져있다. COVID-99에 실제로 걸렸을 때 검진될 확률은 99%, 실제 걸리지 않았을 때 오검진될 확률이 1%라고 할 때, 어떤 사람이 질병에 걸렸다는 결과가 나왔을 때 정말로 COVID-99에 감염되었을 확률은?
사전확률, 민감도(Recall), 오탐율(False alarm)을 가지고 정밀도(Precision)을 구하는 문제임.
사전확률 P(theta) = 10% = 0.1
COVID-99 판정을 받은 사람이 두 번째 검진을 받았을 때도 양성이 나왔을 때, 진짜 COVID-99에 걸렸을 확률은?
조건부 확률은 유용한 통계적 해석을 제공하지만, 인과관계(Causality)를 추론할 때 함부로 사용해서는 안된다.
신경망 모델은 기본적으로 비선형 모델이지만, 보통 선형 모델과 비선형 모델의 결합으로 이루어져 있다.
소프트맥스(softmax) 연산
모델의 출력을 확률로 해석할 수 있게 변환해주는 연산임.
분류 문제를 풀 때 선형모델과 소프트맥스 함수를 결합하여 예측한다.
def softmax(vec):
denumerator = np.exp(vec = np.max(vec, axis=-1, keepdims=True))
numerator = np.sum(denumerator, axis=-1, keepdims=True)
val = denumerator / numerator
return val
신경망은 선형모델과 활성함수(activation function)을 합성한 함수이다.
Multi-layer Perceptron(MLP)은 신경망이 여러층 합성된 함수이다.
1 | # gradient: 미분 계산 함수 |
np.linalg.pinv 를 이용하면 데이터를 선형모델로 해석하는 선형회귀식을 찾을 수 있다.
행렬 X(n, m)에서 n >= m인 경우,
XB = y_hat ~= y
-> B = X^+ * y (L2-노름을 최소화)
-> = (X^T X)^-1 X^T * y
선형모델의 경우 역행렬을 이용하여 회귀분석이 가능하다.
선형회귀의 목적식은 ||y - XB||2 이고, 이를 최소화하는 B를 찾아야 하므로 아래와 같은 그래디언트 벡터를 구해야 한다.
# norm: L2-노름을 계산하는 함수
# lr: 학습률, T: 학습횟수
for t in range(T):
error = y - X @ beta
grad = - transpose(X) @ error
beta = beta - lr * grad
이론적으로 경사하강법은 미분가능하고 볼록(convex)한 함수에 대해선 적절한 학습률과 학습횟수를 선택했을 때 수렴이 보장되어 있다. (볼록한 함수는 그래디언트 벡터가 항상 최소점을 향하기 때문)
한 점 을 나타낸다.위치 를 표현한다.벡터에 숫자를 곱해주면(스칼라곱) 길이가 변하지만, 스칼라가 0보다 작다면 반대 방향 이 된다.
벡터는 숫자를 원소로 가지는 리스트 혹은 배열이다.
상대적인 위치 이동 을 표현한다. (뺄셈은 방향을 뒤집은 덧셈)벡터의 노름(norm)은 원점에서부터의 거리 이다.
L1-노름은 각 성분의 변화량의 절대값을 모두 더한 값이다.
유클리드 거리 를 계산한다.
그림자 를 의미한다.