주성분분석(Principal Component Analysis)

---

# 1 주성분 분석이란?

---

주성분 분석은 차원 축소(dimensionality reduction)과 변수 추출(feature extraction) 기법으로 널리 사용되고 있다. PCA는 높은 차원의 데이터 분포에서 낮은 차원의 정사영된 축을 찾는 방식으로 차원을 축소시킨다. 이 때 축과 데이터 간의 오차는 최소화 하고, 데이터의 분산은 최대한 유지시킬 수 있는 축을 찾는 걸 목표로 하고, 아래의 그림이 그 과정을 보여준다.

정사영된 축을 찾는 과정

---

# 2 . 공분산(Covariance)

---

공분산이란?
2개의 확률변수의 상관 정도를 나타내는 값이다. 

확률변수 X,Y에 따른 분포 모양

Cov(X,Y) > 0 : 확률변수 X가 증가할 때 Y가 증가하면, 공분산은 0보다 큰 값을  가진다.

Cov(X,Y) < 0 : 확률변수 X가 증가할 때 Y가 감소하면, 공분산은 0보다 작은 값을  가진다.

Cov(X,Y) = 0 : 두 변수에는 어떠한 선형 관계도 없으며, 독립관계라면 공분산 값은 0을 가진다. 하지만, 공분산 값이 0이라고 해서 모두 독립이라고 볼 수는 없다.

이러한 공분산은 두 변수에 대한 상관 관계에 대해서만 알 수 있고, 그 정도에 대해서는 알 수 없다. 이 때 사용하는 게 바로 상관 계수다.

상관계수

공분산 행렬의 의미는 그렇다면, 얼마만큼 두 변수가 함께 변하는지를 행렬에 나타내고 있다. 그리고 기하학적으로는 아래 그림처럼 볼 수 있다.

---

# 3 . 고유값(Eigenvalue)과 고유벡터(EigenVector)

---

고유벡터란?
벡터공간에서 선형 변환에 의해서 변환 결과가 상수배가 되는 벡터를 말하고 이 때 상수를 고유값이라고 한다.

---

# 4. PCA 과정

---

위에 나왔던 공분산 행렬과, 평균 벡터를 이용하여 고유벡터를 구하고 그 중 가장 큰 값을 통해 최적의 축을 찾을 수 있다. 하지만, 고유벡터를 통해 선형변환하는 방식으로 작동하므로, 선형 데이터가 아닌 경우에는 잘 작동하지 않는다는 한계를 가지고 있다. 따라서 보통 PCA보다는 tSNE를 더 많이 사용한다.