이론PCA는 고차원의 데이터의 분포를 유지한채(최대한 중요한 정보를 유지한채) 차원을 낮추기 위한 알고리즘이다. 고차원에서 저차원으로 변환하는 과정에는 초평면 혹은 벡터에 정사영 혹은 투영(projection) 과정이 수행된다. 우선, 고차원 데이터에 대한 데이터의 분포를 파악하는 것이 중요하다. 분포는 데이터가 어느정도 넓게 퍼져있는가를 의미한다. 만약 위와 같은 2차원 파란색 데이터가 존재한다고 가정할 때, 1~3번 선중 어느 선이 가장 데이터를 잘 표현한다고 할 수 있을까? 직관적으로 보았을 때, 데이터가 가장 넓게 분포한 방향으로 기울어진 2번 선을 선택할 수 있을 것이다. 2번 선(벡터)에 대해 사영시키면 빨간점으로 이루어진 데이터들을 볼 수 있다. 이 점들은 하나의 선(1차원)으로 표현..

저번 포스트에서는 고유값과 고유벡터에 대해서 알아보았다. 이번 포스트에서는 실제로 행렬 A에 대해 고유값 분해를 하는 과정에 대해 알아보겠다. 우선, $n \times n$ 행렬 A에 대해 고유값과 그에 대응하는 고유벡터들을 구해야한다. 그리고 고유벡터들($v_i$)을 모아둔 행렬 $V$를 다음과 같이 정의할 수 있다. 두 번째 식에 각각의 열벡터(고유벡터)에 해당하는 고유값을 곱해보자. 그 결과 행렬 A와 V로 위와 같이 표현할 수 있다. 마지막으로 고유값들을 대각성분에 모아둔 행렬을 보자. 네 번째 식을 통해 AV 행렬을 인수분해가 가능하다. 다섯번째 식에서 각 열벡터(행렬 V의 고유벡터)들이 선형독립이라면 아래와 같이 행렬 A를 표현할 수 있다. 사실 아직 행렬 A를 분해하는 의미를 설명하..

저번 포스트에 이어 직교 행렬과 실제로 QR 분해 활용에 대해 알아봅니다. 결론부터 얘기하면 직교 행렬은 곧 직교 좌표계를 의미한다. 행렬의 각 열벡터가 직교할 경우 해당 행렬은 직교 좌표계를 의미한다. 정규직교행렬은 각 열벡터를 정규화함으로써 각 열벡터의 크기가 1인 행렬을 의미한다. 즉, 정규직교행렬은 서로 직교하는 크기가 1인 기저벡터들의 집합이라고 정의할 수 있겠다. 선형 시스템의 A는 좌표계를 의미한다. 해당 A 행렬이 직교 행렬일 경우 역행렬을 통해 해를 구할 필요가 없다. 위의 투영 벡터 공식을 보면 알 수 있다. 벡터 u를 벡터 a에 투영했을 때는 기저 a에 대한 좌표값이다. 즉, 벡터 a를 얼마나 스칼라배를 해야하는지를 의미(기저 a에 대한 좌표)하는 것이다.위 개념을 예시에 적용하면, ..

QR 분해의 내용은 두 포스팅에 걸쳐서 진행하겠습니다. QR 분해는 정방 행렬($A_{m \times m}$)을 분해하는 방법 중 하나로 투영(projection)을 기반으로 하는 알고리즘인 그람 슈미트 과정(Gram-Schmidt Process)로 진행한다. 고로 투영을 이해하기 위해 기본적으로 벡터의 정의부터 파악하려고 한다. 벡터를 물리적으로 정의하면 방향과 스칼라의 조합이다. 벡터 v의 방향은 화살표의 방향, 크기(스칼라 형태)는 화살표의 길이를 의미한다. 벡터의 수학적인 정의는 수들의 집합이며 각 수들은 각 축에 대한 좌표값이다. 예를 들어, 벡터 v = (1, 2, 3) 이리면 원점으로부터 x축으로는 1, y축으로는 2, z축으로는 3의 지점을 향하는 화살표이다. 수들의 갯수가 늘어날수록 차원..

이론행렬 A의 열 벡터들에 대한 가능한 모든 선형 조합(Ax)의 결과를 모아 집합으로 구성할 수 있을 것이다. 이를 집합을 열 공간이라고 한다. 열 공간은 다음과 같이 표기한다. - Consistent Linear System선형 시스템 Ax = b가 해를 가지면 다음을 만족한다. - Inconsistent Linear System선형 시스템 Ax = b의 해가 없으면 다음을 만족한다. 위의 행렬의 열 공간은 3차원 공간이다. 세 개의 열 벡터가 존재하기 때문에 3가지 방향으로 갈 수 있기 때문이다. 따라서, 어떤 3-벡터 b를 이용해 선형 시스 Ax = b를 구성한다고 하더라도, 해당 선형 시스템의 해는 존재한다. (Consistent Linear System) 반면 위 행렬의 열 공간은 ..

https://dev-ryuon.tistory.com/45?category=943371 # 0. 선형 시스템 (Linear System)[이론] 중고등학교때 다들 '함수'라는 개념은 익히 알고있을 것이다. 함수는 방정식으로써 표현이 가능하고, 미지수가 적을 경우 수기로도 충분히 해를 구할 수 있다. 하지만, 방대한 양의 데이dev-ryuon.tistory.com이 포스트는 선형 시스템에 대해 숙지하고 보시는 것을 추천합니다. 이론선형 조합을 이해하기 이전에 행렬을 구조적으로 보는 시점이 중요하다. 위 그림과 같이 행렬을 열 벡터의 집합으로 해석할 수 있다. 그 뜻은 행 단위로도 묶어서 해석할 수 있다. 하지만 보통은 열 벡터로 해석한다. 이제, 선형 시스템 Ax를 구조적으로 볼 수 있는 시야를 가지게..

이번 포스트에서는 행렬의 간단한 표기법들과 종류, 연산들에 대해 알아볼 예정이다. 이론행렬의 표기법m x n 행렬은 다음과 같이 표기한다. 그리고 행렬의 i번째 행의 j번째 열의 요소는 다음과 같이 표기한다. 행렬의 종류- 전치 행렬 (Transpose Matrix)전치행렬은 특정행렬의 행과 열을 바꾼 행렬이다. i번째 행의 j번째 열의 요소는 j번째 행의 i번째 열의 요소와 자리가 바뀐다. 위와 같은 행렬이 존재한다고 가정하자. A의 전치행렬은 다음과 같다. - 영 행렬 (Zero Matrix)모든 요소가 0으로 이루어진 행렬을 의미한다.영 행렬은 행렬 덧셈 연산에 대한 항등원 역할을 한다. - 정방 행렬 (Square Matrix)행과 열의 갯수가 동일한 행렬을 의미한다. - 항등 행렬 (I..

https://dev-ryuon.tistory.com/46 # 1. 가우스 소거법 (Gauss Elimination)[서론] 선형 시스템은 해를 가지는 케이스가 총 3가지로 나누어진다. 1. 해가 하나인 경우 - x=2 인경우에만 성립한다. ex) 3x = 6 2. 해가 여러개인 경우 - 어떠한 x를 대입하더라도 성사된다. ex) 0x = 0dev-ryuon.tistory.com이 포스트는 가우스 소거법에 대해 숙지하고 보시는 것을 추천합니다. 이론LU 분해는 Gauss Elimination 을 행렬이라는 자료구조로 표현한 것을 의미한다. 숫자는 인수분해가 가능하다. 행렬도 숫자와 마찬가지로 분해가 가능하다. 행렬을 분해하는 방법에는 대표적으로 세 가지가 있다. LU DecompositionQR Deco..

https://dev-ryuon.tistory.com/45 # 0. 선형 시스템 (Linear System)[이론] 중고등학교때 다들 '함수'라는 개념은 익히 알고있을 것이다. 함수는 방정식으로써 표현이 가능하고, 미지수가 적을 경우 수기로도 충분히 해를 구할 수 있다. 하지만, 방대한 양의 데이dev-ryuon.tistory.com이 포스트는 선형 시스템에 대해 숙지하고 보시는 것을 추천합니다. 이론선형 시스템은 해를 가지는 케이스가 총 3가지로 나누어진다. 1. 해가 하나인 경우 - x=2 인경우에만 성립한다.ex) 3x = 6 2. 해가 여러개인 경우 - 어떠한 x를 대입하더라도 성사된다.ex) 0x = 0 3. 해가 존재하지 않는 경우 - 어떠한 x를 대입하더라도 성사되지 않는다.ex) 0x = ..

이론중고등학교때 다들 '함수'라는 개념은 익히 알고있을 것이다. 함수는 방정식으로써 표현이 가능하고, 미지수가 적을 경우 수기로도 충분히 해를 구할 수 있다. 하지만, 방대한 양의 데이터들의 상관관계를 수학으로 표현하기란 쉽지 않다. 우리는 이러한 상관관계를 파악하고 해를 구하기 위해 선형 시스템이라는 개념을 숙지해야 한다. 선형 시스템이란 선형 방정식 (Linear Equation)들의 집합이다. 선형 방정식은 말 그대로 직선형태의 함수 즉, 1차 함수 방정식을 의미한다. 예를 들어보자. $3x + y + z = 4$$x - 2y - z = 1$$x + y + z = 2$ 다음과 같이 세 가지 방정식이 있다. 각각의 방정식은 Linear Equation이 된다. 그리고 미지수(Unknow, Vari..