// Excerpt from: 머신러닝을 위한 수학과 응용 (2020), 삼성SDS 문기효
역사
선형대수학의 중요한 이론인
고유값,eigenvalue과
고유벡터,eigenvector의 개념은,
역사적으로
이차형식,quadratic_form과
미분방정식,differential_equation 이론으로부터 발전했다.
18세기에
Leonhard_Euler가
강체,rigid_body의
회전운동,rotational_motion{
회전운동,rotational_motion 회전운동 rotational_motion ... }에 대해 연구하면서
주축,principal_axis(
주요축,principal_axis?)의 중요성에 대해 발견.
그리고
Joseph-Louis_Lagrange가 이 주축이 관성행렬(Inertia Matrix
...관성텐서 말하는건가? 관성행렬 inertia.matrix)의
고유벡터,eigenvector라는 것을 알게 되었다.
그리고
Joseph_Fourier,
Pierre-Simon_Laplace,
Charles_Hermite,
Joseph_Liouville 등과 같은 유명한 수학자들에 의해
특성방정식,characteristic_equation{
특성방정식,characteristic_equation ...
특성방정식 characteristic_equation }이 개발되고
고유값과 고유벡터의 여러 가지 성질들이 밝혀지게 되었다.
전통적으로 이러한 개념은 수학적으로 미분방정식을 풀기 위해 도입되었지만, 최근에는 인공지능을 포함한 머신러닝에서 사용되고 있어 그 중요도가 더 높아졌다고 할 수 있다.
고유값과 고유벡터란 // 이하 원문 그대로
정사각행렬,square_matrix인
선형변환,linear_transformation{
선형변환,linear_transformation} A 에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를
고유벡터라 하고 이 상수배 λ의 값을
고유값이라고 합니다. 이를 행렬과 벡터를 사용하여 나타내면 다음 식과 같습니다.
Av=λv ....(1)
(...기하학적으로는 벡터가 방향이 변하지 않고 크기가 변한다는 얘기...)
이제
고유값과 고유벡터를 찾아봅시다. 식 (1)의 우변을 좌변으로 옮겨 변형하면 다음과 같습니다.
(A-λI)v=0 ....(2)
여기서 I는 단위행렬(Identity Matrix)입니다. 식 (2)에서 A-λI의
역행렬,inverse_matrix{
역행렬,inverse_matrix}이 존재한다고 가정하면 어떻게 될까요? 식 (3)을 보면,
v=(A-λI)-10=0 ....(3)
이 되므로 v=0 즉
고유벡터가 항상 0이 되어버립니다. 우리는 0이 아닌 벡터를 찾으려고 하고 이렇게 하기 위해서는 A-λI의 역행렬이 존재하지 않아야 됩니다.
따라서 다음과 같은 조건을 만족시켜야 합니다.
det(A-λI) = 0 ....(4)
식 (4)를
특성방정식,characteristic_equation이라고 합니다.
식 (4)로부터 λ값을 계산할 수 있고 이 값을
고유값이라고 합니다.
고유값을 구한 후 이 값을 식 (2)에 대입하여
고유벡터를 구할 수 있습니다.
고유벡터는 A-λI의
영공간,null_space에 있는 벡터이며 유일하지 않고 일반적으로 단위벡터화(‖v‖=1)하여 사용합니다.
아래 그림 2(원문링크참조)는 선형 변환을 보여주고 있으며, 선형 변환 후 붉은색 화살표는 방향이 변화하고 푸른색 화살표는 방향이 변화하지 않고 있습니다. 푸른색 화살표는 고유벡터라고 하며 크기가 변하지 않았기 때문에 고유값은 1이라고 할 수 있습니다. 붉은색 화살표는 방향이 변화하였기 때문에 고유벡터가 아닙니다.