Difference between r1.5 and the current
@@ -1,4 +1,62 @@
#noindex
역사
// tmp from https://youtu.be/90Nr6yQn9fU?t=2915
Q. 어떤 벡터 x에 대해 A라는 [[선형변환,linear_transformation]]을 한다면,
그 magnitude만 변하고 direction은 유지되는 vector가 존재하는가?
존재한다면 그 벡터는 무엇인가?
A. magnitude만 변하고 direction은 유지되는 그 vector: [[고유벡터,eigenvector]] '''v''',
그 크기 변화 비율: [[고유값,eigenvalue]] ''λ''
식으로는
> '''A v''' = ''λ'' '''v'''
QQQ
eigenvectors는 존재한다면 (...tbw)에 대해 수없이 많으며
2D에선 모두 한 직선 위에
3D에선 모두 한 평면 위에?
55:30
행렬 A는 정사각행렬일 수 밖에 없다. 왜냐? 위 Av=λv에서
A 크기를 m×n, v 크기를 n×1로 가정하자.
좌변의 크기: Av의 크기는 m×1이고,
우변의 크기: λv의 크기는 n×1이다.
이것이 같아야 하므로, m=n이어야 한다. 따라서 A는 [[정사각행렬,square_matrix]]이다.
56m
아무튼 Av=λv를 만족시키는
* v: eigenvector
* λ: eigenvalue
라고 한다.
이걸 풀어보자.
Av=λv
Av-λv=0 (0은 [[영벡터,zero_vector]])
(A-λI)v=0
1) v=0
* trivial solution - 너무 자명함 - 논외, 고유벡터로 생각하지 않음
2) v≠0 '''→ det(A-λI)=0'''
* why? A-λI가 역행렬을 가진다면(행렬식이 0이 아님), 양변에 (A-λI)^^-1^^을 곱하면, v=0인 경우 밖에 없음
* 따라서 A-λI가 역행렬을 가지지 않는다 '''→ det(A-λI)=0'''
57:05
det(A-λI)=0을 만족시키는 λ=고유값
각 고유값 λ에 대응하는 v=고유벡터
* A-λI의 null_space에 존재하는 모든 v=고유벡터(무한 개)
* 일반적으로, null space 대표값([[기저,basis]])를 고유벡터로 설정함
57:23 - 예제.
1) [[특성방정식,characteristic_equation]] 작성
2) [[행렬식,determinant]] 계산
3) [[고유벡터,eigenvector]] 구하기 - λ가 나오면 그에 대한 basis, eigenvector를 구하는 예.
58:50
이것들의 활용 예.
* [[주성분분석,principal_component_analysis,PCA]] - 고차원 data의 [[차원축소,dimensionality_reduction]]를 통해 data의 주요 [[패턴,pattern]]을 파악하는 방법. 고유값과 고유벡터를 활용하여 고유값이 큰 순서대로 주성분을 선택 // [[주성분,principal_component]]?
* [[선형판별분석,linear_discriminant_analysis,LDA]] - 고유값과 고유벡터를 활용하여 class간 분산([[분산,variance]]?)을 최대화 및 클래스 내 분산을 최소화하는 [[선형변환,linear_transformation]]을 찾는 방법
* [[특이값분해,singular_value_decomposition,SVD]] - user-item matrix의 SVD에서 고유값과 고유벡터를 사용하여 추천시스템에 활용 // [[추천시스템,recommendation_system]] { '''recommendation system''' } // recommendation system .. NN:"recommendation system" Bing:"recommendation system"
----
// Excerpt from: 머신러닝을 위한 수학과 응용 (2020), 삼성SDS 문기효역사
@@ -17,7 +75,7 @@
(...기하학적으로는 벡터가 방향이 변하지 않고 크기가 변한다는 얘기...)
이제 '''고유값과 고유벡터'''를 찾아봅시다. 식 (1)의 우변을 좌변으로 옮겨 변형하면 다음과 같습니다.
(A-λI)v=0 ....(2)
이 되므로 v=0 즉 '''고유벡터'''가 항상 0이 되어버립니다. 우리는 0이 아닌 벡터를 찾으려고 하고 이렇게 하기 위해서는 A-λI의 역행렬이 존재하지 않아야 됩니다.
따라서 다음과 같은 조건을 만족시켜야 합니다.
이제 '''고유값과 고유벡터'''를 찾아봅시다. 식 (1)의 우변을 좌변으로 옮겨 변형하면 다음과 같습니다.
(A-λI)v=0 ....(2)
여기서 I는 단위행렬(Identity Matrix)입니다. 식 (2)에서 A-λI의 [[역행렬,inverse_matrix]]{ [[VG:역행렬,inverse_matrix]]}이 존재한다고 가정하면 어떻게 될까요? 식 (3)을 보면,
여기서 I는 단위행렬(Identity Matrix)입니다. 식 (2)에서 A-λI의 [[역행렬,inverse_matrix]]이 존재한다고 가정하면 어떻게 될까요? 식 (3)을 보면,
v=(A-λI)^^-1^^0=0 ....(3)이 되므로 v=0 즉 '''고유벡터'''가 항상 0이 되어버립니다. 우리는 0이 아닌 벡터를 찾으려고 하고 이렇게 하기 위해서는 A-λI의 역행렬이 존재하지 않아야 됩니다.
따라서 다음과 같은 조건을 만족시켜야 합니다.
// tmp from https://youtu.be/90Nr6yQn9fU?t=2915
Q. 어떤 벡터 x에 대해 A라는 선형변환,linear_transformation을 한다면,
그 magnitude만 변하고 direction은 유지되는 vector가 존재하는가?
존재한다면 그 벡터는 무엇인가?
그 magnitude만 변하고 direction은 유지되는 vector가 존재하는가?
존재한다면 그 벡터는 무엇인가?
A. magnitude만 변하고 direction은 유지되는 그 vector: 고유벡터,eigenvector v,
그 크기 변화 비율: 고유값,eigenvalue λ
식으로는
그 크기 변화 비율: 고유값,eigenvalue λ
식으로는
A v = λ v
QQQ
eigenvectors는 존재한다면 (...tbw)에 대해 수없이 많으며
2D에선 모두 한 직선 위에
3D에선 모두 한 평면 위에?
eigenvectors는 존재한다면 (...tbw)에 대해 수없이 많으며
2D에선 모두 한 직선 위에
3D에선 모두 한 평면 위에?
55:30
행렬 A는 정사각행렬일 수 밖에 없다. 왜냐? 위 Av=λv에서
A 크기를 m×n, v 크기를 n×1로 가정하자.
좌변의 크기: Av의 크기는 m×1이고,
우변의 크기: λv의 크기는 n×1이다.
이것이 같아야 하므로, m=n이어야 한다. 따라서 A는 정사각행렬,square_matrix이다.
행렬 A는 정사각행렬일 수 밖에 없다. 왜냐? 위 Av=λv에서
A 크기를 m×n, v 크기를 n×1로 가정하자.
좌변의 크기: Av의 크기는 m×1이고,
우변의 크기: λv의 크기는 n×1이다.
이것이 같아야 하므로, m=n이어야 한다. 따라서 A는 정사각행렬,square_matrix이다.
56m
아무튼 Av=λv를 만족시키는
아무튼 Av=λv를 만족시키는
- v: eigenvector
- λ: eigenvalue
1) v=0
det(A-λI)=0을 만족시키는 λ=고유값
각 고유값 λ에 대응하는 v=고유벡터
1) 특성방정식,characteristic_equation 작성
2) 행렬식,determinant 계산
3) 고유벡터,eigenvector 구하기 - λ가 나오면 그에 대한 basis, eigenvector를 구하는 예.
- trivial solution - 너무 자명함 - 논외, 고유벡터로 생각하지 않음
- why? A-λI가 역행렬을 가진다면(행렬식이 0이 아님), 양변에 (A-λI)-1을 곱하면, v=0인 경우 밖에 없음
- 따라서 A-λI가 역행렬을 가지지 않는다 → det(A-λI)=0
det(A-λI)=0을 만족시키는 λ=고유값
각 고유값 λ에 대응하는 v=고유벡터
- A-λI의 null_space에 존재하는 모든 v=고유벡터(무한 개)
- 일반적으로, null space 대표값(기저,basis)를 고유벡터로 설정함
1) 특성방정식,characteristic_equation 작성
2) 행렬식,determinant 계산
3) 고유벡터,eigenvector 구하기 - λ가 나오면 그에 대한 basis, eigenvector를 구하는 예.
58:50
이것들의 활용 예.
이것들의 활용 예.
- 주성분분석,principal_component_analysis,PCA - 고차원 data의 차원축소,dimensionality_reduction를 통해 data의 주요 패턴,pattern을 파악하는 방법. 고유값과 고유벡터를 활용하여 고유값이 큰 순서대로 주성분을 선택 // 주성분,principal_component?
- 선형판별분석,linear_discriminant_analysis,LDA - 고유값과 고유벡터를 활용하여 class간 분산(분산,variance?)을 최대화 및 클래스 내 분산을 최소화하는 선형변환,linear_transformation을 찾는 방법
- 특이값분해,singular_value_decomposition,SVD - user-item matrix의 SVD에서 고유값과 고유벡터를 사용하여 추천시스템에 활용 // 추천시스템,recommendation_system { recommendation system } // recommendation system ..
recommendation system 
recommendation system
// Excerpt from: 머신러닝을 위한 수학과 응용 (2020), 삼성SDS 문기효
역사
선형대수학의 중요한 이론인 고유값,eigenvalue과 고유벡터,eigenvector의 개념은,
역사적으로 이차형식,quadratic_form과 미분방정식,differential_equation 이론으로부터 발전했다.
18세기에 Leonhard_Euler가 강체,rigid_body의 회전운동,rotational_motion{
회전운동,rotational_motion 
회전운동 
rotational_motion ... }에 대해 연구하면서 주축,principal_axis(주요축,principal_axis?)의 중요성에 대해 발견.
그리고 Joseph-Louis_Lagrange가 이 주축이 관성행렬(Inertia Matrix ...관성텐서 말하는건가?
관성행렬 inertia.matrix)의 고유벡터,eigenvector라는 것을 알게 되었다.
그리고 Joseph_Fourier, Pierre-Simon_Laplace, Charles_Hermite, Joseph_Liouville 등과 같은 유명한 수학자들에 의해 특성방정식,characteristic_equation{특성방정식,characteristic_equation ... 특성방정식 characteristic_equation }이 개발되고 고유값과 고유벡터의 여러 가지 성질들이 밝혀지게 되었다.
전통적으로 이러한 개념은 수학적으로 미분방정식을 풀기 위해 도입되었지만, 최근에는 인공지능을 포함한 머신러닝에서 사용되고 있어 그 중요도가 더 높아졌다고 할 수 있다.
역사적으로 이차형식,quadratic_form과 미분방정식,differential_equation 이론으로부터 발전했다.
18세기에 Leonhard_Euler가 강체,rigid_body의 회전운동,rotational_motion{
회전운동,rotational_motion 회전운동 rotational_motion ... }에 대해 연구하면서 주축,principal_axis(주요축,principal_axis?)의 중요성에 대해 발견.그리고 Joseph-Louis_Lagrange가 이 주축이 관성행렬(Inertia Matrix ...관성텐서 말하는건가?
관성행렬 inertia.matrix)의 고유벡터,eigenvector라는 것을 알게 되었다.그리고 Joseph_Fourier, Pierre-Simon_Laplace, Charles_Hermite, Joseph_Liouville 등과 같은 유명한 수학자들에 의해 특성방정식,characteristic_equation{
특성방정식,characteristic_equation ... 특성방정식 characteristic_equation }이 개발되고 고유값과 고유벡터의 여러 가지 성질들이 밝혀지게 되었다.전통적으로 이러한 개념은 수학적으로 미분방정식을 풀기 위해 도입되었지만, 최근에는 인공지능을 포함한 머신러닝에서 사용되고 있어 그 중요도가 더 높아졌다고 할 수 있다.
고유값과 고유벡터란 // 이하 원문 그대로
정사각행렬,square_matrix인 선형변환,linear_transformation{선형변환,linear_transformation} A 에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를 고유벡터라 하고 이 상수배 λ의 값을 고유값이라고 합니다. 이를 행렬과 벡터를 사용하여 나타내면 다음 식과 같습니다.
이제 고유값과 고유벡터를 찾아봅시다. 식 (1)의 우변을 좌변으로 옮겨 변형하면 다음과 같습니다.
따라서 다음과 같은 조건을 만족시켜야 합니다.
특성방정식,characteristic_equation이라고 합니다.
식 (4)로부터 λ값을 계산할 수 있고 이 값을 고유값이라고 합니다.
고유값을 구한 후 이 값을 식 (2)에 대입하여 고유벡터를 구할 수 있습니다.
고유벡터는 A-λI의영공간,null_space에 있는 벡터이며 유일하지 않고 일반적으로 단위벡터화(‖v‖=1)하여 사용합니다.
선형변환,linear_transformation} A 에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를 고유벡터라 하고 이 상수배 λ의 값을 고유값이라고 합니다. 이를 행렬과 벡터를 사용하여 나타내면 다음 식과 같습니다.Av=λv ....(1)
(...기하학적으로는 벡터가 방향이 변하지 않고 크기가 변한다는 얘기...)이제 고유값과 고유벡터를 찾아봅시다. 식 (1)의 우변을 좌변으로 옮겨 변형하면 다음과 같습니다.
(A-λI)v=0 ....(2)
여기서 I는 단위행렬(Identity Matrix)입니다. 식 (2)에서 A-λI의 역행렬,inverse_matrix이 존재한다고 가정하면 어떻게 될까요? 식 (3)을 보면,v=(A-λI)-10=0 ....(3)
이 되므로 v=0 즉 고유벡터가 항상 0이 되어버립니다. 우리는 0이 아닌 벡터를 찾으려고 하고 이렇게 하기 위해서는 A-λI의 역행렬이 존재하지 않아야 됩니다.따라서 다음과 같은 조건을 만족시켜야 합니다.
det(A-λI) = 0 ....(4)
식 (4)를 특성방정식,characteristic_equation이라고 합니다.식 (4)로부터 λ값을 계산할 수 있고 이 값을 고유값이라고 합니다.
고유값을 구한 후 이 값을 식 (2)에 대입하여 고유벡터를 구할 수 있습니다.
고유벡터는 A-λI의
영공간,null_space에 있는 벡터이며 유일하지 않고 일반적으로 단위벡터화(‖v‖=1)하여 사용합니다.아래 그림 2(원문링크참조)는 선형 변환을 보여주고 있으며, 선형 변환 후 붉은색 화살표는 방향이 변화하고 푸른색 화살표는 방향이 변화하지 않고 있습니다. 푸른색 화살표는 고유벡터라고 하며 크기가 변하지 않았기 때문에 고유값은 1이라고 할 수 있습니다. 붉은색 화살표는 방향이 변화하였기 때문에 고유벡터가 아닙니다.