[선형 대수] 선형 결합과 선형 독립

선형 결합과 생성

선형 결합(Linear Combination)은 벡터의 스칼라 곱과 덧셈을 조합하여 새로운 벡터를 얻는 연산이다.

기하학적인 관점에서 생각한다면 스칼라-벡터 곱은 벡터의 길이를 줄이거나 키우는 것으로, 두 벡터의 덧셈은 두 벡터가 이루는 평행사변형의 대각선과 일치한다.

 

선형 독립과 선형 종속

선형 독립

예를 들어 A = {a1, a2, a3, ..., an}에 대해 c1a1 + c2a2 + c3a3 + ..cnan = 0을 만족하는 c가 모두 0일 때를 선형 독립이라고 한다.

💡 인공지능에서 선형 독립과 선형 종속은 어떻게 사용하나요?
인공지능에서 데이터셋 특성이 많아지면 오버피팅이 발생한다.
이러한 현상을 차원의 저주라고 하는데, 이를 해결하는 방법 중 하나로 PCA(Principal Component Analysis)가 있다.
PCA는 특성 추출(Feature extraction) 방법을 이용하는데, 특성 추출은 원본 특성의 조합으로 새로운 특성을 생성하는 것이다.
즉, 데이터에서 주축을 찾고 모든 데이터를 해당 축에 투영시켜서(원본 특성들의 선형 결합으로) 새로운 특성을 만든다.
이때 데이터의 특성 간 관계가 선형 종속 관계일 때 특성 추출이 잘 작동한다.

 

선형 종속

선형 종속 역시 수식을 사용하여 정의할 수 있다.

예를 들어 A = {a1, a2, a3, ..., an}에 대해 c1a1 + c2a2 + c3a3 + ..cnan = 0을 만족하는 0이 아닌 c1, c2, c3 .. cn가 존재할 때 a1 ,a2, a3... an을 선형 종속이라고 한다.