AI & GPU

머신러닝에서 요구하는 선형대수학 01

Tech Crunchy 2025. 3. 28. 18:37
728x90

개요

머신러닝은 선형대수학과 확률론 같은 수학적 개념에 기반하여 발전한 분야입니다. 수학적 도구들은 변수 간의 관계를 분석할 수 있도록 하며, 많은 머신러닝 모델의 근간이 됩니다.

 

기본 개념

  • 스칼라(Scalar): 스칼라는 하나의 숫자
  • 벡터(Vector): 벡터는 여러 개의 숫자 요소로 이루어진 집합
  • 행렬(Matrix): 행렬은 행과 열로 구성된 숫자 요소의 직사각형 배열

 

연산

스칼라, 벡터, 행렬의 기본 연산인 덧셈과 뺄셈은 같은 차원의 벡터들 사이에서 수행할 수 있습니다.

아래와 같이 두 벡터가 주어졌다고 가정하겠습니다.

벡터의 덧셈과 뺄셈은 아래와 같이 나타낼 수 있습니다.

또한 벡터는 스칼라와 곱하여 크기를 조정할 수 있습니다. 크기를 조정하는 경우의 곱셉은 아래와 같습니다.

원래 벡터와 같은 차원을 가지지만, 각 성분이 스칼라로 곱해진 새로운 벡터가 됩니다.

벡터 간 곱셉은 두 가지 종류가 있습니다. 내적(∙)과 외적(×)입니다.

여기서 내적은 머신러닝 알고리즘에 자주 사용되는 연산입니다. 내적은 두 벡터 사이에 적용할 수 있는 수학적 연산으로, 이 연산은 벡터 간 유사성을 판단하는 데 자주 활용됩니다. 내적은 아래와 같이 표기하며, 정의됩니다.

내적은 교환법칙이 성립한다는 점에서 순서가 결과에 영향을 끼치지 않습니다. 또한, 내적은 스칼라 곱셉의 분배법칙을 유지하므로 아래의 식이 성립합니다.

 

노름(Norm)

노름은 벡터의 절댓값으로, 두 벡터 간의 거리를 의미합니다.

절댓값은 |-1| = 1로 표현하는데, 여기서 실수가 아닌 벡터도 절댓값으로 표현할 수 있습니다. |(1,2)| = (1,2)처럼 표현 가능합니다.

L1 Norm은 벡터의 절대값을 모두 더한 값으로, 맨해튼 거리(Manhattan Distance)라고 합니다.

L2 Norm은 벡터의 제곱을 모두 더한 값으로, 유클리드 거리(Euclidean Distance)라고 합니다.

 

코사인 유사도 (Cosine Simliarity)

두 벡터 사이의 코사인 유사도는 두 벡터를 단위 길이로 정규화한 후 내적을 통해 계산됩니다.

코사인 유사도는 두 벡터 사이의 각도의 코사인값과 같습니다.

 

 

 

728x90

'AI & GPU' 카테고리의 다른 글

NCCL  (0) 2025.04.02
머신러닝에서 요구하는 선형대수학 02 - 벡터 연산  (0) 2025.03.29
분산학습 (Distributed Learning)  (0) 2025.03.28
머신러닝 모델 성능평가  (0) 2025.03.28
머신러닝 개요  (0) 2025.03.28