Tech Crunchy

EigenValue, EigenVector

개요고유값(EigenValue)과 고유벡터(EigenVector)는 선형대수학에서 매우 중요한 개념으로, 행렬이 특정 벡터를 변환할 때 그 벡터의 방향은 그대로 두고 크기만 일정 배수로 변환시키는 경우를 설명합니다. 내용1. 고유벡터(EigenValue)행렬 A에 대해 방향이 변하지 않고 크기만 변하는 0이 아닌 벡터 x를 고유벡터라고 합니다. Ax = λx를 만족하는 0이 아닌 벡터 x가 고유벡터입니다. 즉, 고유벡터는 선형변환 후에도 방향이 변하지 않는 0이 아닌 벡터를 의미합니다. 2. 고유값(EigenVector)x가 고유벡터일 때, 그 벡터가 변환될 때의 배수 λ를 고유값이라고 합니다. 즉, 고유값은 고유벡터가 변환될 때의 크기 변화 비율을 의미합니다. 고유벡터와 고유값을 그래프 위에서 표현하..

개요UTM(Unified Threat Management)은 네트워크 보안을 위해 여러 보안 기능을 하나의 장비 또는 서비스에 통합하여 제공하는 네트워크 보안 솔루션입니다. 방화벽, 침입 탐지/방지 시스템(IDS/IPS), 바이러스 백신, 스팸 필터, 웹 필터링 등의 다양한 보안 기능을 단일 장비로 통합함으로써 관리의 복잡성을 줄이고, 비용 절감 및 효율적인 보안 운영을 가능케 합니다. 민간기업, 공공기관, 교육기관 등 대규모 네트워크 환경에서 주로 사용됩니다. 네트워크 트래픽을 실시간으로 모니터링하고 다양한 위협에 신속하게 대응할 수 있습니다. 내용UTM은 네트워크 보안을 위한 다양한 기능을 단일 장비로 통합하여 제공하는 솔루션으로, 방화벽, 침입 탐지/방지, 바이러스 방지, VPN, 웹/콘텐츠 필터..

개요vLLM은 LLM 추론의 메모리 효율성과 처리 속도 개선을 위해 설계된 오픈소스 프레임워크입니다. 대규모 동시 요청 처리와 실시간 애플리케이션에 적합하며, 클라우드 및 온프레미스 환경 모두에서 배포할 수 있습니다. 내용vLLM은 LLM 추론 및 서빙을 위해 설계된 오픈소스 라이브러리로, GPU 메모리를 효율적으로 관리합니다. 운영 환경에서 요구되는 높은 처리량과 낮은 지연을 제공하는 것이 핵심 목표입니다. PagedAttention: KV 캐시를 비연속적 메모리 블록에 저장하여, 메모리 효율을 높이고 긴 컨텍스트 윈도우를 지원Quantization: AWQ, RTN, GPTQ 등의 다양한 양자화 기업을 지원. 8비트 양자화 적용 시 최대 모델 크기를 50% 감소Continuous Batching: ..

개요TensorRT는 딥러닝 모델을 최적화하여 NVIDIA GPU 상에서의 추론 속도를 향상시키는 최적화 엔진입니다. 모델을 최적화하는 Optimizer와 모델연산을 수행하는 Runtime Engine으로 구성되어 있습니다. PyTorch, TensorFlow, Caffe 등의 프레임워크를 지원합니다. 내용TensorRT는 학습된 딥러닝 모델을 최적화하여 NVIDIA GPU 상에서의 추론 속도를 수배에서 수십 배까지 향상시키는 모델 최적화 엔진 및 SDK입니다. PyTorch, TensorFlow, Caffe 등 다양한 딥러닝 프레임워크에서 학습된 모델을 지원합니다. TensorRT는 모델 구조를 분석하여, 연산 속도와 메모리 효율성을 극대화하는 여러 최적화 기법을 적용합니다. 대표적으로 Layer F..

개요DGX H100은 NVIDIA가 직접 설계·제조한 완제품으로, GPU, CPU, 메모리, 스토리지, 네트워킹 등 모든 하드웨어와 소프트웨어가 통합되어 즉시 사용할 수 있는 일체형 시스템입니다. 반면, HGX H100은 GPU, NVSwitch, NVLink 등 핵심 가속 모듈만 제공하는 플랫폼으로, 서버 제조사가 CPU, 메모리, 스토리지 등 나머지 부품을 자유롭게 선택해 구축하는 맞춤형 서버입니다. 내용1. DGX H100NVIDIA가 직접 설계·제조한 완제품 서버로, 8개의 H100 GPU, NVSwitch, 듀얼 x86 CPU, 최대 2TB 메모리, NVMe SSD 등 모든 하드웨어와 소프트웨어가 통합되어 있습니다. 설치 후 바로 AI/ML 워크로드에 사용할 수 있도록 최적화되어 있으며, NVI..

개요오픈스택(OpenStack)은 클라우드 컴퓨팅 환경을 구축하고 관리하기 위한 오픈소스 플랫폼입니다. 다양한 하드웨어와 스프트웨어 환경에서 동작하며 서버, 스토리지, 네트워크 등 다양한 가상 리소스를 효율적으로 관리할 수 있도록 설계되어 있습니다.국내에서는 KT클라우드, NHN클라우드, 카카오클라우드 등이 오픈스택을 사용하고 있습니다. 내용오픈스택은 오픈 소스 기반의 클라우드 컴퓨팅 플랫폼입니다. 대규모 데이터센터의 컴퓨팅, 스토리지, 네트워크 리소스를 가상화하여 프라이빗 또는 퍼블릭 클라우드를 구축하고 관리할 수 있게 해줍니다. RackSpace와 NASA가 주도하여 시작된 이 프로젝트는 현재도 활발히 개발되고 있으며, 다양한 산업군에서 사용되고 있습니다. 오픈스택은 여러 독립적인 서비스(모듈)로 ..

개요 임베딩(Embedding)은 텍스트, 이미지, 오디오 등의 데이터를 연속적인 숫자 벡터(수치화된 배열)로 변환하는 기술입니다. 사람이 사용하는 자연어, 사진, 소리와 같은 복잡한 데이터를 기계가 처리할 수 있는 형태인 벡터로 바꾸는 과정 또는 그 결과를 의미합니다. 벡터 공간에서는 데이터 간 의미적 유사성, 관계 등을 수치적으로 표현할 수 있습니다. 자연어 처리, 이미지 검색, 추천 시스템 등 다양한 인공지능 분야에서 핵심적으로 활용됩니다. 내용임베딩은 사람이 이해하는 복잡한 데이터를 컴퓨터가 이해할 수 있는 벡터(수치화된 배열)로 변환합니다. 자연어, 이미지, 오디오 등 다양한 데이터를 벡터 공간의 점으로 표현할 수 있습니다. 벡터 공간에서 데이터 간의 의미적 유사성, 관계 등을 수치적으로 ..

개요슈퍼컴퓨팅500은 전 세계에서 가장 강력한 슈퍼컴퓨터 500대를 순위화하는 목록입니다. 이 목록은 1993년부터 매년 2회 발표되며, 슈퍼컴퓨터의 성능을 비교하고, 슈퍼컴퓨팅 기술 발전을 추적하는 데 사용됩니다. 내용슈퍼컴퓨팅500, 흔히 TOP500이라고 불리는 이 프로젝트는 전 세계에서 가장 강력한 500대 슈퍼컴퓨터의 순위와 상세 정보를 매년 두 차례 발표하는 글로벌 프로젝트입니다. 슈퍼컴퓨터의 성능은 약 4년마다 10배 이상 향상되는 등 매우 빠른 속도로 발전하고 있으며 미국, 일본, 중국 등 주요 국가들이 세계 1위 자리를 놓고 치열하게 경쟁 중입니다. 대규모 연립 선형방정식의 해를 구하는 LINPACK 벤치마크(HPL)를 사용하여 실질적인 부동소수점 연산 성능(Flops, 초당 부동소수점 ..

개요 그래디언트 누적(Gradient Accumulation)은 GPU 메모리 한계로 인해 한 번에 큰 배치 크기(Batch Size)로 학습할 수 없을 때, 작은 미니 배치(Mini-Batch)에서 계산된 그래디언트를 여러 번 누적(Accumulate)한 후, 일정 횟수마다 한 번에 모델 파라미터를 업데이트하는 딥러닝 학습 기법입니다. 내용그래디언트 누적은 작은 배치로 여러 번 그래디언트를 계산해 누적한 뒤, 한 번에 파라미터를 업데이트함으로써, 실제로는 큰 배치로 학습하는 것과 같은 효과를 내는 메모리 효율적 학습 기법입니다. 일반적으로 딥러닝 학습에서는 하나의 미니 배치에서 Forward, Backward를 거쳐 나온 그래디언트를 즉시 파라미터로 업데이터이 합니다. 그래디언트 누적은 각 미니 배치..

개요LLM에서 치명적 망각(Catastrophic Forgetting)은 모델이 새로운 데이터를 학습할 때 이전에 습득한 정보를 급격히 잊어버리는 현상을 의미합니다. 이는 연속 학습(Continual Learning) 환경에서 주로 발생하며, 모델의 성능 저하로 이어집니다. 내용치명적 망각은 인공 신경망이 새로운 데이터를 학습할 때 이전에 습득한 정보를 급격히 잊어버리는 현상으로, 연속 학습 환경에서 주요 문제로 작용합니다. 이는 인간의 뇌와 달리 인공지능 모델이 다중 작업 학습 시 지식 유지 능력이 부족하기 때문입니다. 치명적 망각의 주요 원인은 아래와 같습니다.파라미터 덮어쓰기: 신경망의 모든 가중치가 새로운 학습 시 동시 업데이트되어 기존 정보가 손실정보 중요도 인식 부재: 모델이 보존해야 할 핵..