전체 글 63

행렬(Matrix)

개요행렬(Matrix)은 선형대수학에서 수나 다항식을 직사각형 모양으로 배열한 수학적 구조입니다. 가로 줄을 행(Row), 세로 줄을 열(Column)이라고 부릅니다. 내용행렬은 선형대수학의 핵심 도구로, 수나 다항식을 행과 열로 배열한 구조이며, 연립방정식의 간결한 표현, 선형 변환, 데이터 저장 및 다양한 연산에 활용됩니다. 1. 정사각행렬 (Square Matrix)행(row)과 열(column)의 개수가 같은 행렬입니다. 3×3, 4×4 등의 행령이 정사각행렬입니다. 2. 대각행렬 (Diagonal Matrix)정사각행렬 중에서 주대각선(왼쪽 위에서 오른쪽 아래로 이어지는 선) 이외의 모든 성분이 0인 행렬입니다. 3. 단위행렬 또는 항등행렬 (Identity Matrix)대각행렬의 일종으로,..

AI & GPU 2025.06.25

EigenValue, EigenVector

개요고유값(EigenValue)과 고유벡터(EigenVector)는 선형대수학에서 매우 중요한 개념으로, 행렬이 특정 벡터를 변환할 때 그 벡터의 방향은 그대로 두고 크기만 일정 배수로 변환시키는 경우를 설명합니다. 내용1. 고유벡터(EigenValue)행렬 A에 대해 방향이 변하지 않고 크기만 변하는 0이 아닌 벡터 x를 고유벡터라고 합니다. Ax = λx를 만족하는 0이 아닌 벡터 x가 고유벡터입니다. 즉, 고유벡터는 선형변환 후에도 방향이 변하지 않는 0이 아닌 벡터를 의미합니다. 2. 고유값(EigenVector)x가 고유벡터일 때, 그 벡터가 변환될 때의 배수 λ를 고유값이라고 합니다. 즉, 고유값은 고유벡터가 변환될 때의 크기 변화 비율을 의미합니다. 고유벡터와 고유값을 그래프 위에서 표현하..

AI & GPU 2025.06.21

UTM

개요UTM(Unified Threat Management)은 네트워크 보안을 위해 여러 보안 기능을 하나의 장비 또는 서비스에 통합하여 제공하는 네트워크 보안 솔루션입니다. 방화벽, 침입 탐지/방지 시스템(IDS/IPS), 바이러스 백신, 스팸 필터, 웹 필터링 등의 다양한 보안 기능을 단일 장비로 통합함으로써 관리의 복잡성을 줄이고, 비용 절감 및 효율적인 보안 운영을 가능케 합니다. 민간기업, 공공기관, 교육기관 등 대규모 네트워크 환경에서 주로 사용됩니다. 네트워크 트래픽을 실시간으로 모니터링하고 다양한 위협에 신속하게 대응할 수 있습니다. 내용UTM은 네트워크 보안을 위한 다양한 기능을 단일 장비로 통합하여 제공하는 솔루션으로, 방화벽, 침입 탐지/방지, 바이러스 방지, VPN, 웹/콘텐츠 필터..

Cloud 2025.06.11

vLLM

개요vLLM은 LLM 추론의 메모리 효율성과 처리 속도 개선을 위해 설계된 오픈소스 프레임워크입니다. 대규모 동시 요청 처리와 실시간 애플리케이션에 적합하며, 클라우드 및 온프레미스 환경 모두에서 배포할 수 있습니다. 내용vLLM은 LLM 추론 및 서빙을 위해 설계된 오픈소스 라이브러리로, GPU 메모리를 효율적으로 관리합니다. 운영 환경에서 요구되는 높은 처리량과 낮은 지연을 제공하는 것이 핵심 목표입니다. PagedAttention: KV 캐시를 비연속적 메모리 블록에 저장하여, 메모리 효율을 높이고 긴 컨텍스트 윈도우를 지원Quantization: AWQ, RTN, GPTQ 등의 다양한 양자화 기업을 지원. 8비트 양자화 적용 시 최대 모델 크기를 50% 감소Continuous Batching: ..

AI & GPU 2025.06.08

NVIDIA TensorRT

개요TensorRT는 딥러닝 모델을 최적화하여 NVIDIA GPU 상에서의 추론 속도를 향상시키는 최적화 엔진입니다. 모델을 최적화하는 Optimizer와 모델연산을 수행하는 Runtime Engine으로 구성되어 있습니다. PyTorch, TensorFlow, Caffe 등의 프레임워크를 지원합니다. 내용TensorRT는 학습된 딥러닝 모델을 최적화하여 NVIDIA GPU 상에서의 추론 속도를 수배에서 수십 배까지 향상시키는 모델 최적화 엔진 및 SDK입니다. PyTorch, TensorFlow, Caffe 등 다양한 딥러닝 프레임워크에서 학습된 모델을 지원합니다. TensorRT는 모델 구조를 분석하여, 연산 속도와 메모리 효율성을 극대화하는 여러 최적화 기법을 적용합니다. 대표적으로 Layer F..

AI & GPU 2025.06.08

DGX H100 & HGX H100

개요DGX H100은 NVIDIA가 직접 설계·제조한 완제품으로, GPU, CPU, 메모리, 스토리지, 네트워킹 등 모든 하드웨어와 소프트웨어가 통합되어 즉시 사용할 수 있는 일체형 시스템입니다. 반면, HGX H100은 GPU, NVSwitch, NVLink 등 핵심 가속 모듈만 제공하는 플랫폼으로, 서버 제조사가 CPU, 메모리, 스토리지 등 나머지 부품을 자유롭게 선택해 구축하는 맞춤형 서버입니다. 내용1. DGX H100NVIDIA가 직접 설계·제조한 완제품 서버로, 8개의 H100 GPU, NVSwitch, 듀얼 x86 CPU, 최대 2TB 메모리, NVMe SSD 등 모든 하드웨어와 소프트웨어가 통합되어 있습니다. 설치 후 바로 AI/ML 워크로드에 사용할 수 있도록 최적화되어 있으며, NVI..

AI & GPU 2025.06.05

오픈스택

개요오픈스택(OpenStack)은 클라우드 컴퓨팅 환경을 구축하고 관리하기 위한 오픈소스 플랫폼입니다. 다양한 하드웨어와 스프트웨어 환경에서 동작하며 서버, 스토리지, 네트워크 등 다양한 가상 리소스를 효율적으로 관리할 수 있도록 설계되어 있습니다.국내에서는 KT클라우드, NHN클라우드, 카카오클라우드 등이 오픈스택을 사용하고 있습니다. 내용오픈스택은 오픈 소스 기반의 클라우드 컴퓨팅 플랫폼입니다. 대규모 데이터센터의 컴퓨팅, 스토리지, 네트워크 리소스를 가상화하여 프라이빗 또는 퍼블릭 클라우드를 구축하고 관리할 수 있게 해줍니다. RackSpace와 NASA가 주도하여 시작된 이 프로젝트는 현재도 활발히 개발되고 있으며, 다양한 산업군에서 사용되고 있습니다. 오픈스택은 여러 독립적인 서비스(모듈)로 ..

Cloud 2025.06.05

임베딩

개요 임베딩(Embedding)은 텍스트, 이미지, 오디오 등의 데이터를 연속적인 숫자 벡터(수치화된 배열)로 변환하는 기술입니다. 사람이 사용하는 자연어, 사진, 소리와 같은 복잡한 데이터를 기계가 처리할 수 있는 형태인 벡터로 바꾸는 과정 또는 그 결과를 의미합니다. 벡터 공간에서는 데이터 간 의미적 유사성, 관계 등을 수치적으로 표현할 수 있습니다. 자연어 처리, 이미지 검색, 추천 시스템 등 다양한 인공지능 분야에서 핵심적으로 활용됩니다. 내용임베딩은 사람이 이해하는 복잡한 데이터를 컴퓨터가 이해할 수 있는 벡터(수치화된 배열)로 변환합니다. 자연어, 이미지, 오디오 등 다양한 데이터를 벡터 공간의 점으로 표현할 수 있습니다. 벡터 공간에서 데이터 간의 의미적 유사성, 관계 등을 수치적으로 ..

AI & GPU 2025.06.05

슈퍼컴퓨팅500(TOP500)

개요슈퍼컴퓨팅500은 전 세계에서 가장 강력한 슈퍼컴퓨터 500대를 순위화하는 목록입니다. 이 목록은 1993년부터 매년 2회 발표되며, 슈퍼컴퓨터의 성능을 비교하고, 슈퍼컴퓨팅 기술 발전을 추적하는 데 사용됩니다. 내용슈퍼컴퓨팅500, 흔히 TOP500이라고 불리는 이 프로젝트는 전 세계에서 가장 강력한 500대 슈퍼컴퓨터의 순위와 상세 정보를 매년 두 차례 발표하는 글로벌 프로젝트입니다. 슈퍼컴퓨터의 성능은 약 4년마다 10배 이상 향상되는 등 매우 빠른 속도로 발전하고 있으며 미국, 일본, 중국 등 주요 국가들이 세계 1위 자리를 놓고 치열하게 경쟁 중입니다. 대규모 연립 선형방정식의 해를 구하는 LINPACK 벤치마크(HPL)를 사용하여 실질적인 부동소수점 연산 성능(Flops, 초당 부동소수점 ..

Issue 2025.05.30
728x90