분류 전체보기 73

몬테 카를로 시뮬레이션 (Monte Carlo Simulation)

개요몬테 카를로 시뮬레이션 (Monte Carlo Simulation)는 무작위 샘플링을 반복적으로 실행하여 문제의 해답이나 확률 분포, 기대값 등을 근사적으로 구하는 계산 방법입니다. 내용 몬테 카를로 시뮬레이션은 무작위 샘플링과 통계적 해석을 통해 불확실한 문제의 해답을 근사하는 확률 시뮬레이션 기법입니다. 불확실하거나 결정적으로 풀기 어려운 문제에 대해, 많은 수의 난수를 발생시켜 그 결과를 통계적으로 취합해 답을 추정합니다. 주로 확률 변수의 분포, 함수의 적분, 시스템의 미래 예측 등 불확실성이 존재하는 상황에서 사용됩니다. 적용 순서는 아래와 같습니다.(1) 해결하고자 하는 문제를 정의(2) 문제의 영향을 주는 확률 변수를 결정(3) 난수(무작위 값)을 반복적으로 생성(4) 난수에 수학적 모델..

AI & GPU 2025.09.02

GPU 클러스터 / GPU Direct

개요국내외 데이터센터 및 연구기관에서는 GPU 클러스터(HPC+AI 인프라) 구축에 대한 관심이 크게 증가하고 있습니다. 기존 CPU 기반 HPC 클러스터를 넘어 AI·머신러닝 등의 워크로드에서 GPU 클러스터의 채택이 가속화되고 있습니다. 내용1. GPU 클러스터의 필요성전통적 HPC의 경우, 초정밀 영역에서는 여전히 CPU 클러스터가 강세입니다. 그러나 AI·머신러닝, 단정밀도 혹은 반정밀도 기반 워크로드는 GPU 기반 병렬 연산이 훨씬 효율적입니다. 이 때문에 데이터센터 GPU 클러스터가 필수적으로 요구되고 있습니다. 2. GPU Direct P2P기존 병렬 연산은 스토리지 → 네트워크 → CPU 메모리 → GPU 를 거쳐야 했기 때문에 많은 지연이 존재했습니다. GPU Direct는 CPU를 거치..

AI & GPU 2025.08.24

자기회귀모델

개요자기회귀모델(Autoregressive Model)은 과거의 데이터(혹은 상태)로부터 미래 값을 예측한다는 기본 원리를 갖고 있습니다. 내용자기 회귀 모델은 이전 입력에서의 측정값을 가져와 다음 시퀸스를 예측하는 기계 학습 모델의 클래스입니다. ChatGPT, Claude, Llama 등의 LLM은 실상 자기회귀 언어모델(Autoregressive Language Model)입니다. 이는 LLM이 첫 단어부터 순차적으로 (Context를 업데이트 해가며) 하나씩 생성해나간다는 점에서 자기회귀적이기 때문입니다. 기존의 순환신경망(RNN) 기반 모델들도 자기회귀성을 갖고 있지만, 트랜스포머(Transformer) 구조와 Self-Attention 기법을 활용해 훨씬 효율적으로 맥락을 반영합니다. 단, 다..

AI & GPU 2025.08.19

특정 AI 모델이 H100에서는 동작하지만 A100에서는 동작하지 않는 이유는 무엇인가?

개요어떤 AI 모델이 NVIDIA H100에서는 작동하지만 A100에서는 작동하지 않는 주된 이유는 두 GPU의 아키텍처 및 지원 기능의 차이 때문입니다 내용1.아키텍처H100은 Hopper 아키텍처 기반으로, Transformer Engine을 내장하여 대형 트랜스포머 기반 모델을 훨씬 빠르고 효율적으로 처리할 수 있습니다. A100은 Ampere 아키텍처로, Transformer Engine이 없기 때문에 특정 최신 ML 라이브러리가 H100에 맞춰 설계될 경우 A100에서 지원되지 않거나 성능 저하가 심할 수 있습니다. 2. FP8 (8비트 부동소수점) H100은 FP8 연산을 지원하는 네 번째 세대 Tensor Core와 Transformer Engine이 탑재되어 있습니다. 최신 대형 AI 모델..

Q&A/AI & GPU 2025.08.14

LLM에서 토큰은 무엇인가?

개요LLM(대규모 언어 모델)에서 토큰(Token)은 텍스트를 이해하고 생성할 때 사용하는 가장 작은 처리 단위입니다. 내용토큰은 단어, 글자, 단어의 일부, 구두점 등 다양한 형태가 될 수 있습니다. LLM은 입력된 텍스트를 이러한 토큰 단위로 쪼갠 후 토큰 ID를 부여하여 처리합니다. 토큰화(Tokenization)란 이처럼 텍스트를 정해진 규칙에 따라 토큰으로 분리하는 과정입니다. 아래 예시는 단어를 하나의 토큰으로 하여 문단을 토큰화한 결과입니다. 토큰화된 단어에는 토큰 ID가 부여되고, 이는 벡터화되어 LLM 모델 학습에 사용됩니다. LLM은 이러한 토큰 시퀀스를 통해 텍스트의 의미를 파악하고, 새로운 텍스트를 생성할 때도 다음에 올 토큰을 확률적으로 예측하는 방식으로 동작합니다. LLM의 ..

Q&A/AI & GPU 2025.08.11

Diffusion Model

개요Diffusion Model은 인공지능에서 데이터를 생성하는 생성 모델(Generative Model)의 한 종류로, 특히 이미지 생성 분야에서 뛰어난 성능을 보이는 모델입니다. 내용Diffusion Model은 원래의 데이터에 점점 노이즈를 더해가며 이미지를 완전한 무작위 노이즈 상태로 만드는 과정(Forward Process)과, 그 노이즈 상태로부터 점진적으로 노이즈를 제거하여 원래의 데이터를 복원하는 과정(Reverse Process)을 통해 학습하는 모델입니다.Forward Process: 깨끗한 이미지에 단계별로 노이즈를 조금씩 더하는 단계Reverse Process: 노이즈에서 출발해 다시 원래의 깨끗한 사진으로 서서히 복원해 가는 단계 최초의 이미지(x0)에 노이즈를 조금씩 추가해 나가..

AI & GPU 2025.08.09

미분의 정의와 극한과의 관계

개요인공지능에서 극한과 미분은 모델을 학습시키고 최적화하는 데 필수적인 역할을 하며, 특히 딥러닝의 핵심인 오차 역전파 과정과 최적화 알고리즘에 활용됩니다. 1. 극한 (Limit)극한은 함수나 수열이 어떤 특정한 값에 점점 가까워지는 경향을 수학적으로 엄밀하게 표현하는 개념입니다.함수 x가 어떤 점 a에 가까워질 때, f(x)의 값이 어떤 특정 값 L에 점점 가까워지면, 이때 f(x)의 x가 a에 가까워질 때의 극한값은 L이라고 합니다. 이는 x가 a에 아주 가까워질수록 f(x)가 L에 무한히 가까이 다가간다는 뜻입니다. 2. 미분 (Derivative)미분은 함수의 순간적인 변화율, 즉 특정 점에서의 기울기를 구하는 개념입니다. 순간 변화율을 구할 수 있기 때문에, 어느 한 점에서 함수(곡선)의 기울..

AI & GPU 2025.08.09

스토리지 저장방식

개요스토리지 저장방식은 데이터를 저장하고 관리하는 방식에 따라 블록(Block), 파일(File), 오브젝트(Object)로 나뉩니다. 내용1. 블록 스토리지데이터를 일정한 크기의 블록 단위로 쪼개어 저장합니다. 각 블록은 고유 주소를 가지며, 데이터는 계층 구조 없이 관리됩니다.낮은 레벨의 구조로, 빠른 데이터 접근과 처리 속도 제공합니다. 뛰어난 확장성과 유연성을 특징으로 하며, 파일 스토리지 및 오브젝트 스토리지의 기반이 됩니다.고성능, 저지연 데이터 입출력에 적합하기 때문에 데이터베이스, 가상머신, 미션 크리티컬한 시스템에 주로 사용됩니다.메타데이터 관리가 제한적이며, 비용이 높을 수 있습니다. 2. 파일 스토리지데이터를 파일 단위로 저장하고, 폴더/디렉토리 구조로 계층적으로 관리합니다. 전통적..

Cloud 2025.07.25

스토리지 연결방식

개요스토리지의 연결 방식은 데이터를 어떻게 저장하고 접근하는지에 따라 크게 DAS, NAS, SAN으로 나뉩니다. 내용1. DAS (Direct Attached Storage)컴퓨터, 서버, 워크스테이션에 네트워크를 거치지 않고 직접 연결되는 스토리지입니다. 서버와 스토리지가 USB, SATA, SAS 등 케이블로 직접 연결되기 때문에 성능이 매우 우수합니다.다만, 서버와 스토리지가 1:1로 연결되기 때문에 확장성과 중앙 관리가 어렵습니다. 또한 연결포트가 제한되기 때문에, 연결되어 있지 않은 다른 서버로부터의 접근이 불가합니다.소규모 독립구성 환경에서 주로 사용됩니다. 2. NAS (Network Attached Storage)서버와 스토리지가 LAN 방식 네트워크로 연결되어 있는 방식입니다. 네트워..

Cloud 2025.07.25
728x90