AI 연산은 왜 CPU가 아닌 GPU에서 이루어질까.By하은아빠

저는 시뮬레이션 게임을 좋아합니다.

그래서 예전에는 컴퓨터를 맞출 때 가장 먼저 CPU를 봤습니다.

문명, 풋볼매니저, 하츠 오브 아이언 같은 게임들은 시간이 지나고 국가나 유닛, AI 개체 수가 늘어날수록 CPU 성능 영향을 크게 받았습니다. 그래서 컴퓨터를 새로 맞출 때도 CPU와 메인보드에 가장 많은 돈을 쓰고, 그래픽카드는 게임이 돌아가기만 하는 수준으로 맞추곤 했습니다.

당시 제 생각은 단순했습니다.

컴퓨터 성능의 중심은 CPU라는 것이었습니다.

그런데 최근에는 생각이 조금 달라졌습니다.

시티즈 스카이라인 2를 해보려고 사양을 찾아봤는데, 예전처럼 CPU만 좋은 것이 중요한 게임이 아니었습니다. 오히려 높은 해상도와 방대한 에셋을 사용하려면 그래픽카드의 VRAM 용량이 상당히 중요하다는 이야기가 많았습니다.

그래서 이번에는 처음으로 CPU보다 그래픽카드를 먼저 결정했습니다.

예전에는 CPU가 컴퓨터 성능의 중심이라고 생각했는데, 어느 순간 GPU가 더 중요한 시대가 온 것입니다.

그런데 가만히 생각해 보니 이런 변화는 게임만의 이야기가 아니었습니다.

지금 AI 산업에서도 비슷한 일이 벌어지고 있습니다.

과거 데이터센터의 중심이 CPU였다면, 생성형 AI 시대에는 GPU가 모든 관심의 중심이 되었습니다.

시장에서 가장 많이 언급되는 반도체는 CPU가 아니라 GPU입니다. 생성형 AI, 데이터센터, 엔비디아, H100, H200, Blackwell 같은 단어가 계속 같이 등장합니다.

여기서 자연스럽게 질문이 생깁니다.

왜 AI 연산은 CPU가 아니라 GPU에서 이루어질까요?

CPU도 컴퓨터의 핵심 부품입니다. 서버에도 여전히 CPU가 들어갑니다. 그런데 왜 AI 산업의 주인공은 CPU가 아니라 GPU가 되었을까요?

답은 AI 연산의 본질에 있습니다.

AI는 복잡한 명령을 하나씩 판단하는 산업이 아니라, 거대한 계산을 동시에 밀어붙이는 산업입니다.

그리고 이 구조에 가장 잘 맞는 장치가 GPU입니다.

1. CPU는 똑똑한 관리자입니다

CPU는 컴퓨터의 중앙처리장치입니다.

운영체제를 돌리고, 프로그램을 실행하고, 명령을 해석하고, 여러 작업의 순서를 정합니다. CPU는 복잡한 판단과 제어에 강합니다. 어떤 작업을 먼저 할지, 조건문에서 어느 길로 갈지, 여러 프로그램이 동시에 돌아갈 때 자원을 어떻게 나눌지 결정합니다.

쉽게 말하면 CPU는 똑똑한 관리자입니다.

관리자는 현장 전체를 봅니다. 누가 어디에서 일해야 하는지, 어떤 작업이 먼저인지, 문제가 생기면 어떻게 처리할지 판단합니다. 대신 관리자가 직접 모든 박스를 나르지는 않습니다.

CPU도 마찬가지입니다.

CPU는 코어 하나하나가 강하고 복잡한 작업을 잘 처리합니다. 최신 서버 CPU는 코어 수도 많이 늘었습니다. AMD EPYC 9965는 공식 사양 기준 192코어를 제공합니다. Intel Xeon 6 제품군도 P-core 기준 최대 128코어까지 제시됩니다.

하지만 AI 연산에서는 코어 수만으로 승부가 나지 않습니다.

CPU는 기본적으로 지연 시간을 줄이는 구조에 가깝습니다. 하나의 명령을 빠르게 처리하고, 복잡한 흐름을 안정적으로 제어하는 데 강합니다. 반대로 같은 형태의 계산을 수천, 수만 개씩 동시에 처리하는 데는 GPU보다 불리합니다.

AI 모델이 요구하는 것은 관리자 한 명의 빠른 판단이 아닙니다.

수많은 계산을 동시에 처리하는 거대한 작업장입니다.

2.GPU는 대규모 작업자 집단입니다

GPU는 원래 그래픽 처리를 위해 발전했습니다.

게임 화면을 생각해보면 이해하기 쉽습니다. 화면 안에는 수많은 픽셀이 있고, 각 픽셀의 색과 빛, 그림자, 움직임을 빠르게 계산해야 합니다. 이 작업은 하나의 복잡한 판단이라기보다 비슷한 계산을 엄청나게 많이 동시에 처리하는 일입니다.

그래서 GPU는 병렬 처리에 강하게 설계되었습니다.

CPU가 소수의 강한 코어로 복잡한 일을 처리한다면, GPU는 훨씬 많은 연산 유닛으로 단순하고 반복적인 계산을 동시에 처리합니다.

NVIDIA H100 SXM 공식 사양을 보면 이 차이가 숫자로 보입니다. H100은 FP16 Tensor Core 기준 1,979 TFLOPS, FP8 Tensor Core 기준 3,958 TFLOPS 성능을 제공합니다. 메모리는 80GB HBM3이고, 메모리 대역폭은 초당 3.35TB입니다.

이 숫자가 중요한 이유는 단순히 GPU가 빠르기 때문이 아닙니다.

AI 연산에 필요한 행렬 계산을 대규모로 동시에 처리하기 위해 GPU가 특화되어 있기 때문입니다.

CPU는 복잡한 업무를 판단하는 관리자입니다.

GPU는 수많은 단순 작업을 동시에 밀어붙이는 작업자 집단입니다.

AI 시대에는 이 작업자 집단이 필요해졌습니다.

3.AI 연산의 핵심은 행렬 곱셈입니다

AI 모델이 하는 일을 겉으로 보면 굉장히 복잡해 보입니다.

문장을 이해하고, 이미지를 만들고, 코드를 작성하고, 질문에 답합니다. 하지만 그 안쪽으로 들어가면 핵심은 수많은 숫자 계산입니다.

딥러닝 모델은 입력값과 가중치를 계속 곱하고 더하면서 결과를 만듭니다. 이 과정에서 가장 많이 등장하는 계산이 행렬 곱셈입니다.

행렬 곱셈은 AI 연산의 기본 언어에 가깝습니다.

문장을 처리하는 거대언어모델도, 이미지를 분석하는 모델도, 추천 알고리즘도 결국 거대한 행렬과 벡터 계산을 반복합니다. 특히 Transformer 구조에서는 Query, Key, Value 같은 행렬 연산이 계속 등장합니다. 이 구조가 오늘날 ChatGPT 같은 생성형 AI의 기반입니다.

행렬 곱셈은 GPU가 잘하는 작업입니다.

각 원소 계산이 독립적으로 나뉘기 쉽고, 비슷한 계산을 동시에 반복할 수 있기 때문입니다. CPU처럼 순서를 하나하나 판단하는 방식보다, GPU처럼 수많은 연산 유닛이 동시에 달라붙는 방식이 훨씬 유리합니다.

그래서 AI는 GPU를 선택했습니다.

정확히 말하면 AI가 GPU를 선택한 것이 아니라, AI의 수학적 구조가 GPU를 필요로 했습니다.

AI 모델이 커질수록 병렬 연산의 가치는 더 커집니다.

모델 파라미터가 늘고, 학습 데이터가 늘고, 문맥 길이가 길어질수록 필요한 계산량은 폭발적으로 증가합니다. 이 계산을 CPU만으로 처리하려면 시간이 너무 오래 걸립니다.

GPU는 이 문제를 해결한 장치입니다.

4.AlexNet은 GPU 시대의 시작점이었습니다

AI가 GPU와 본격적으로 연결된 대표적인 사건은 2012년 AlexNet입니다.

AlexNet은 이미지 인식 분야에서 딥러닝이 강력하다는 것을 보여준 모델입니다. 당시 AlexNet 논문은 6,000만 개의 파라미터와 65만 개의 뉴런을 가진 심층 신경망을 제시했습니다. 그리고 GPU를 활용해 대규모 이미지 학습을 수행했습니다.

이 사건이 중요한 이유는 성능 때문입니다.

AlexNet은 ILSVRC-2012 이미지넷 대회에서 top-5 오류율 15.3%를 기록했습니다. 당시 2위 모델의 top-5 오류율은 26.2%였습니다. 차이가 매우 컸습니다.

이때 시장과 연구자들이 깨달은 것이 있습니다.

더 많은 데이터와 더 강한 병렬 연산이 결합하면 AI 성능이 크게 올라간다.

이후 딥러닝 연구는 GPU 중심으로 빠르게 이동했습니다. 모델은 점점 커졌고, 데이터도 커졌고, 학습에 필요한 연산량도 늘었습니다.

그리고 2017년 Transformer가 등장하면서 GPU의 중요성은 더 커졌습니다.

Transformer는 자연어 처리와 생성형 AI의 핵심 구조가 되었습니다. 문제는 Transformer 기반 모델이 커질수록 엄청난 연산량을 요구한다는 점입니다.

이제 AI는 연구실 컴퓨터 몇 대로 끝나는 일이 아니게 되었습니다.

수천 장, 수만 장의 GPU를 데이터센터 안에서 연결해 학습시키는 산업이 되었습니다.

Meta의 Llama 3 논문을 보면 이 변화가 잘 드러납니다. Llama 3 405B는 최대 16,000개의 H100 GPU를 사용해 학습됐고, 각 H100은 80GB HBM3와 700W TDP를 가진다고 설명됩니다.

AI 모델은 이제 소프트웨어이면서 동시에 물리 인프라입니다.

5.CPU만으로는 AI 산업의 속도를 감당하기 어렵습니다

CPU만으로도 AI 연산은 할 수 있습니다.

작은 모델을 테스트하거나, 간단한 추론을 하거나, 데이터 전처리를 하는 데 CPU는 여전히 중요합니다. 하지만 대규모 AI 모델을 학습하고 서비스하는 단계에서는 CPU만으로 한계가 분명합니다.

첫 번째 한계는 연산량입니다.

거대언어모델은 수십억, 수천억 개의 파라미터를 다룹니다. 학습 과정에서는 이 파라미터에 대해 순전파와 역전파를 반복해야 합니다. 이 계산은 행렬 곱셈의 연속이고, GPU의 병렬 연산 구조가 훨씬 유리합니다.

두 번째 한계는 메모리 대역폭입니다.

AI 모델은 계산만 빠르다고 되는 것이 아닙니다. 데이터를 계속 불러와야 합니다. 가중치와 활성값이 메모리에서 연산 장치로 빠르게 이동해야 합니다.

NVIDIA H100은 초당 3.35TB의 메모리 대역폭을 제공합니다. H200은 공식 사양 기준 141GB HBM3e와 초당 4.8TB의 메모리 대역폭을 제공합니다. 이런 구조는 거대언어모델 추론과 학습에서 매우 중요합니다.

CPU는 대용량 메모리를 다루는 데 장점이 있지만, GPU와 HBM 조합이 제공하는 고대역폭 병렬 처리에는 미치기 어렵습니다.

세 번째 한계는 경제성입니다.

AI 데이터센터에서는 단순히 계산이 가능한지가 아니라, 같은 시간과 같은 전력으로 얼마나 많은 토큰을 처리할 수 있는지가 중요합니다. AI 서비스가 커질수록 토큰당 비용이 핵심 지표가 됩니다.

결국 AI 산업은 자연스럽게 GPU 중심으로 이동했습니다.

6.그렇다고 CPU가 사라지는 것은 아닙니다

여기서 오해하면 안 되는 부분이 있습니다.

GPU가 AI 연산의 중심이 되었다고 해서 CPU가 필요 없어진 것은 아닙니다.

CPU는 여전히 AI 서버의 지휘관입니다.

GPU가 행렬 연산을 담당한다면, CPU는 전체 시스템을 조율합니다. 데이터를 불러오고, 스토리지와 네트워크를 관리하고, 작업을 스케줄링하고, GPU가 처리할 데이터를 준비합니다.

실제 AI 서버는 CPU와 GPU가 함께 움직이는 구조입니다.

GPU는 대규모 연산을 처리합니다.
CPU는 시스템을 제어합니다.
네트워크는 GPU와 GPU를 연결합니다.
HBM은 GPU에 데이터를 공급합니다.
스토리지는 학습 데이터를 저장합니다.

즉 CPU와 GPU는 대체 관계라기보다 역할 분담 관계입니다.

다만 AI 모델의 성능과 비용을 결정하는 중심축이 CPU에서 GPU로 이동했을 뿐입니다.

이 차이를 이해하는 것이 중요합니다.

AI 시대의 CPU는 사라지는 부품이 아닙니다.

하지만 AI 시대의 주인공은 GPU입니다.

7.엔비디아가 강해진 이유도 여기에 있습니다

AI 연산이 GPU 중심으로 이동하면서 자연스럽게 엔비디아가 중심에 섰습니다.

엔비디아는 오래전부터 GPU를 만들어 왔고, CUDA 생태계를 구축해 왔습니다. CUDA는 개발자가 NVIDIA GPU를 활용해 병렬 연산을 쉽게 처리할 수 있도록 만든 소프트웨어 플랫폼입니다.

AI 개발자들이 사용하는 많은 프레임워크와 라이브러리는 NVIDIA GPU 환경에 최적화되어 발전했습니다. 그래서 기업 입장에서는 단순히 칩 가격만 보고 다른 GPU로 바꾸기 어렵습니다.

AI 인프라에서는 성능만큼 안정성이 중요합니다.

모델이 잘 돌아가야 하고, 학습 중간에 문제가 없어야 하며, 기존 코드와 도구가 잘 호환되어야 합니다. 이 지점에서 엔비디아는 단순 GPU 기업이 아니라 AI 연산 생태계를 공급하는 기업이 되었습니다.

NVIDIA의 2027회계연도 1분기 실적 발표를 보면 전체 매출은 816억 달러였고, 데이터센터 매출은 752억 달러였습니다. 데이터센터 매출이 전체의 대부분을 차지합니다.

이 숫자는 엔비디아가 더 이상 게임용 그래픽카드 회사가 아니라는 것을 보여줍니다.

엔비디아는 AI 데이터센터 인프라 회사가 되었습니다.

결론

CPU와 GPU의 차이는 단순히 컴퓨터 부품 설명으로 끝낼 문제가 아닙니다.

AI 산업의 방향을 이해하는 핵심입니다.

CPU는 복잡한 명령을 판단하고 전체 시스템을 제어하는 데 강합니다. 그래서 AI 서버에서도 여전히 필요합니다. 하지만 AI 모델의 학습과 추론에서 핵심이 되는 대규모 행렬 연산은 GPU가 훨씬 잘 처리합니다.

AI는 병렬 연산을 먹고 자라는 산업입니다.

그리고 GPU는 그 병렬 연산을 가장 강하게 밀어붙이는 장치입니다.

AlexNet 이후 딥러닝은 GPU와 함께 성장했습니다. Transformer와 생성형 AI가 등장하면서 GPU 수요는 연구실 수준을 넘어 데이터센터 산업으로 확장됐습니다. Meta의 Llama 3 405B는 최대 16,000개의 H100 GPU를 사용해 학습됐습니다. NVIDIA H100은 FP16 Tensor Core 기준 1,979 TFLOPS와 초당 3.35TB 메모리 대역폭을 제공합니다. H200은 141GB HBM3e와 초당 4.8TB 메모리 대역폭을 제공합니다.

이 숫자들이 말하는 방향은 분명합니다.

AI 연산의 중심은 CPU가 아니라 GPU입니다.

하지만 CPU가 사라지는 것은 아닙니다. CPU는 지휘관이고, GPU는 대규모 연산병입니다. AI 데이터센터는 이 둘이 함께 움직이는 구조입니다.

투자 관점에서는 이 차이가 중요합니다.

AI 반도체를 볼 때 단순히 CPU냐 GPU냐의 싸움으로 보면 안 됩니다. 어떤 연산이 어디에서 병목이 되는지 봐야 합니다. 복잡한 제어와 데이터 준비는 CPU가 맡고, 대규모 행렬 연산은 GPU가 맡습니다. 그리고 GPU가 많아질수록 HBM, CoWoS, 네트워크, 전력, 냉각까지 같이 중요해집니다.

결국 AI 시대의 질문은 이것입니다.

누가 더 많은 코어를 가졌는가가 아닙니다.

누가 더 많은 AI 연산을 더 빠르고, 더 안정적으로, 더 싸게 처리할 수 있는가입니다.

그 질문의 중심에 GPU가 있습니다.

그래서 AI 연산은 CPU가 아니라 GPU에서 이루어집니다.

그리고 이 흐름이 엔비디아를 AI 시대의 중심 기업으로 만들었습니다.

다음 질문은 자연스럽게 이어집니다.

AMD도 GPU를 만들고, 인텔도 GPU를 만들 수 있습니다.

그런데 왜 AI 데이터센터의 표준은 엔비디아가 되었을까요?

그 답의 중심에는 CUDA가 있습니다.

AI 반도체 관련 글 이어보기 

[이전글 보기] : AI 반도체의 시작, GPU는 왜 AI의 심장이 되었는가. By하은아빠

https://www.hanvelog.com/2026/06/blog-post.html

[다음글 보기] : 엔비디아의 진짜 무기, CUDA를 이해해야 하는 이유.By하은아빠

https://www.hanvelog.com/2026/06/ai-semiconductor-nvidia-cuda-moat.html

#AI #인공지능 #AI반도체 #GPU #CPU #엔비디아 #NVIDIA #데이터센터 #생성형AI #ChatGPT #LLM #AI인프라 #반도체투자 #AI투자 #GPU투자 #하은아빠