AI 반도체의 시작, GPU는 왜 AI의 심장이 되었는가. By하은아빠

저는 컴퓨터에 꽤 관심이 많은 사람입니다.

10년 전 지포스 GTX 10 시리즈가 처음 출시됐을 때를 아직도 기억합니다.

당시 레딧과 국내외 컴퓨터 커뮤니티에서는 "AMD는 끝났다"는 이야기가 심심치 않게 나왔습니다. 마침 비트코인 채굴 열풍까지 겹치면서 그래픽카드 가격이 폭등했고, 엔비디아는 게이밍 GPU 시장의 절대 강자로 자리 잡기 시작했습니다.

그때만 해도 대부분의 사람들은 엔비디아를 게임용 그래픽카드 회사 정도로 생각했습니다.

그런데 2026년 6월 현재 엔비디아는 전 세계 시가총액 1위 기업이 되었습니다.

단순히 게임용 그래픽카드를 많이 팔아서가 아닙니다.

엔비디아는 AI 데이터센터의 표준이 된 GPU를 만들었고, 지금 전 세계 AI 산업의 핵심 인프라를 공급하는 기업이 되었습니다.

AI 모델을 만드는 회사는 오픈AI, 구글, 메타, 마이크로소프트인데, 시장의 돈은 GPU를 만드는 엔비디아로 강하게 몰렸습니다. 처음에는 조금 이상하게 보일 수 있습니다. 인공지능은 소프트웨어처럼 보이는데, 왜 반도체 기업이 가장 큰 수혜를 받았을까 하는 질문이 생깁니다.

하지만 AI 인프라를 조금만 깊게 보면 답은 단순합니다.

AI는 그냥 똑똑한 프로그램이 아닙니다.

AI는 거대한 연산을 계속 밀어붙이는 산업입니다.

모델을 학습하려면 데이터를 반복해서 계산해야 하고, 서비스를 운영하려면 사용자의 질문이 들어올 때마다 추론 연산을 처리해야 합니다. 이 연산의 중심에 있는 장치가 GPU입니다.

CPU도 컴퓨터의 핵심입니다. 하지만 생성형 AI 시대의 대규모 연산에서는 GPU가 중심이 되었습니다. AI 모델의 학습과 추론은 결국 수많은 행렬 연산의 반복이고, 이 행렬 연산을 가장 잘 처리하는 장치가 GPU이기 때문입니다.

그래서 AI 산업에서 GPU는 단순한 부품이 아닙니다.

GPU는 AI의 심장입니다.

심장이 피를 밀어내야 몸이 움직이듯, GPU가 연산을 밀어내야 AI 모델이 학습하고 서비스됩니다. GPU가 부족하면 AI 모델 개발이 늦어지고, GPU가 느리면 서비스 비용이 올라가며, GPU가 많아질수록 데이터센터와 전력, 냉각까지 같이 커집니다.

결국 GPU는 AI 반도체 밸류체인의 출발점입니다.

1.CPU는 관리자이고 GPU는 대규모 작업자 집단입니다

CPU와 GPU의 차이는 역할로 보면 이해하기 쉽습니다.

CPU는 똑똑한 관리자입니다.

복잡한 명령을 판단하고, 순서를 정하고, 운영체제와 여러 프로그램을 조율하는 데 강합니다. 코어 하나하나가 강하고 복잡한 처리를 잘합니다. 대신 동시에 밀어붙일 수 있는 단순 반복 연산의 규모는 제한적입니다.

반대로 GPU는 대규모 작업자 집단입니다.

GPU는 수많은 작은 연산 유닛을 이용해 비슷한 계산을 동시에 처리하는 데 강합니다. 하나의 복잡한 판단을 깊게 하는 것보다, 같은 형태의 계산을 수천 개씩 동시에 반복하는 구조에 최적화되어 있습니다.

AI 연산은 바로 이 GPU의 구조와 잘 맞습니다.

인공지능 모델의 학습은 수많은 가중치를 조정하는 과정입니다. 이 과정에서 핵심적으로 반복되는 계산은 행렬 곱셈입니다. 행렬 곱셈은 서로 비슷한 계산을 엄청나게 많이 동시에 처리해야 하는 작업입니다.

CPU는 복잡한 업무를 순서대로 처리하는 데 강합니다.

GPU는 단순하지만 거대한 계산을 동시에 밀어붙이는 데 강합니다.

AI 모델이 커질수록 필요한 것은 한 명의 천재가 아니라, 동시에 움직이는 거대한 작업자 집단입니다. 그래서 AI 시대에는 GPU가 핵심 연산 장치가 되었습니다.

NVIDIA H100 공식 사양을 보면 이 차이가 숫자로 드러납니다. H100 SXM은 FP16 Tensor Core 기준 1,979 TFLOPS, FP8 Tensor Core 기준 3,958 TFLOPS 성능을 제공합니다. 메모리는 80GB HBM3이고, 메모리 대역폭은 초당 3.35TB입니다.

이 숫자는 단순히 GPU가 빠르다는 뜻이 아닙니다.

AI가 요구하는 대규모 병렬 연산을 처리하기 위해 GPU가 얼마나 특화된 장치인지 보여줍니다.

2. 딥러닝은 GPU를 만나면서 산업이 되었습니다

AI가 처음부터 GPU 중심 산업이었던 것은 아닙니다.

초기 인공지능 연구는 CPU로도 가능했습니다. 모델이 작고 데이터도 지금처럼 크지 않았기 때문입니다. 하지만 딥러닝이 본격적으로 커지면서 CPU만으로는 한계가 분명해졌습니다.

대표적인 전환점이 2012년 AlexNet입니다.

AlexNet은 이미지 인식 분야에서 딥러닝의 가능성을 강하게 보여준 모델입니다. 당시 연구팀은 NVIDIA GTX 580 GPU 2장을 사용했습니다. 지금 기준으로 보면 작아 보이지만, 당시에는 매우 중요한 사건이었습니다.

인공지능 연구자들이 깨달은 것입니다.

신경망은 GPU와 궁합이 좋다.

딥러닝은 층을 쌓고, 데이터를 통과시키고, 가중치를 반복해서 조정하는 구조입니다. 이 과정은 GPU가 잘하는 병렬 연산과 정확히 맞아떨어졌습니다.

이후 2017년 구글이 Transformer 구조를 제시하면서 AI 연산 수요는 더 커졌습니다. Transformer는 오늘날 거대언어모델의 핵심 기반입니다. ChatGPT 같은 생성형 AI도 이 흐름 위에 있습니다.

문제는 Transformer 기반 모델이 커질수록 필요한 연산량도 폭발적으로 증가한다는 점입니다.

모델의 파라미터가 늘고, 학습 데이터가 늘고, 문맥 길이가 길어지면 필요한 GPU 수도 같이 늘어납니다. 이제 AI는 연구실 컴퓨터 한 대로 끝나는 일이 아닙니다. 수천 장, 수만 장의 GPU가 연결된 데이터센터 산업이 되었습니다.

Meta의 Llama 3.1 405B 사례를 보면 이 변화가 분명합니다.

Meta는 Llama 3.1 405B를 15조 개가 넘는 토큰으로 학습했고, 학습 규모를 감당하기 위해 16,000개가 넘는 NVIDIA H100 GPU를 사용했다고 밝혔습니다.

이 숫자가 중요한 이유는 단순합니다.

최신 AI 모델은 소프트웨어이면서 동시에 물리 인프라입니다.

AI 모델을 학습시키려면 GPU가 필요하고, GPU를 연결하려면 네트워크가 필요합니다. GPU에 데이터를 공급하려면 HBM이 필요하고, GPU가 들어갈 데이터센터와 전력이 필요합니다.

AI가 커질수록 GPU는 선택이 아니라 필수가 되었습니다.

3. GPU 성능 발전은 AI 모델의 크기를 키웠습니다

AI 산업이 빠르게 커질 수 있었던 이유 중 하나는 GPU 성능이 계속 올라갔기 때문입니다.

2017년 Volta V100은 Tensor Core를 본격적으로 도입하며 AI 연산의 중요한 전환점을 만들었습니다. 이후 2020년 A100은 클라우드 AI 인프라의 핵심 GPU가 되었고, 2022년 H100은 생성형 AI 시대의 대표 GPU가 되었습니다.

H100 이후에는 메모리 쪽의 중요성이 더 커졌습니다.

NVIDIA H200 공식 사양에서는 141GB HBM3e 메모리와 초당 4.8TB 메모리 대역폭을 제시합니다. H100보다 더 큰 메모리와 더 넓은 대역폭을 통해 거대언어모델 추론에서 중요한 병목을 줄이려는 방향입니다.

Blackwell로 넘어오면 GPU는 단순한 칩 하나를 넘어 시스템에 가까워집니다.

NVIDIA Blackwell 발표에서는 Blackwell GPU가 2,080억 개의 트랜지스터를 담고 있으며, 두 개의 GPU 다이를 10TB/s 속도의 chip-to-chip interconnect로 연결한다고 설명합니다. 단순히 코어만 늘리는 방식이 아니라, 여러 구성 요소를 하나의 AI 연산 시스템처럼 묶는 방향으로 진화하고 있는 것입니다.

여기서 중요한 것은 하나입니다.

GPU 경쟁은 이제 연산 성능만의 경쟁이 아닙니다.

메모리 용량, 메모리 대역폭, GPU 간 연결, 패키징, 소프트웨어 최적화가 모두 같이 움직입니다.

GPU가 AI의 심장이라면, HBM은 심장으로 피를 공급하는 대동맥입니다. 심장이 아무리 강해도 혈액이 충분히 공급되지 않으면 제 힘을 낼 수 없습니다.

그래서 AI 반도체를 볼 때 GPU만 보면 안 됩니다.

GPU를 보면 HBM이 따라오고, HBM을 보면 CoWoS 같은 첨단 패키징이 따라옵니다. 그리고 이 모든 것이 데이터센터와 전력으로 연결됩니다.

4. 엔비디아의 강점은 GPU만이 아니라 생태계입니다

엔비디아가 강한 이유는 GPU 성능만이 아닙니다.

진짜 진입장벽은 CUDA 생태계입니다.

CUDA는 개발자가 NVIDIA GPU를 이용해 병렬 연산을 처리할 수 있도록 만든 소프트웨어 플랫폼입니다. AI 개발자들이 사용하는 프레임워크, 라이브러리, 최적화 도구 상당수가 NVIDIA GPU 환경에 맞춰 발전해 왔습니다.

이게 중요한 이유는 전환 비용 때문입니다.

기업이 이미 CUDA 기반으로 모델을 학습하고, 코드를 만들고, 서버 환경을 최적화했다면 다른 GPU로 옮기는 것이 쉽지 않습니다. 단순히 칩 가격이 싸다고 바로 바꾸기 어렵습니다.

AI 인프라에서는 성능만큼 안정성이 중요합니다.

모델이 잘 돌아가야 하고, 학습 중간에 문제가 없어야 하며, 기존 코드와 도구가 잘 호환되어야 합니다. 개발자들이 익숙하게 쓸 수 있어야 합니다.

엔비디아는 GPU를 파는 회사처럼 보이지만, 실제로는 AI 연산 생태계를 파는 회사에 가깝습니다.

이 점이 투자 관점에서 중요합니다.

NVIDIA의 2027회계연도 1분기 실적 발표를 보면 전체 매출은 816억 달러였고, 데이터센터 매출은 752억 달러였습니다. 데이터센터 매출이 전체 매출의 대부분을 차지합니다.

이 숫자는 엔비디아가 더 이상 게임 그래픽카드 중심 회사가 아니라는 것을 보여줍니다.

엔비디아는 AI 데이터센터 인프라 회사가 되었습니다.

5. GPU 수요는 HBM, CoWoS, 전력으로 번집니다

GPU가 AI의 심장이라면, 그 심장은 어디에 들어갈까요?

데이터센터입니다.

AI GPU는 개인용 PC에 한두 장 꽂는 수준으로 끝나지 않습니다. 최신 AI 모델을 학습하고 서비스하려면 수천 장, 수만 장의 GPU를 데이터센터에 넣어야 합니다.

여기서부터 AI 반도체 이야기는 인프라 이야기로 바뀝니다.

GPU가 많아질수록 HBM이 필요합니다.
HBM이 많아질수록 첨단 패키징이 중요해집니다.
GPU 서버가 늘어날수록 데이터센터 전력 밀도가 올라갑니다.
전력 밀도가 올라갈수록 냉각 방식도 바뀝니다.

즉 GPU 수요는 GPU에서 끝나지 않습니다.

GPU 수요는 HBM 수요를 만들고, CoWoS 패키징 수요를 만들고, 고밀도 데이터센터 수요를 만들고, 전력과 냉각 수요까지 만듭니다.

이것이 AI 인프라 투자를 볼 때 중요한 관점입니다.

AI를 소프트웨어 테마로만 보면 엔비디아의 폭발적인 성장이 이해되지 않습니다. 하지만 AI를 인프라로 보면 구조가 보입니다.

AI 서비스가 늘어난다.
더 큰 모델이 필요하다.
더 많은 GPU가 필요하다.
더 많은 HBM과 패키징이 필요하다.
더 큰 데이터센터가 필요하다.
더 많은 전력과 냉각이 필요하다.

이 연결 구조가 바로 AI 반도체 밸류체인입니다.

GPU는 이 밸류체인의 맨 앞에서 연산 수요를 물리적 수요로 바꾸는 장치입니다.

6.투자 관점에서는 GPU를 시작점으로 봐야 합니다

투자 관점에서 GPU를 볼 때 가장 위험한 접근은 단순히 “엔비디아가 많이 올랐다”에서 멈추는 것입니다.

물론 주가와 밸류에이션은 중요합니다. 하지만 AI 인프라를 장기적으로 보려면 GPU가 만들어내는 산업 연결 구조를 봐야 합니다.

GPU가 많이 팔린다는 것은 단순히 엔비디아 매출이 늘어난다는 뜻만이 아닙니다.

GPU가 많이 팔린다는 것은 HBM이 부족해질 수 있다는 뜻입니다.
GPU가 많이 팔린다는 것은 TSMC의 첨단 패키징 병목이 중요해진다는 뜻입니다.
GPU가 많이 팔린다는 것은 데이터센터 전력 밀도가 올라간다는 뜻입니다.
GPU가 많이 팔린다는 것은 냉각과 전력 인프라 수요까지 연결된다는 뜻입니다.

그래서 GPU는 AI 반도체 밸류체인의 시작점입니다.

GPU
HBM
CoWoS
파운드리
데이터센터
전력
냉각

이 흐름을 하나로 봐야 합니다.

AI 반도체 투자는 단순히 가장 좋은 칩을 고르는 게임이 아닙니다. 병목이 어디에서 생기는지 찾는 게임입니다.

초기에는 GPU가 병목이었습니다.
그다음에는 HBM이 병목이 되었습니다.
이후에는 CoWoS 같은 첨단 패키징이 병목으로 올라왔습니다.
그리고 데이터센터가 늘어나면서 전력과 냉각이 또 다른 병목으로 떠오르고 있습니다.

GPU를 이해해야 하는 이유는 바로 여기에 있습니다.

GPU는 AI 산업의 현재 병목이자, 다음 병목을 알려주는 신호입니다.

결론

GPU가 AI의 심장이 된 이유는 단순히 빠르기 때문이 아닙니다.

AI 모델의 본질이 대규모 병렬 연산이기 때문입니다.

CPU는 복잡한 명령을 순서대로 처리하는 데 강합니다. 하지만 딥러닝과 거대언어모델은 수많은 행렬 연산을 동시에 밀어붙여야 합니다. 이 구조에서는 GPU가 압도적으로 유리합니다.

AlexNet 이후 딥러닝은 GPU와 함께 성장했습니다. Transformer와 생성형 AI가 등장하면서 GPU 수요는 연구실 수준을 넘어 데이터센터 산업으로 확장됐습니다. Meta의 Llama 3.1 405B는 15조 개가 넘는 토큰과 16,000개가 넘는 H100 GPU를 사용해 학습됐습니다. NVIDIA H100은 FP16 Tensor Core 기준 1,979 TFLOPS 성능과 초당 3.35TB 메모리 대역폭을 제공합니다. H200은 141GB HBM3e와 초당 4.8TB 메모리 대역폭을 제공합니다.

이 숫자들이 말하는 방향은 하나입니다.

AI는 더 많은 연산을 요구하고, 그 연산의 중심에는 GPU가 있습니다.

하지만 GPU만으로 AI 인프라가 완성되는 것은 아닙니다.

GPU가 강해질수록 HBM이 필요합니다. HBM이 늘어날수록 첨단 패키징이 중요해집니다. GPU 서버가 늘어날수록 데이터센터 전력 밀도가 올라갑니다. 전력 밀도가 올라갈수록 냉각과 전력망이 중요해집니다.

그래서 GPU는 AI의 심장이지만, 심장만으로 몸이 움직이지는 않습니다.

심장에는 혈관이 필요하고, 혈액이 필요하고, 산소가 필요합니다.

AI 인프라에서 그 역할을 하는 것이 HBM, CoWoS, 데이터센터, 전력, 냉각입니다.

결국 AI 반도체를 이해하는 첫 번째 질문은 이것입니다.

왜 GPU가 AI의 심장이 되었는가?

답은 명확합니다.

AI는 병렬 연산을 먹고 자라는 산업이고, GPU는 그 병렬 연산을 가장 강하게 밀어내는 장치이기 때문입니다.

앞으로 AI 반도체 밸류체인을 볼 때는 GPU를 출발점으로 봐야 합니다.

GPU를 보면 HBM이 보입니다.
HBM을 보면 CoWoS가 보입니다.
CoWoS를 보면 파운드리가 보입니다.
GPU 서버를 보면 데이터센터가 보입니다.
데이터센터를 보면 전력과 냉각이 보입니다.

AI 투자는 이제 모델만 보는 게임이 아닙니다.

누가 더 좋은 모델을 만들었는가도 중요하지만, 그 모델을 누가 더 빠르고, 싸고, 안정적으로 돌릴 수 있는가가 더 중요해지고 있습니다.

그리고 그 질문의 중심에는 GPU가 있습니다.

그래서 AI 시대의 반도체 밸류체인을 이해하려면 가장 먼저 GPU를 이해해야 합니다.

GPU는 AI의 심장입니다.

AI 반도체 관련 글 이어보기 

[이전글 보기] : AI 반도체 구조 분석: GPU, HBM, 파운드리 역할과 시장 전망.By 하은아빠

https://www.hanvelog.com/2026/04/ai-semiconductor-gpu-hbm-foundry.html

#AI #인공지능 #AI반도체 #GPU #엔비디아 #NVIDIA #AI인프라 #데이터센터 #HBM #반도체투자 #AI투자 #GPU투자 #생성형AI #LLM #ChatGPT #AI밸류체인 #하은아빠