Blackwell 이후 AI 반도체 경쟁, GPU에서 데이터센터 전쟁으로.By하은아빠

 저의 취미 중 가장 오래 한 것은 자전거입니다.

자전거를 타다 보면 자연스럽게 브랜드에 관심을 가지게 됩니다. 제 개인적인 생각으로 현재 국내 로드자전거 시장에서 가장 높은 인지도와 위상을 가진 브랜드 중 하나는 스페셜라이즈드입니다. 실제로 동호회나 대회에 가보면 스페셜라이즈드 자전거를 어렵지 않게 볼 수 있습니다.

그런데 저는 스페셜라이즈드가 아니라 메리다 리액토를 선택했습니다.

이유는 의외로 단순했습니다.

스페셜라이즈드는 다른 브랜드와 달리 전문 매장 중심으로 운영되는 경우가 많습니다. 문제는 제가 사는 지역에서는 대리점이 멀었다는 점입니다.

자전거는 단순히 구매하고 끝나는 제품이 아닙니다.

정기적인 점검도 받아야 하고, 소모품도 교체해야 하고, 문제가 생기면 바로 정비를 받아야 합니다. 아무리 좋은 자전거라도 정비를 받을 곳이 멀고 부품 수급이 불편하면 실제 사용 경험은 크게 떨어질 수 있습니다.

그래서 저는 집 근처에서 정비를 받을 수 있는 자전거샵에서 메리다 리액토를 구매했습니다.

당시에는 단순히 편의성 때문이라고 생각했습니다.

그런데 AI 반도체 시장을 공부하면서 비슷한 장면을 발견했습니다.

많은 사람들은 AI 반도체 경쟁을 GPU 성능 경쟁으로 생각합니다. 어떤 칩이 더 빠른지, 어떤 칩이 더 많은 연산 성능을 제공하는지에 관심을 가집니다.

하지만 실제 AI 데이터센터 운영자들은 조금 다른 질문을 합니다.

HBM 메모리는 충분한가.

전력은 감당 가능한가.

냉각은 가능한가.

소프트웨어는 안정적인가.

네트워크는 병목 없이 연결되는가.

결국 AI 반도체 시장도 자전거를 고를 때와 비슷합니다.

가장 빠른 제품이 반드시 최고의 선택이 되는 것은 아닙니다.

가장 잘 연결된 시스템을 가진 제품이 시장의 표준이 됩니다.

그리고 Blackwell 이후 AI 칩 경쟁은 바로 이 방향으로 이동하고 있습니다.

1. Blackwell은 단순한 차세대 GPU가 아닙니다

엔비디아의 Hopper 세대, 특히 H100과 H200은 생성형 AI 시대의 핵심 GPU였습니다.

ChatGPT 이후 AI 데이터센터 수요가 폭발하면서 H100은 사실상 AI 학습과 추론의 표준 장비처럼 자리 잡았습니다. H200은 HBM3e 메모리를 늘려 거대언어모델 추론에서 중요한 메모리 병목을 줄이는 방향으로 발전했습니다.

하지만 AI 모델은 더 커졌습니다.

모델 파라미터는 늘고, 추론 요청은 증가하고, 문맥 길이도 길어졌습니다. 이제 단일 GPU 성능만으로는 문제를 해결하기 어려워졌습니다.

그래서 등장한 것이 Blackwell입니다.

NVIDIA Blackwell 공식 자료에서는 Blackwell GPU가 2,080억 개의 트랜지스터를 담고 있으며, TSMC 4NP 공정으로 제조된다고 설명합니다. 또 두 개의 reticle-limited die를 10TB/s chip-to-chip interconnect로 연결해 하나의 통합 GPU처럼 작동하게 만든다고 밝힙니다.

이 말은 중요합니다.

Blackwell은 단순히 코어를 조금 늘린 GPU가 아닙니다.

단일 칩의 물리적 한계를 패키징과 인터커넥트로 넘어서는 구조입니다. GPU 성능 경쟁이 이제 실리콘 하나의 싸움을 넘어, 칩과 칩을 어떻게 묶고, 메모리와 네트워크를 어떻게 연결하느냐의 싸움으로 바뀐 것입니다.

2. GB200 NVL72는 GPU가 아니라 랙 단위 컴퓨터입니다

Blackwell 경쟁의 핵심은 B200 한 장이 아닙니다.

진짜 중요한 것은 GB200 NVL72입니다.

NVIDIA 공식 GB200 NVL72 자료에서는 이 시스템이 36개의 Grace CPU와 72개의 Blackwell GPU를 하나의 랙 스케일 액체 냉각 구조로 연결한다고 설명합니다. 또 72개 GPU가 하나의 NVLink 도메인처럼 동작하며, 130TB/s의 저지연 GPU 통신 대역폭을 제공한다고 밝힙니다.

이 구조가 중요한 이유는 단순합니다.

AI 데이터센터 경쟁 단위가 서버에서 랙으로 올라갔기 때문입니다.

예전에는 GPU 몇 장이 들어간 서버를 얼마나 많이 배치하느냐가 중요했습니다. 하지만 거대언어모델이 커지고, MoE 구조와 장문맥 추론이 늘어나면서 GPU와 GPU 사이의 통신이 더 중요해졌습니다.

GPU 한 장이 아무리 빨라도 옆 GPU와 데이터를 주고받는 속도가 느리면 전체 성능은 떨어집니다.

그래서 엔비디아는 GPU, CPU, NVLink, NVSwitch, 액체 냉각, 소프트웨어를 하나의 랙 시스템으로 묶었습니다.

NVIDIA는 GB200 NVL72가 H100 대비 실시간 LLM 추론에서 최대 30배, LLM 학습에서 4배, 에너지 효율에서 25배 향상된다고 제시합니다. 이 수치는 특정 조건과 모델 구성에 따른 NVIDIA의 자체 비교입니다. 그래도 방향은 분명합니다.

AI 칩 경쟁은 이제 GPU 단품 경쟁이 아니라 랙 전체의 성능 경쟁입니다.

3.AMD MI350은 메모리로 정면 승부를 걸고 있습니다

엔비디아 독주를 가장 직접적으로 추격하는 회사는 AMD입니다.

AMD는 Instinct MI300 시리즈로 AI 가속기 시장에 본격적으로 진입했고, 이후 MI350 시리즈로 엔비디아 Blackwell 세대에 대응하고 있습니다.

AMD 공식 MI350 자료를 보면 MI350 시리즈는 4세대 CDNA 아키텍처 기반이며, 최대 288GB HBM3E 메모리와 8TB/s 피크 메모리 대역폭을 제공합니다. AMD는 MI350 시리즈가 FP4, FP6 같은 새로운 데이터 타입을 지원하며, 대규모 AI 추론과 학습 워크로드를 겨냥한다고 설명합니다.

여기서 AMD의 전략은 분명합니다.

메모리입니다.

거대언어모델 추론에서는 GPU 연산 성능만큼 메모리 용량과 대역폭이 중요합니다. 모델이 커질수록 가중치를 메모리에 올려야 하고, 토큰을 생성할 때마다 메모리에서 데이터를 빠르게 가져와야 합니다.

AMD MI350의 288GB HBM3E는 이 지점을 정면으로 겨냥합니다.

특히 대형 오픈소스 모델을 단일 GPU 또는 적은 수의 GPU에 올려 비용 효율적으로 돌리고 싶은 고객에게 매력적인 선택지가 될 수 있습니다.

하지만 문제는 소프트웨어입니다.

엔비디아는 CUDA 생태계가 있습니다. AMD는 ROCm을 강화하고 있지만, AI 개발자와 기업들이 이미 CUDA 기반 코드, 라이브러리, 운영 경험을 쌓아온 시간이 깁니다.

그래서 AMD가 엔비디아를 위협하려면 단순히 좋은 GPU를 만드는 것만으로는 부족합니다.

ROCm 생태계, 프레임워크 지원, 개발자 경험, 클러스터 운영 안정성까지 같이 증명해야 합니다.

4.구글 TPU와 AWS Trainium은 자체 인프라 주권입니다

엔비디아와 AMD가 범용 AI GPU를 두고 경쟁한다면, 구글과 AWS는 조금 다른 길을 걷고 있습니다.

자체 칩입니다.

Google은 TPU를 오래전부터 개발해 왔습니다. 최신 세대 중 하나인 Trillium TPU에 대해 Google은 TPU v5e 대비 피크 컴퓨팅 성능이 4.7배 높고, 에너지 효율이 67% 개선됐다고 설명합니다. 또한 Trillium이 단일 포드에서는 256개 TPU로 확장되고, 멀티슬라이스 기술을 통해 건물 규모의 슈퍼컴퓨터로 확장될 수 있다고 설명합니다.

구글이 TPU를 만드는 이유는 명확합니다.

검색, 유튜브, 광고, Gemini, Google Cloud AI 서비스를 운영하는 구글 입장에서 AI 인프라는 외부에서 사 오는 장비가 아니라 핵심 생산 수단입니다.

AWS도 마찬가지입니다.

AWS는 Trainium2 기반 Trn2 인스턴스와 UltraServer를 제공합니다. AWS 공식 Trn2 자료에서는 Trn2 인스턴스가 16개 Trainium2 칩으로 최대 20.8 FP8 PFLOPS를 제공하고, Trn2 UltraServer는 64개 Trainium2 칩을 연결해 최대 83.2 FP8 PFLOPS를 제공한다고 설명합니다. Trn2 UltraServer는 최대 6TB HBM과 185TB/s 메모리 대역폭도 제시합니다.

AWS가 Project Rainier를 통해 Anthropic의 Claude 모델 개발을 지원하는 것도 같은 맥락입니다.

클라우드 사업자는 AI 시대에 GPU를 빌려주는 회사로만 남고 싶지 않습니다. 자체 칩을 통해 원가를 낮추고, 공급망을 통제하고, 고객을 자사 클라우드 생태계 안에 묶어두려 합니다.

즉 TPU와 Trainium은 단순한 반도체가 아닙니다.

빅테크의 AI 인프라 주권 선언입니다.

5. 마이크로소프트와 메타도 자체 칩을 준비합니다

마이크로소프트도 Maia 100을 발표했습니다.

Microsoft Azure 공식 자료에서는 Maia 100이 1,050억 개의 트랜지스터를 가진 5nm 공정 기반 AI 가속기라고 설명합니다. Microsoft는 이 칩이 실리콘, 소프트웨어, 네트워크, 랙, 냉각까지 함께 최적화된 Azure AI 인프라의 일부라고 강조합니다.

여기서 중요한 것은 Maia가 단순 칩 하나가 아니라는 점입니다.

마이크로소프트는 OpenAI, Copilot, Azure AI 서비스를 운영합니다. 이 서비스들은 막대한 추론 비용을 발생시킵니다. 엔비디아 GPU는 여전히 중요하지만, 모든 AI 워크로드를 외부 GPU에만 의존하면 비용과 공급망 리스크가 커집니다.

Meta도 MTIA를 개발하고 있습니다.

Meta는 MTIA가 자체 AI 워크로드를 위해 설계된 칩이며, 추천과 광고 모델을 지원한다고 설명합니다. 또 MTIA가 기존 및 미래 AI 인프라를 보완하는 역할을 한다고 밝힙니다.

이 표현이 중요합니다.

대체가 아니라 보완입니다.

빅테크 자체 칩은 엔비디아 GPU를 완전히 밀어내기보다, 반복적이고 내부적으로 고정된 워크로드를 더 효율적으로 처리하는 방향으로 사용될 가능성이 큽니다.

예를 들어 추천, 광고, 랭킹, 일부 추론 서비스는 자체 칩에 적합할 수 있습니다. 반면 새로운 모델 학습, 연구, 빠르게 변하는 모델 구조 실험에는 여전히 GPU와 CUDA 생태계가 강합니다.

6. 성능표보다 중요한 것은 시스템입니다

AI 반도체 경쟁을 볼 때 가장 쉬운 실수는 성능표만 보는 것입니다.

몇 TFLOPS인가.

HBM이 몇 GB인가.

메모리 대역폭이 얼마인가.

물론 중요합니다.

하지만 이제는 그것만으로 부족합니다.

AI 데이터센터에서는 GPU와 GPU가 연결되어야 합니다. CPU와 GPU가 데이터를 주고받아야 합니다. HBM은 충분해야 하고, 네트워크는 병목 없이 움직여야 합니다. 전력은 안정적으로 공급되어야 하고, 냉각은 고밀도 랙을 감당해야 합니다.

소프트웨어도 중요합니다.

엔비디아는 CUDA와 NVLink, NVSwitch, InfiniBand, DGX, GB200 NVL72까지 이어지는 풀스택 전략을 갖고 있습니다. AMD는 MI350과 ROCm, 오픈 생태계 전략으로 추격합니다. Google은 TPU와 XLA, Google Cloud를 묶습니다. AWS는 Trainium과 Neuron SDK, EC2 인스턴스를 묶습니다. Microsoft는 Maia를 Azure AI 인프라와 연결합니다.

즉 각 회사는 칩 하나를 파는 것이 아닙니다.

자기만의 AI 데이터센터 운영 방식을 팔고 있습니다.

이것이 Blackwell 이후 경쟁의 본질입니다.

AI 반도체 경쟁은 칩 경쟁에서 시스템 경쟁으로 바뀌고 있습니다.

7. 투자 관점에서는 밸류체인을 넓게 봐야 합니다

투자 관점에서도 시야를 넓혀야 합니다.

엔비디아는 여전히 핵심입니다. Blackwell과 GB200 NVL72는 단순 GPU가 아니라 AI 데이터센터의 표준 플랫폼에 가깝습니다. CUDA 생태계까지 고려하면 엔비디아의 해자는 여전히 강합니다.

AMD는 대안 수요를 흡수할 수 있습니다. 특히 MI350의 288GB HBM3E와 8TB/s 대역폭은 메모리 중심 AI 워크로드에서 매력적입니다. 다만 ROCm 생태계와 실제 대규모 운영 경험을 계속 증명해야 합니다.

구글, AWS, 마이크로소프트, 메타의 자체 칩은 엔비디아를 완전히 대체하기보다 내부 원가 절감과 공급망 통제 수단으로 봐야 합니다.

그리고 이 모든 경쟁 뒤에는 공통 수혜자가 있습니다.

HBM입니다.

Blackwell도 HBM이 필요합니다. MI350도 HBM이 필요합니다. TPU, Trainium, Maia 같은 자체 칩도 고대역폭 메모리가 필요합니다.

파운드리와 첨단 패키징도 중요합니다. 고성능 AI 칩은 선단 공정과 CoWoS 같은 첨단 패키징 없이는 성능을 끌어내기 어렵습니다.

그래서 AI 반도체 투자는 이제 단순히 엔비디아만 보는 게임이 아닙니다.

GPU.
HBM.
첨단 패키징.
파운드리.
네트워크.
전력.
냉각.
데이터센터.

이 전체 구조를 함께 봐야 합니다.

결론

Blackwell 이후 AI 칩 경쟁의 본질은 분명합니다.

더 빠른 GPU 하나를 만드는 싸움이 아닙니다.

누가 AI 데이터센터 전체를 더 효율적으로 설계하느냐의 싸움입니다.

엔비디아는 Blackwell과 GB200 NVL72를 통해 GPU, CPU, NVLink, 액체 냉각, CUDA 생태계를 하나의 랙 스케일 시스템으로 묶고 있습니다.

AMD는 MI350 시리즈를 통해 288GB HBM3E와 8TB/s 대역폭을 앞세워 메모리 중심 AI 워크로드에서 대안을 제시하고 있습니다.

구글은 Trillium TPU를 통해 자체 AI 서비스와 클라우드 인프라를 최적화하고 있습니다.

AWS는 Trainium2와 Trn2 UltraServer를 통해 클라우드 원가와 AI 인프라 주도권을 확보하려 합니다.

마이크로소프트는 Maia 100을 Azure AI 인프라와 연결하고, 메타는 MTIA를 추천과 광고 같은 내부 워크로드에 맞춰 개발하고 있습니다.

이 흐름은 하나의 방향을 가리킵니다.

AI 반도체 시장은 단일 칩 성능 경쟁에서 벗어나고 있습니다.

앞으로는 칩, 메모리, 네트워크, 전력, 냉각, 소프트웨어 생태계가 함께 움직이는 통합 시스템 경쟁이 됩니다.

그래서 AI 반도체를 볼 때는 단순히 “어느 GPU가 더 빠른가”만 물으면 안 됩니다.

이제 질문은 바뀌어야 합니다.

어느 칩이 더 많은 HBM을 확보했는가.

어느 시스템이 GPU 간 통신 병목을 줄였는가.

어느 데이터센터가 전력과 냉각을 감당할 수 있는가.

어느 생태계가 개발자와 기업을 더 오래 붙잡을 수 있는가.

결국 Blackwell 이후 AI 칩 경쟁은 반도체 경쟁이면서 동시에 데이터센터 경쟁입니다.

그리고 이 경쟁이 커질수록 다음 병목은 더 선명해집니다.

바로 HBM입니다.

GPU가 빨라질수록 더 많은 데이터를 공급해야 합니다. AI 모델이 커질수록 더 큰 메모리와 더 넓은 대역폭이 필요합니다. Blackwell, MI350, TPU, Trainium, Maia 모두 결국 HBM과 메모리 대역폭 문제로 연결됩니다.

그래서 다음 글에서는 AI 반도체 밸류체인의 두 번째 축으로 넘어갑니다.

HBM은 왜 필수가 되었는가.

AI 반도체 관련 글 이어보기 

[이전글 보기] : AI ASIC과 TPU의 등장, 빅테크는 왜 자체 AI 칩을 만들까. By하은아빠

https://www.hanvelog.com/2026/06/ai-semiconductor-asic-and-tpu.html

[다음글 보기] : HBM이란 무엇인가: AI 반도체에서 고대역폭 메모리가 핵심이 된 이유. By 하은아빠

https://www.hanvelog.com/2026/04/what-is-hbm-ai-memory-bottleneck.html

#AI #인공지능 #AI반도체 #Blackwell #엔비디아 #NVIDIA #AMD #MI350 #TPU #Trainium #HBM #데이터센터 #AI인프라 #생성형AI #GPU #반도체투자 #AI투자 #하은아빠

AI 반도체 경쟁의 진짜 병목은 이제 메모리에서 더 선명하게 드러나기 시작합니다.