메모리 대역폭이 중요한 이유, AI 반도체는 왜 데이터를 기다릴까

 저는 어릴 때부터 시뮬레이션 게임을 좋아했습니다.

당시에는 지금처럼 스팀이나 에픽게임즈 같은 플랫폼이 대중화되기 전이었습니다. 솔직히 말하면 게임을 정상적으로 구매하는 사람도 많지 않았고, 토렌트를 통해 게임을 다운로드받아 즐기는 경우도 흔했습니다.

문제는 속도였습니다.

제가 좋아하던 시뮬레이션 게임들은 용량이 꽤 큰 편이었습니다. 지금 기준으로 보면 별것 아닌 용량일 수 있지만, 당시 인터넷 환경에서는 꽤 부담스러운 크기였습니다.

그래서 밤에 다운로드를 걸어놓고 잠들었다가 다음 날 아침에 일어나서 다운로드가 끝났는지 확인하는 일이 자주 있었습니다.

그만큼 데이터가 이동하는 속도가 느렸습니다.

그런데 지금은 완전히 다른 세상이 되었습니다.

스팀이나 에픽게임즈 같은 런처에서 게임을 구매하고 다운로드 버튼만 누르면 됩니다. 저희 집은 500Mbps 정도의 비교적 저렴한 인터넷망을 사용하고 있는데도, 수십 GB가 넘는 게임들이 밥 먹고 오면 거의 다 받아져 있는 경우가 많습니다.

컴퓨터가 갑자기 마법처럼 똑똑해져서 그런 것은 아닙니다.

데이터가 이동하는 통로가 넓어졌기 때문입니다.

예전에는 좁은 길로 데이터를 조금씩 받아왔다면, 지금은 훨씬 넓은 도로로 데이터를 받아오는 것과 비슷합니다.

AI 반도체도 마찬가지입니다.

많은 사람들은 엔비디아 GPU의 연산 성능에만 관심을 가집니다. 몇 TFLOPS인지, 몇 PFLOPS인지, 이전 세대보다 몇 배 빨라졌는지를 먼저 봅니다.

하지만 AI 데이터센터에서는 연산 성능만큼 중요한 것이 있습니다.

바로 데이터를 공급하는 속도입니다.

GPU가 아무리 빨라도 필요한 데이터를 제때 공급받지 못하면 기다릴 수밖에 없습니다. 그리고 이 데이터를 공급하는 통로의 크기를 메모리 대역폭이라고 합니다.

1.메모리 대역폭은 데이터가 지나가는 통로입니다

메모리 대역폭은 일정 시간 동안 메모리에서 연산 장치로 얼마나 많은 데이터를 보낼 수 있는지를 뜻합니다.

단위는 보통 GB/s 또는 TB/s로 표시합니다.

쉽게 말하면 다운로드 속도와 비슷합니다.

같은 50GB 게임을 받더라도 인터넷 속도가 느리면 몇 시간이 걸리고, 속도가 빠르면 몇십 분 안에 끝납니다. 게임 파일은 그대로인데 데이터를 옮기는 통로가 넓어지면 체감 속도가 완전히 달라집니다.

메모리도 같습니다.

GPU가 처리해야 할 데이터가 있고, 그 데이터는 HBM 같은 고속 메모리에 들어 있습니다. GPU는 계산을 하려면 이 데이터를 계속 가져와야 합니다.

그런데 메모리 대역폭이 좁으면 GPU는 데이터를 기다립니다.

반대로 메모리 대역폭이 넓으면 GPU는 쉬지 않고 계산할 수 있습니다.

그래서 AI 반도체에서 메모리 대역폭은 단순 보조 사양이 아닙니다.

비싼 GPU를 실제로 얼마나 일하게 만들 수 있는지를 결정하는 핵심 조건입니다.

2.지연시간과 대역폭은 다릅니다

여기서 지연시간과 대역폭을 구분해야 합니다.

지연시간은 데이터를 요청한 뒤 첫 데이터가 도착하기까지 걸리는 시간입니다.

대역폭은 일정 시간 동안 얼마나 많은 데이터를 옮길 수 있는지입니다.

비유하면 지연시간은 택배 한 개가 도착하는 시간이고, 대역폭은 하루에 처리할 수 있는 택배 물량입니다.

AI 데이터센터에서는 두 가지 모두 중요하지만, 대규모 AI 모델에서는 특히 대역폭이 중요해집니다.

왜냐하면 AI 모델은 엄청난 양의 데이터를 반복해서 읽기 때문입니다.

거대언어모델은 수십억, 수천억 개의 파라미터를 가지고 있습니다. 추론 과정에서 토큰을 하나 생성할 때마다 모델 가중치와 중간 계산 결과를 계속 불러와야 합니다.

이때 데이터가 조금씩 늦게 들어오면 GPU는 대기합니다.

GPU가 대기한다는 것은 돈이 낭비된다는 뜻입니다.

AI 데이터센터에서 GPU 한 장은 매우 비쌉니다. 그런데 메모리 대역폭이 부족해서 GPU가 놀고 있다면, 비싼 장비를 사놓고 제대로 쓰지 못하는 상황이 됩니다.

3. GPU는 왜 메모리에 민감할까

CPU와 GPU는 구조가 다릅니다.

CPU는 복잡한 명령을 빠르게 처리하고, 운영체제와 프로그램의 흐름을 제어하는 데 강합니다. 그래서 CPU는 상대적으로 큰 캐시와 복잡한 제어 구조를 가지고 있습니다.

반면 GPU는 수많은 단순 연산을 동시에 처리하는 데 특화되어 있습니다.

AI 연산은 행렬 곱셈과 텐서 연산이 많습니다. 이런 계산은 GPU가 잘합니다. 하지만 GPU가 수많은 연산 유닛을 동시에 돌리려면 그만큼 많은 데이터를 계속 공급받아야 합니다.

여기서 문제가 생깁니다.

연산 유닛은 점점 빨라지는데, 데이터를 공급하는 메모리 속도가 그만큼 따라오지 못하면 병목이 발생합니다.

이것이 메모리 벽입니다.

GPU가 더 빨라질수록 오히려 메모리 병목은 더 선명해집니다.

예전에는 GPU 성능이 부족해서 느렸다면, AI 시대에는 GPU가 너무 빨라져서 메모리가 따라가기 어려운 상황이 된 것입니다.

4. AI 추론은 특히 메모리 대역폭을 많이 요구합니다

AI에는 학습과 추론이 있습니다.

학습은 거대한 데이터를 사용해 모델을 훈련시키는 단계입니다. 이때는 GPU 연산 성능이 매우 중요합니다. 대규모 배치로 데이터를 처리하기 때문에 연산 장치를 꽉 채워 돌리기 쉽습니다.

하지만 추론은 다릅니다.

추론은 사용자가 질문을 입력하면 AI가 답변을 생성하는 과정입니다. 특히 거대언어모델은 한 번에 전체 답변을 만드는 것이 아니라 토큰을 하나씩 생성합니다.

이 과정에서는 모델 가중치를 계속 읽어야 합니다.

또 이전 대화 내용을 기억하기 위해 KV 캐시라는 중간 데이터를 저장하고 다시 불러옵니다. 대화가 길어질수록, 문맥 길이가 길어질수록, 동시에 처리하는 사용자가 많아질수록 KV 캐시가 차지하는 메모리도 커집니다.

그래서 생성형 AI 서비스가 커질수록 메모리 대역폭은 더 중요해집니다.

챗봇이 빠르게 답변하려면 GPU가 빠른 것도 중요하지만, 그 GPU가 필요한 데이터를 빠르게 가져와야 합니다.

결국 AI 추론은 연산 경쟁이면서 동시에 데이터 이동 경쟁입니다.

5. H100에서 H200으로 간 이유도 메모리 때문입니다

엔비디아 H100은 생성형 AI 시대의 대표 GPU였습니다.

NVIDIA는 H100이 HBM3 메모리를 사용해 3TB/s급 메모리 대역폭을 제공한다고 설명했습니다. 당시 기준으로 매우 강력한 성능이었습니다.

하지만 AI 모델은 더 커졌습니다.

거대언어모델 추론에서는 연산 성능뿐 아니라 메모리 용량과 대역폭이 중요해졌습니다. 그래서 엔비디아는 H200을 내놓았습니다.

H200의 핵심은 GPU 구조 전체를 완전히 바꾼 것이 아닙니다.

핵심은 메모리입니다.

NVIDIA H200 공식 사양을 보면 H200은 141GB HBM3E와 4.8TB/s 메모리 대역폭을 제공합니다. H100보다 더 큰 메모리와 더 넓은 대역폭을 통해 LLM 추론과 HPC 워크로드를 개선하는 방향입니다.

이 변화가 의미하는 것은 분명합니다.

엔비디아도 알고 있는 것입니다.

AI 시대에는 GPU 코어만 빠르게 만드는 것으로 부족합니다.

메모리를 더 크게 만들고, 대역폭을 더 넓혀야 합니다.

6. Blackwell은 메모리와 시스템을 함께 키웠습니다

Blackwell 세대에서는 이 흐름이 더 강해졌습니다.

NVIDIA DGX B200 공식 사양을 보면 8개의 Blackwell GPU가 총 1,440GB의 GPU 메모리와 64TB/s HBM3E 대역폭을 제공합니다.

단순히 GPU 한 장의 성능만 키운 것이 아닙니다.

여러 GPU를 하나의 시스템으로 묶고, 더 큰 메모리 풀과 더 넓은 데이터 통로를 제공하는 방향으로 발전한 것입니다.

AMD도 같은 방향입니다.

AMD Instinct MI350 시리즈는 공식 자료에서 최대 288GB HBM3E와 8TB/s 피크 메모리 대역폭을 제시합니다.

엔비디아와 AMD가 모두 HBM 용량과 대역폭을 강조하는 이유는 단순합니다.

AI 가속기 경쟁의 핵심 병목이 메모리로 이동했기 때문입니다.

더 많은 연산 유닛을 넣는 것만으로는 부족합니다.

그 연산 유닛이 쉬지 않고 일하도록 데이터를 공급해야 합니다.

7. 메모리 대역폭은 투자 관점에서도 중요합니다

투자 관점에서 보면 메모리 대역폭은 단순 기술 용어가 아닙니다.

AI 반도체 밸류체인의 돈이 어디로 흘러가는지 보여주는 지표입니다.

GPU가 빨라질수록 HBM이 필요합니다.

HBM이 커질수록 첨단 패키징이 필요합니다.

첨단 패키징이 복잡해질수록 TSMC CoWoS 같은 패키징 병목이 중요해집니다.

AI 데이터센터의 랙 전력이 올라갈수록 냉각과 전력 인프라도 중요해집니다.

즉 메모리 대역폭은 GPU 안에서 끝나는 문제가 아닙니다.

HBM.
패키징.
파운드리.
네트워크.
전력.
냉각.

이 모든 밸류체인으로 연결됩니다.

그래서 AI 반도체 투자를 할 때 단순히 엔비디아만 보면 부족합니다.

엔비디아 GPU가 더 많이 팔릴수록 SK하이닉스, 삼성전자, 마이크론 같은 HBM 공급사가 중요해집니다. HBM을 GPU와 함께 묶어야 하므로 첨단 패키징도 중요해집니다. 고성능 GPU를 데이터센터에 넣어야 하므로 전력과 냉각도 중요해집니다.

AI 시대의 성능 병목을 이해하면, 투자 관점의 시야도 넓어집니다.

결론

메모리 대역폭이 중요한 이유는 단순합니다.

AI 반도체는 데이터를 먹고 계산하는 장치이기 때문입니다.

GPU가 아무리 빨라도 데이터를 공급받지 못하면 기다립니다. 비싼 GPU가 기다린다는 것은 데이터센터 입장에서 비용 낭비입니다.

어릴 때 게임을 다운로드할 때도 그랬습니다.

게임 파일은 그대로인데 인터넷 속도가 느리면 밤새 기다려야 했습니다. 지금은 같은 수십 GB 게임도 밥 먹고 오면 받아져 있습니다. 데이터가 이동하는 통로가 넓어졌기 때문입니다.

AI 반도체도 같습니다.

GPU 성능이 아무리 좋아져도 메모리 대역폭이 좁으면 전체 성능은 막힙니다.

그래서 H100 이후 H200은 141GB HBM3E와 4.8TB/s 대역폭으로 메모리를 강화했습니다. Blackwell B200 시스템은 더 큰 메모리와 더 넓은 HBM3E 대역폭을 중심으로 설계됩니다. AMD MI350도 288GB HBM3E와 8TB/s 대역폭을 전면에 내세우고 있습니다.

이 흐름이 말하는 방향은 분명합니다.

AI 시대의 병목은 연산만이 아니라 데이터 이동입니다.

그리고 데이터 이동의 핵심이 메모리 대역폭입니다.

앞으로 AI 모델은 더 커질 것입니다. 추론 수요는 더 늘어날 것입니다. 문맥 길이는 더 길어질 것입니다. 사용자는 더 빠른 응답을 원할 것입니다.

이 모든 요구를 만족시키려면 GPU만 빨라져서는 안 됩니다.

메모리가 더 빨라져야 합니다.

HBM이 더 커지고, 대역폭이 더 넓어지고, 패키징과 전력 인프라가 함께 발전해야 합니다.

결국 AI 반도체 경쟁은 누가 더 빠른 칩을 만드는가의 싸움처럼 보이지만, 실제로는 누가 데이터를 더 빠르게 이동시키느냐의 싸움입니다.

메모리 대역폭은 인공지능 성능을 결정하는 가장 좁은 병목이자, 투자자가 반드시 주목해야 할 하드웨어 패권의 핵심입니다.

다음 글에서는 이 병목을 더 깊게 파고들겠습니다.

왜 GPU 성능은 계속 올라가는데 메모리는 늘 따라잡기 어려운가.

AI 반도체 업계가 말하는 Memory Wall 문제를 살펴보겠습니다.

AI 반도체 관련 글 이어보기 

[이전글 보기] : SK하이닉스 vs 삼성전자 vs 마이크론, HBM 승자는 누가 될 것 인가

https://www.hanvelog.com/2026/06/ai-semiconductor-hynix-vs-samsung-vs-micron.html

[다음글 보기] : Memory Wall이란 무엇인가, AI 반도체는 왜 메모리 벽에 막히는가

https://www.hanvelog.com/2026/06/memory-wall-ai-semiconductor.html

#AI #인공지능 #AI반도체 #메모리대역폭 #MemoryBandwidth #HBM #HBM3E #HBM4 #엔비디아 #NVIDIA #H100 #H200 #Blackwell #GPU #데이터센터 #AI인프라 #SK하이닉스 #삼성전자 #마이크론 #반도체투자