Memory Wall이란 무엇인가, AI 반도체는 왜 메모리 벽에 막히는가

 예전에는 컴퓨터가 느리면 무조건 CPU나 그래픽카드를 바꿔야 한다고 생각했습니다.

그런데 실제로 컴퓨터를 오래 만져보면 꼭 그렇지만은 않습니다.

CPU를 바꾸지 않아도 SSD 하나만 바꿨는데 부팅 속도가 완전히 달라지는 경우가 있습니다. 그래픽카드는 그대로인데 램 용량을 늘리거나 메모리 클럭을 올렸더니 게임 프레임이 안정되는 경우도 있습니다.

저도 예전에 이런 경험을 꽤 많이 했습니다.

컴퓨터 성능은 단순히 계산을 담당하는 부품 하나만 빨라진다고 해결되는 것이 아니었습니다. 데이터를 저장하고, 불러오고, 옮기는 속도가 같이 받쳐줘야 전체 체감 성능이 좋아졌습니다.

AI 반도체도 똑같습니다.

많은 사람들은 엔비디아 GPU의 연산 성능에 집중합니다. H100, H200, Blackwell, B200 같은 이름을 보면 가장 먼저 몇 TFLOPS인지, 몇 PFLOPS인지, 이전 세대보다 몇 배 빨라졌는지를 봅니다.

하지만 AI 데이터센터의 진짜 병목은 단순 연산 성능만으로 설명되지 않습니다.

GPU가 아무리 빨라도 필요한 데이터를 제때 공급받지 못하면 기다려야 합니다. 수천만 원, 수억 원짜리 가속기가 메모리에서 데이터가 오기를 기다리는 순간, 데이터센터는 돈을 태우고 있는 셈입니다.

이 문제가 바로 Memory Wall, 즉 메모리 벽입니다.

1.Memory Wall은 오래전부터 예고된 문제입니다

Memory Wall이라는 개념은 최근 AI 시대에 갑자기 생긴 말이 아닙니다.

1995년 버지니아 대학교의 William A. Wulf와 Sally A. McKee는 ACM SIGARCH Computer Architecture News에 “Hitting the Memory Wall: Implications of the Obvious”라는 논문을 발표했습니다.

이 논문의 핵심은 단순했습니다.

프로세서 성능은 빠르게 좋아지는데, 메모리 성능은 그만큼 따라오지 못한다는 것입니다.

논문에서는 프로그램 명령어 중 약 20~40%가 메모리 참조를 동반한다고 설명합니다. 보수적으로 20%만 잡아도 명령어 5개 중 1개는 메모리를 참조한다는 뜻입니다. 이때 평균 메모리 접근 시간이 5개 명령어 처리 시간보다 길어지면, 시스템 전체 성능은 더 이상 프로세서 속도가 아니라 메모리 속도에 의해 결정됩니다.

이것이 Memory Wall입니다.

쉽게 말하면 CPU나 GPU가 아무리 빨라져도 메모리가 데이터를 늦게 보내면 전체 시스템은 메모리 속도에 묶입니다.

1995년에 제기된 이 문제가 2020년대 AI 데이터센터에서 다시 핵심 병목으로 떠오른 것입니다.

2.Memory Wall은 세 가지 벽으로 나뉩니다

Memory Wall은 단순히 “메모리가 느리다”는 말이 아닙니다.

크게 세 가지 문제로 나눠볼 수 있습니다.

첫 번째는 지연시간 장벽입니다.

메모리에 데이터를 요청한 뒤 첫 데이터가 도착하기까지 걸리는 시간입니다. DRAM은 물리적으로 전하를 저장하고 읽는 구조이기 때문에 지연시간을 무한정 줄이기 어렵습니다.

두 번째는 대역폭 장벽입니다.

단위 시간 동안 얼마나 많은 데이터를 옮길 수 있는가의 문제입니다. AI GPU는 수많은 연산 유닛을 동시에 돌립니다. 이 연산 유닛들이 쉬지 않고 일하려면 메모리에서 엄청난 양의 데이터를 계속 공급받아야 합니다.

세 번째는 용량 장벽입니다.

AI 모델이 커질수록 메모리에 올려야 할 가중치와 KV 캐시가 늘어납니다. 메모리 용량이 부족하면 모델을 여러 GPU에 쪼개야 하고, 이때 GPU 간 통신 비용이 추가로 발생합니다.

즉 Memory Wall은 단순히 메모리 속도 하나의 문제가 아닙니다.

지연시간, 대역폭, 용량이 동시에 만들어내는 시스템 병목입니다.

3.CPU 시대에도 메모리 벽은 문제였습니다

1990년대부터 2000년대까지 CPU 성능은 빠르게 발전했습니다.

클럭이 올라가고, 파이프라인이 깊어지고, 명령어 처리 구조가 개선됐습니다. 이후에는 멀티코어 구조로 발전했습니다.

하지만 DRAM의 지연시간은 CPU만큼 빠르게 개선되지 못했습니다.

리서치에서 정리된 CPU 시대의 핵심 흐름은 이렇습니다. 1990년대에는 CPU 성능이 연평균 50% 이상 개선되던 구간이 있었지만, DRAM 지연시간 개선 속도는 연평균 한 자릿수 수준에 머물렀습니다. 2000년대 이후 CPU 성능 증가율은 둔화됐지만, 메모리 지연시간 개선은 더 느려졌습니다.

그래서 CPU 설계자들은 캐시를 키웠습니다.

L1, L2, L3 캐시를 두고, 자주 쓰는 데이터를 CPU 가까이에 저장했습니다. 메인 메모리가 느리니 최대한 메인 메모리에 가지 않도록 만든 것입니다.

이 방식은 일반 프로그램에서는 효과가 있었습니다.

하지만 AI 가속기 시대에는 상황이 더 어려워졌습니다.

GPU는 CPU처럼 큰 캐시로 문제를 해결하기 어렵습니다. GPU는 수많은 연산 유닛을 동시에 돌리는 구조이고, AI 모델은 수십 GB에서 수백 GB 규모의 가중치와 중간 데이터를 계속 움직입니다.

캐시만으로 감당하기 어려운 규모입니다.

4.GPU 시대에는 Memory Wall이 더 심각해졌습니다

GPU는 병렬 연산에 강합니다.

AI 모델의 핵심인 행렬 곱셈과 텐서 연산을 빠르게 처리할 수 있습니다. 그래서 GPU는 AI의 핵심 반도체가 되었습니다.

문제는 GPU가 빨라질수록 더 많은 데이터를 요구한다는 점입니다.

NVIDIA Hopper 아키텍처 자료를 보면 H100 SXM5는 80GB HBM3 메모리를 탑재하고, 3TB/s급 메모리 대역폭을 제공합니다. H100은 생성형 AI 시대의 대표 GPU였지만, 거대언어모델 추론에서는 메모리 용량과 대역폭 한계가 점점 드러났습니다.

그래서 등장한 것이 H200입니다.

NVIDIA H200 공식 자료에서는 H200이 141GB HBM3E와 4.8TB/s 메모리 대역폭을 제공한다고 설명합니다. H100 대비 메모리 용량은 80GB에서 141GB로 약 76% 증가했고, 대역폭은 약 3.35TB/s급에서 4.8TB/s로 약 43% 증가했습니다.

여기서 중요한 점은 H200이 완전히 새로운 GPU 아키텍처가 아니라는 것입니다.

H200은 Hopper 기반입니다. 엔비디아가 먼저 손댄 것은 GPU 코어가 아니라 메모리였습니다.

이 숫자가 말하는 것은 분명합니다.

AI 추론 병목이 연산 유닛이 아니라 메모리 쪽으로 이동하고 있었기 때문입니다.

5.H100에서 H200으로 간 이유는 메모리였습니다

H100은 강력한 GPU였습니다.

하지만 70B급 대형 언어 모델을 FP16 기준으로 올리면 가중치만 약 140GB 수준이 필요합니다. H100의 80GB 메모리로는 단일 GPU에 모델 전체를 올리기 어렵습니다.

이 경우 여러 GPU에 모델을 나눠 올려야 합니다.

그런데 모델을 나누면 GPU 간 통신이 발생합니다. NVLink가 아무리 빠르더라도, 단일 GPU 내부 HBM에서 데이터를 읽는 것보다 비용이 큽니다.

H200의 의미는 여기에 있습니다.

H200은 141GB HBM3E를 통해 70B급 모델을 단일 GPU에 더 가깝게 올릴 수 있는 방향으로 설계됐습니다. 동시에 대역폭을 4.8TB/s까지 늘려 추론 처리량을 개선했습니다.

즉 H200은 “GPU가 더 빨라졌다”보다 메모리 병목을 줄이기 위한 제품으로 봐야 합니다.

이것이 Memory Wall의 실전 사례입니다.

엔비디아 같은 최상위 GPU 기업도 AI 시대에는 메모리 병목을 정면으로 다뤄야 했습니다.

6.Blackwell도 메모리와 시스템을 함께 키웠습니다

Blackwell 세대에서는 이 흐름이 더 강해졌습니다.

NVIDIA DGX B200 공식 사양을 보면 8개의 Blackwell GPU가 들어간 DGX B200 시스템은 총 1,440GB GPU 메모리와 64TB/s HBM3E 대역폭을 제공합니다. 이는 단일 GPU 하나의 성능이 아니라, 시스템 전체를 하나의 AI 컴퓨팅 단위로 보는 방향입니다.

Blackwell은 GPU 자체도 강해졌지만, 중요한 것은 메모리와 인터커넥트입니다.

AI 모델이 커질수록 단일 GPU 안에 모든 것을 담기 어렵습니다. 그러면 여러 GPU를 묶어야 합니다. 이때 중요한 것은 GPU 간 통신, 메모리 풀, HBM 대역폭, 시스템 전체 설계입니다.

AMD도 같은 방향으로 움직이고 있습니다.

AMD Instinct MI350X 공식 자료에서는 MI350X가 288GB HBM3E와 8TB/s 메모리 대역폭을 제공한다고 설명합니다. AMD가 MI350에서 대용량 HBM3E를 전면에 내세운 이유도 같습니다.

AI 가속기 경쟁은 더 이상 연산 성능표만의 싸움이 아닙니다.

누가 더 많은 데이터를 더 빠르게 GPU에 공급할 수 있는가의 싸움입니다.

7.Roofline Model은 이 문제를 숫자로 보여줍니다

Memory Wall을 이해할 때 중요한 개념이 Roofline Model입니다.

Roofline Model은 특정 연산이 연산 성능에 막히는지, 아니면 메모리 대역폭에 막히는지를 판단하는 모델입니다.

핵심 공식은 간단합니다.

실제 성능은 다음 두 값 중 작은 쪽에 의해 결정됩니다.

최대 연산 성능.

또는 메모리 대역폭 × 연산 강도.

여기서 연산 강도는 메모리에서 1바이트를 가져와서 몇 번의 연산을 수행하는지를 뜻합니다.

연산 강도가 높으면 한 번 가져온 데이터를 여러 번 재사용합니다. 이 경우 GPU의 연산 성능을 잘 활용할 수 있습니다.

반대로 연산 강도가 낮으면 데이터를 계속 새로 가져와야 합니다. 이 경우 아무리 GPU가 빨라도 메모리 대역폭에 막힙니다.

리서치에서 예시로 든 A100 기준 계산을 보면 이 구조가 선명합니다.

A100의 FP32 피크 성능을 약 19.5TFLOPS, 메모리 대역폭을 약 1,555GB/s로 놓으면, 임계 연산 강도는 약 12.54 FLOP/Byte가 됩니다.

그런데 단순한 작은 행렬곱처럼 데이터 재사용이 낮은 연산은 연산 강도가 0.1875 FLOP/Byte 수준에 그칠 수 있습니다. 이 경우 이론상 GPU가 19.5TFLOPS를 낼 수 있어도, 실제 획득 가능한 성능은 메모리 대역폭에 묶여 약 291GFLOPS 수준으로 떨어집니다.

물론 실제 AI 연산은 최적화가 들어갑니다.

타일링, 캐시 재사용, 레이어 융합, 커널 최적화 같은 기술을 통해 연산 강도를 높입니다. 하지만 이 예시는 중요한 사실을 보여줍니다.

GPU의 이론 성능이 아무리 높아도 데이터 재사용 구조가 나쁘면 성능은 메모리 대역폭에 묶입니다.

8.LLM 추론은 Memory Wall에 특히 취약합니다

대형 언어 모델은 학습과 추론에서 병목이 다릅니다.

학습은 많은 데이터를 큰 배치로 처리합니다. GPU 연산 유닛을 꽉 채워 돌리기 좋습니다. 그래서 학습에서는 연산 성능이 매우 중요합니다.

하지만 추론은 다릅니다.

사용자가 질문을 입력하면 AI는 토큰을 하나씩 생성합니다. 이 과정을 디코드 단계라고 합니다.

디코드 단계에서는 매번 다음 토큰을 만들기 위해 모델 가중치와 이전 문맥 정보를 읽어야 합니다. 이때 데이터 재사용 효율이 낮아지고, 메모리 대역폭 병목이 강하게 나타납니다.

여기에 KV Cache 문제가 더해집니다.

KV Cache는 이전 대화와 문맥 정보를 저장해두는 메모리 영역입니다. 문맥 길이가 길어질수록, 동시에 처리하는 사용자 수가 늘어날수록 KV Cache가 급격히 커집니다.

리서치에서 Llama 3.1 70B 기준으로 계산한 예시를 보면 이 문제가 명확합니다.

Llama 3.1 70B는 80개 레이어, 8개의 KV 헤드, 128 차원의 헤드 구성을 기준으로 계산할 수 있습니다. BF16 기준으로 토큰 하나당 KV Cache는 약 320KB 수준입니다.

이 숫자는 작아 보이지만, 문맥 길이가 길어지면 폭발합니다.

2,048 토큰이면 단일 세션 기준 약 0.625GB.

8,192 토큰이면 약 2.5GB.

32,768 토큰이면 약 10GB.

128K 토큰이면 단일 세션만으로 약 40GB 수준까지 커질 수 있습니다.

여기에 동시 처리 사용자가 4명만 되어도 128K 문맥에서는 KV Cache가 약 160GB까지 늘어납니다.

중요한 것은 이 KV Cache가 모델 가중치와 별개라는 점입니다.

70B 모델의 FP16 가중치가 약 140GB라면, 긴 문맥과 동시 사용자가 붙는 순간 KV Cache가 모델 자체보다 더 큰 메모리 부담이 될 수 있습니다.

그래서 LLM 추론 시대에는 메모리 용량과 대역폭이 더 중요해집니다.

9.vLLM과 PagedAttention도 결국 메모리 문제에서 나왔습니다

소프트웨어도 이 문제를 해결하려고 합니다.

vLLM의 PagedAttention 논문은 LLM 서빙에서 KV Cache가 매우 크고 동적으로 변하기 때문에 메모리 관리가 어렵다고 설명합니다. 기존 방식에서는 메모리 조각화와 중복 저장 때문에 GPU 메모리가 낭비되고, 이로 인해 배치 크기가 제한됩니다.

PagedAttention은 운영체제의 가상 메모리와 페이징 아이디어에서 영감을 받아 KV Cache를 고정 크기 블록으로 나누어 관리합니다.

논문에서는 vLLM이 기존 시스템 대비 같은 지연시간 조건에서 처리량을 2~4배 개선할 수 있다고 설명합니다.

이 사례도 Memory Wall을 보여줍니다.

AI 성능 문제를 단순히 더 빠른 GPU로만 해결할 수 없기 때문에, 소프트웨어 레벨에서도 메모리 관리를 최적화하는 기술이 등장한 것입니다.

즉 Memory Wall은 하드웨어만의 문제가 아닙니다.

GPU, HBM, 패키징, 인터커넥트, 소프트웨어 런타임이 모두 함께 풀어야 하는 문제입니다.

10.HBM은 Memory Wall을 완화하기 위해 등장했습니다

기존 DDR이나 GDDR 구조로는 AI GPU가 요구하는 대역폭을 감당하기 어렵습니다.

그래서 HBM이 등장했습니다.

HBM은 D램을 수직으로 쌓고 TSV라는 수직 연결 기술을 사용해 매우 넓은 인터페이스를 만듭니다. 기존 메모리처럼 클럭만 무리하게 올리는 것이 아니라, 데이터가 지나가는 통로 자체를 넓히는 방식입니다.

HBM3는 AI 가속기 시대의 본격적인 표준이 됐고, HBM3E는 H200과 Blackwell 세대에서 핵심 메모리로 자리 잡았습니다.

그리고 HBM4는 더 큰 변화를 예고합니다.

JEDEC의 HBM4 표준은 2,048비트 인터페이스와 최대 8Gb/s 전송 속도를 기반으로 스택당 최대 2TB/s 대역폭을 제시합니다. HBM3 계열의 1,024비트 인터페이스에서 두 배로 넓어진 구조입니다.

이 말은 중요합니다.

HBM4는 단순히 속도만 높이는 세대가 아닙니다.

데이터가 지나가는 통로 자체를 두 배로 넓히는 세대입니다.

AI GPU가 계속 빨라질수록 메모리 벽은 더 높아집니다. HBM4는 그 벽을 낮추기 위한 차세대 메모리 구조입니다.

11.Memory Wall은 투자 지도를 바꿉니다

Memory Wall을 이해하면 AI 반도체 밸류체인이 다르게 보입니다.

겉으로는 엔비디아 GPU가 중심입니다.

하지만 GPU가 빨라질수록 HBM이 필요합니다.

HBM이 커질수록 첨단 패키징이 필요합니다.

여러 GPU를 묶을수록 NVLink, 이더넷, 인피니밴드, 광통신 같은 인터커넥트가 중요해집니다.

랙 전력이 올라갈수록 전력 공급과 액체 냉각도 중요해집니다.

즉 Memory Wall은 단순한 기술 용어가 아닙니다.

돈이 어디로 흘러가는지를 보여주는 지도입니다.

GPU 설계사는 더 빠른 연산 유닛을 만들지만, 그 연산 유닛이 제대로 일하려면 HBM이 필요합니다. HBM을 GPU 옆에 붙이려면 CoWoS 같은 첨단 패키징이 필요합니다. 수십 개, 수백 개 GPU를 묶으려면 고속 인터커넥트가 필요합니다. 그리고 이 모든 장비를 데이터센터에서 돌리려면 전력과 냉각이 필요합니다.

그래서 AI 인프라 투자는 엔비디아 하나로 끝나지 않습니다.

엔비디아.

AMD.

SK하이닉스.

삼성전자.

마이크론.

TSMC.

네트워크 장비.

전력 장비.

냉각 인프라.

이 모든 기업들이 Memory Wall이라는 하나의 병목을 중심으로 연결됩니다.

결론

Memory Wall은 AI 반도체 시대의 핵심 병목입니다.

1995년 Wulf와 McKee가 지적했던 문제는 단순했습니다.

프로세서는 빠르게 좋아지는데, 메모리는 그만큼 빨라지지 않는다.

그 문제는 30년이 지난 지금 AI 데이터센터에서 더 거대한 형태로 돌아왔습니다.

H100은 80GB HBM3와 3TB/s급 대역폭으로 생성형 AI 시대를 열었습니다. 하지만 모델이 커지고 추론 수요가 늘면서 메모리 병목이 선명해졌습니다.

그래서 H200은 같은 Hopper 기반에서 141GB HBM3E와 4.8TB/s 대역폭으로 메모리를 강화했습니다. 메모리 용량은 약 76%, 대역폭은 약 43% 늘었습니다.

Blackwell 세대에서는 DGX B200이 8개 GPU 기준 총 1,440GB GPU 메모리와 64TB/s HBM3E 대역폭을 제공합니다. AMD MI350X도 288GB HBM3E와 8TB/s 대역폭을 전면에 내세웁니다.

이 숫자들이 말하는 방향은 하나입니다.

AI 반도체 경쟁은 연산 성능 경쟁에서 메모리와 시스템 경쟁으로 이동하고 있습니다.

LLM 추론에서는 토큰을 하나씩 생성할 때마다 모델 가중치와 KV Cache를 계속 읽어야 합니다. Llama 3.1 70B 기준으로 128K 문맥에서는 단일 세션 KV Cache만 약 40GB까지 커질 수 있고, 동시 사용자 4명 기준으로는 약 160GB까지 늘어날 수 있습니다.

이런 환경에서는 GPU가 아무리 빨라도 메모리 용량과 대역폭이 부족하면 성능은 막힙니다.

그래서 HBM이 중요해졌고, HBM4가 필요해졌으며, CoWoS와 고속 인터커넥트, 전력과 냉각까지 함께 중요해졌습니다.

결국 Memory Wall은 반도체 단일 칩의 문제가 아닙니다.

AI 데이터센터 전체를 다시 설계하게 만드는 구조적 병목입니다.

오늘날 AI 인프라 경쟁의 본질은 더 빠른 GPU를 만드는 싸움이 아니라, 그 GPU가 굶지 않도록 데이터를 얼마나 빠르고 안정적으로 공급하느냐의 싸움입니다.

그리고 이 문제를 가장 잘 해결하는 기업들이 AI 반도체 밸류체인의 다음 승자가 될 가능성이 높습니다.

다음 글부터는 이 병목을 해결하기 위한 핵심 기술인 패키징 영역으로 넘어갑니다.

CoWoS는 왜 병목이 되었는가.

AI 반도체가 더 이상 칩 하나의 싸움이 아니라 패키징과 공급망의 싸움으로 바뀐 이유를 살펴보겠습니다.

AI 반도체 관련 글 이어보기 

[이전글 보기] : 메모리 대역폭이 중요한 이유, AI 반도체는 왜 데이터를 기다릴까

https://www.hanvelog.com/2026/06/ai-semiconductor-memory-bandwidth.html

#MemoryWall #AI반도체 #HBM #HBM4 #엔비디아 #NVIDIA #H100 #H200 #Blackwell #GPU #AI인프라 #데이터센터 #SK하이닉스 #삼성전자 #마이크론 #CoWoS #반도체투자 #AI투자 #LLM #KVCache