패키징이 반도체 성능을 결정하는 이유

 제가 대학생 때 군대를 제대하고 복학 전에 PC방 아르바이트를 한 적이 있습니다.

당시 PC방 사장은 전체적인 사양 업그레이드를 진행하고 있었습니다. 기존에 사용하던 그래픽카드는 지포스 9600GT였고, 모니터와 연결도 DVI 케이블을 사용했습니다.

그런데 업그레이드를 하면서 그래픽카드를 GTX 560 Ti로 교체하고, 모니터도 함께 바꾸면서 매장 전체를 HDMI 기반으로 바꾸게 됐습니다.

그때 꽤 충격을 받았습니다.

예전에는 손님이 “소리가 안 나온다”, “화면이 안 나온다” 하고 부르면 가서 DVI 케이블이나 스피커 연결 상태부터 확인하곤 했습니다. 화면 신호와 소리 신호를 따로 신경 써야 했기 때문입니다.

그런데 HDMI로 바뀌고 나서는 케이블 하나만 연결하면 화면과 소리가 동시에 전달됐습니다.

같은 컴퓨터였고 같은 게임을 실행했지만, 연결 방식이 바뀌면서 관리도 쉬워지고 사용 경험도 훨씬 좋아졌습니다.

그때는 단순히 편해졌다고 생각했는데, 지금 돌이켜보면 중요한 의미가 있었습니다.

좋은 부품을 만드는 것만큼 중요한 것은 그 부품들을 얼마나 빠르고 효율적으로 연결하느냐는 점입니다.

AI 반도체도 지금 비슷한 상황입니다.

엔비디아는 강력한 GPU를 만들었고, SK하이닉스와 마이크론, 삼성전자는 빠른 HBM을 만듭니다. 하지만 GPU와 HBM을 제대로 연결하지 못하면 두 부품 모두 제 성능을 낼 수 없습니다.

그래서 최근 AI 반도체 업계에서는 칩 자체의 성능 못지않게 칩을 연결하는 기술이 중요해지고 있습니다.

그리고 그 중심에 있는 것이 바로 첨단 패키징입니다.

1. 패키징이란 무엇인가

반도체 패키징은 원래 칩을 보호하고 외부 회로와 연결하는 후공정 기술이었습니다.

웨이퍼 위에서 만들어진 반도체 칩은 그대로 사용할 수 없습니다. 칩을 잘라내고, 외부 충격과 습기로부터 보호하고, 메인보드나 서버 기판과 전기적으로 연결할 수 있게 만들어야 합니다.

과거 패키징의 핵심 역할은 보호와 연결이었습니다.

하지만 지금은 다릅니다.

AI 시대의 패키징은 단순한 포장이 아니라, 여러 반도체 칩을 하나의 시스템처럼 동작하게 만드는 기술입니다.

패키징은 크게 전통적 패키징, 2D 패키징, 2.5D 패키징, 3D 패키징으로 나눌 수 있습니다.

전통적 패키징은 하나의 칩을 기판 위에 올리고 와이어 본딩이나 리드프레임으로 연결하는 방식입니다. 구조가 단순하고 비용은 낮지만, 데이터 이동 거리가 길고 고성능 반도체에는 한계가 있습니다.

2D 패키징은 여러 칩을 같은 기판 위에 평면으로 배치하는 방식입니다. 모바일 AP나 일반 반도체에는 적합하지만, GPU와 HBM처럼 초고속 데이터 이동이 필요한 구조에는 부족합니다.

2.5D 패키징은 칩과 기판 사이에 인터포저를 넣는 방식입니다. TSMC의 CoWoS가 대표적입니다. GPU와 HBM을 실리콘 인터포저 위에 가깝게 올려 초고속으로 연결합니다.

3D 패키징은 칩을 위아래로 쌓는 방식입니다. TSV나 하이브리드 본딩을 통해 수직으로 데이터를 이동시킵니다. TSMC의 SoIC, 인텔의 Foveros 같은 기술이 여기에 해당합니다.

즉 패키징은 이제 단순 후공정이 아닙니다.

칩과 칩 사이의 데이터 이동을 설계하는 시스템 아키텍처 기술입니다.

2. 과거에는 왜 패키징이 덜 중요했는가

과거 반도체 산업에서는 전공정이 성능 개선의 중심이었습니다.

더 미세한 공정으로 회로를 만들고, 더 많은 트랜지스터를 넣고, 클럭을 높이면 성능이 좋아졌습니다. CPU 시대에는 특히 그랬습니다.

CPU 성능은 클럭, 캐시, 코어 구조, 미세 공정 개선으로 크게 발전했습니다.

메모리와 주변 장치가 중요하지 않았던 것은 아니지만, 시스템 성능의 주인공은 대체로 CPU나 GPU 같은 연산 칩이었습니다.

이때는 패키징이 성능을 결정한다기보다, 완성된 칩을 안정적으로 제품화하는 역할에 가까웠습니다.

하지만 AI 시대에는 상황이 달라졌습니다.

AI 모델은 수천억 개의 파라미터를 다루고, 거대한 데이터를 GPU와 HBM 사이에서 계속 이동시켜야 합니다. 연산 칩이 아무리 빨라도 데이터를 제때 공급받지 못하면 성능은 막힙니다.

이 문제는 이전 글에서 다룬 Memory Wall 문제와 연결됩니다.

AI 시대에는 칩 하나의 성능보다 칩과 메모리를 얼마나 가깝고 넓게 연결하느냐가 중요해졌습니다.

그래서 패키징의 위상이 달라진 것입니다.

3. AI 시대에는 왜 패키징이 중요해졌는가

AI 반도체의 핵심은 데이터 이동입니다.

GPU는 행렬 연산과 텐서 연산을 빠르게 처리합니다. 하지만 이 연산을 하려면 HBM에서 데이터를 계속 가져와야 합니다.

문제는 GPU 연산 성능 증가 속도보다 메모리 대역폭과 인터커넥트 증가 속도가 느리다는 점입니다.

Amir Gholami 연구팀이 2024년 발표한 “AI and Memory Wall”에서는 지난 20년 동안 고성능 가속기의 연산 성능은 2년마다 약 3배씩 증가했지만, DRAM 대역폭은 약 1.6배, 인터커넥트 대역폭은 약 1.4배 증가하는 데 그쳤다고 설명합니다.

이 숫자가 말하는 것은 분명합니다.

연산 칩은 빨라졌지만, 데이터를 공급하는 통로는 그만큼 빨라지지 못했습니다.

결국 AI 성능은 GPU 자체보다 데이터를 얼마나 빠르게 가져올 수 있느냐에 막히기 시작했습니다.

여기서 패키징이 중요해집니다.

GPU와 HBM을 멀리 떨어뜨려 놓으면 데이터 이동 거리도 길어지고, 전력 소모도 커지고, 지연시간도 늘어납니다. 반대로 GPU와 HBM을 같은 패키지 안에 가깝게 올리고 넓은 배선으로 연결하면 성능과 전력 효율이 동시에 좋아집니다.

AI 시대의 패키징은 단순 연결이 아닙니다.

연산 성능을 실제 성능으로 바꿔주는 핵심 통로입니다.

4. 데이터 이동 비용이 문제다

반도체에서 의외로 비싼 것은 연산 자체가 아니라 데이터 이동입니다.

Mark Horowitz가 2014년 ISSCC에서 발표한 “Computing’s Energy Problem” 자료를 보면, 45nm 기준 32비트 정수 덧셈은 약 0.1pJ 수준의 에너지를 사용합니다. 반면 외부 DRAM 접근은 1,000pJ 단위까지 올라갑니다.

공정이 발전해도 구조는 크게 달라지지 않습니다.

연산보다 데이터를 멀리 옮기는 일이 훨씬 비쌉니다.

Mark Horowitz의 ISSCC 2014 발표 자료와 이후 공정 기준 에너지 비교에서는 FP32 곱셈 연산이 pJ 단위에 머무는 반면, 외부 DRAM 접근은 그보다 훨씬 큰 에너지를 소모하는 것으로 정리됩니다.

단순 비교하면 데이터를 외부 메모리에서 가져오는 비용이 연산보다 수백 배에서 1,000배 가까이 비쌀 수 있다는 뜻입니다.

이 차이가 AI 데이터센터에서는 매우 중요합니다.

수많은 GPU가 24시간 돌아가는 환경에서는 데이터 이동 비용이 곧 전력 비용이고, 냉각 비용이며, 데이터센터 운영 비용입니다.

그래서 AI 반도체는 데이터를 멀리 보내지 않으려 합니다.

GPU와 HBM을 최대한 가깝게 붙이고, 넓은 통로로 연결하려고 합니다.

이것이 HBM과 CoWoS 같은 첨단 패키징이 등장한 이유입니다.

5. HBM이 패키징을 바꿨다

HBM은 High Bandwidth Memory, 즉 고대역폭 메모리입니다.

기존 DDR이나 GDDR처럼 기판 위에 메모리를 옆으로 배치하는 방식으로는 AI GPU가 요구하는 대역폭을 감당하기 어렵습니다.

HBM은 DRAM 다이를 수직으로 쌓고, TSV라는 실리콘 관통 전극으로 위아래를 연결합니다. 이렇게 만든 HBM 스택을 GPU 가까이에 배치하면 매우 넓은 데이터 통로를 만들 수 있습니다.

HBM3 계열은 1024비트 인터페이스를 사용하고, HBM4는 2048비트 인터페이스로 확장됩니다.

PC용 DDR 메모리가 64비트 수준의 버스를 사용하는 것과 비교하면 차이가 매우 큽니다.

하지만 여기서 문제가 생깁니다.

HBM이 아무리 넓은 인터페이스를 갖고 있어도, 그 신호를 GPU와 연결할 패키징 기술이 없으면 의미가 없습니다.

수천 개의 미세 신호를 일반 기판에서 처리하기는 어렵습니다.

그래서 TSMC의 CoWoS 같은 2.5D 패키징이 필요합니다.

실리콘 인터포저 위에 GPU와 HBM을 가깝게 올리고, 미세 배선으로 연결해야 HBM의 대역폭을 실제로 사용할 수 있습니다.

즉 HBM은 혼자 중요한 것이 아닙니다.

HBM의 성능을 현실로 만드는 기술이 패키징입니다.

6. CoWoS 사례

CoWoS는 패키징이 성능을 바꾸는 대표 사례입니다.

NVIDIA H100은 80GB HBM3와 약 3.35TB/s 메모리 대역폭을 제공합니다.

NVIDIA H200은 같은 Hopper 기반이지만 141GB HBM3E와 4.8TB/s 대역폭으로 메모리 구성을 강화했습니다.

여기서 중요한 점은 H100과 H200의 기본 GPU 아키텍처가 크게 달라진 것이 아니라는 점입니다.

H200은 메모리 용량과 대역폭을 크게 늘렸습니다. NVIDIA는 H200이 Llama 2 70B 같은 대형 언어 모델 추론에서 H100 대비 성능을 크게 개선한다고 설명합니다.

즉 같은 계열 GPU라도 패키징 안에서 어떤 HBM을 얼마나 연결하느냐에 따라 실제 AI 성능이 달라집니다.

Blackwell B200에서는 이 흐름이 더 강해집니다.

B200은 듀얼 다이 구조를 사용하고, 192GB HBM3E와 8TB/s 대역폭을 제공합니다. 두 개의 거대한 연산 다이를 하나의 GPU처럼 동작시키고, 여기에 HBM을 붙이려면 기존보다 더 복잡한 패키징이 필요합니다.

이 과정에서 CoWoS-L 같은 로컬 실리콘 인터커넥트 기반 구조가 중요해집니다.

결국 CoWoS는 단순히 칩을 포장하는 기술이 아닙니다.

엔비디아 GPU가 실제 AI 데이터센터에서 성능을 내게 만드는 핵심 인프라입니다.

7. AMD MI300 사례

AMD MI300X도 패키징이 성능을 결정한 대표 사례입니다.

AMD Instinct MI300X는 여러 개의 칩렛과 HBM을 하나의 패키지에 통합한 구조입니다.

AMD 공식 자료 기준 MI300X는 192GB HBM3 메모리와 약 5.3TB/s 메모리 대역폭을 제공합니다.

이 구조는 단일 거대 칩 하나로 만든 것이 아닙니다.

여러 개의 연산 칩렛과 I/O 다이를 결합하고, HBM을 주변에 배치해 하나의 가속기처럼 동작하게 만든 구조입니다.

TSMC의 SoIC와 CoWoS 같은 3D·2.5D 패키징이 없었다면 이런 형태의 제품은 구현하기 어렵습니다.

MI300X가 보여주는 핵심은 분명합니다.

AI 가속기 경쟁은 이제 칩렛을 얼마나 잘 설계하느냐와 동시에, 그 칩렛들을 얼마나 잘 연결하느냐의 싸움입니다.

AMD는 패키징을 활용해 단일 칩 한계를 우회했고, 더 큰 메모리 풀과 높은 대역폭을 확보했습니다.

이것이 AI 시대 패키징의 방향입니다.

8. Apple M1 Ultra 사례

패키징이 성능을 결정하는 사례는 데이터센터 GPU에만 있는 것이 아닙니다.

애플 M1 Ultra도 좋은 사례입니다.

Apple은 M1 Ultra를 만들 때 M1 Max 두 개를 UltraFusion이라는 패키징 기술로 연결했습니다. Apple 공식 설명에 따르면 UltraFusion은 두 개의 M1 Max 다이를 2.5TB/s 대역폭으로 연결합니다.

이 방식 덕분에 운영체제와 소프트웨어는 M1 Ultra를 사실상 하나의 큰 칩처럼 인식할 수 있었습니다.

만약 애플이 처음부터 거대한 단일 칩을 만들려고 했다면 수율과 비용 부담이 훨씬 커졌을 가능성이 높습니다.

하지만 검증된 M1 Max 다이 두 개를 패키징으로 연결하면서 성능과 생산성을 동시에 확보했습니다.

이 사례는 AI 반도체에도 그대로 적용됩니다.

반도체가 커질수록 단일 칩으로 모든 것을 해결하기 어렵습니다.

그래서 여러 칩을 나누어 만들고, 패키징으로 다시 하나처럼 연결하는 방식이 중요해지고 있습니다.

9. 미래 패키징 기술

앞으로 패키징은 더 중요해질 가능성이 높습니다.

HBM4는 기존 HBM3E보다 더 넓은 2048비트 인터페이스를 사용합니다. 그만큼 GPU와 HBM 사이를 연결해야 하는 신호선도 늘어납니다.

JEDEC의 HBM4 표준 방향은 메모리 대역폭을 더 넓히는 쪽으로 가고 있습니다. 하지만 그 대역폭을 실제로 활용하려면 패키징도 함께 발전해야 합니다.

또 3D 패키징과 하이브리드 본딩도 중요해지고 있습니다.

인텔은 Foveros Direct를 통해 더 촘촘한 다이 간 연결을 추진하고 있고, TSMC는 SoIC와 CoWoS를 결합하는 3DFabric 생태계를 확대하고 있습니다.

더 나아가 Co-Packaged Optics 같은 광인터커넥트 기술도 주목받고 있습니다.

AI 데이터센터에서는 GPU 내부뿐 아니라 GPU와 GPU, 서버와 서버 사이의 데이터 이동도 병목이 됩니다. 구리 배선만으로는 전력과 발열 문제가 커지기 때문에, 장기적으로는 광통신을 패키지 가까이 끌어오는 방향이 논의되고 있습니다.

즉 미래 반도체의 경쟁은 단순히 더 미세한 공정만의 싸움이 아닙니다.

누가 칩을 더 잘 쌓고, 더 가까이 붙이고, 더 빠르게 연결하느냐의 싸움입니다.

10. 투자자가 알아야 할 핵심

투자 관점에서 패키징은 이제 단순 후공정이 아닙니다.

AI 반도체 밸류체인의 핵심 병목입니다.

고성능 GPU를 설계해도 HBM이 없으면 제품이 나오지 않습니다.

HBM이 있어도 CoWoS 같은 패키징 용량이 부족하면 제품 출하가 막힙니다.

패키징이 막히면 AI 서버 공급이 막히고, AI 데이터센터 확장도 느려집니다.

Fortune Business Insights는 첨단 패키징 시장이 2025년 약 451억 달러에서 2034년 약 943억 달러 규모로 성장할 수 있다고 봅니다. Yole Group은 고밀도 2.5D와 3D 첨단 패키징이 전체 패키징 시장보다 더 빠르게 성장할 것으로 전망합니다.

이 숫자들이 말하는 방향은 분명합니다.

반도체 산업의 부가가치가 전공정만이 아니라 첨단 패키징으로 이동하고 있습니다.

TSMC는 CoWoS와 SoIC를 중심으로 전공정과 후공정을 함께 묶고 있습니다. 인텔은 Foveros로 반격을 준비하고 있습니다. 삼성전자도 I-Cube, X-Cube, SAINT 같은 패키징 기술을 강화하고 있습니다.

하지만 현재 AI GPU 공급망에서 가장 강한 위치를 가진 곳은 TSMC입니다.

엔비디아, AMD, 애플 같은 고객들이 TSMC 선단 공정과 첨단 패키징을 함께 사용하고 있기 때문입니다.

결국 AI 반도체 투자를 볼 때는 GPU만 보면 부족합니다.

GPU.

HBM.

CoWoS.

SoIC.

ABF 기판.

냉각.

전력.

이 모든 요소가 하나의 시스템으로 연결되어야 합니다.

결론

과거에는 CPU, GPU, 메모리 같은 개별 부품의 성능이 시스템의 가치를 결정했습니다.

하지만 AI 시대에는 단품 성능만으로는 부족합니다.

GPU가 아무리 빨라도 데이터를 가져오지 못하면 기다립니다. HBM이 아무리 빨라도 GPU와 제대로 연결되지 않으면 대역폭을 쓸 수 없습니다. 여러 칩렛을 잘 만들어도 패키징으로 하나처럼 묶지 못하면 실제 제품이 되기 어렵습니다.

그래서 패키징은 단순한 포장 기술이 아닙니다.

AI 반도체의 성능, 전력 효율, 생산량을 결정하는 핵심 기술입니다.

HDMI 케이블 하나로 화면과 소리가 동시에 전달되면서 PC방 관리가 훨씬 쉬워졌던 것처럼, AI 반도체에서도 연결 방식이 시스템 전체의 경험과 성능을 바꾸고 있습니다.

좋은 GPU를 만드는 것만큼 중요한 것은 그 GPU가 HBM과 얼마나 빠르게 연결되는가입니다.

좋은 칩렛을 만드는 것만큼 중요한 것은 그 칩렛들이 하나의 칩처럼 동작하도록 묶는 것입니다.

결국 AI 시대의 반도체 경쟁은 더 이상 칩 하나의 싸움이 아닙니다.

AI 반도체의 진짜 경쟁력은 좋은 칩을 만드는 능력과 그 칩들을 가장 빠르고 효율적으로 연결하는 패키징 능력의 결합에서 나옵니다.

AI 반도체 관련 글 이어보기 

[이전글 보기] : AI 시대에 TSMC가 더 강해지는 이유

https://www.hanvelog.com/2026/06/why-tsmc-is-winning-the-ai-era.html

[다음글 보기] : 3nm와 5nm 공정 차이, AI 시대에는 왜 나노 숫자가 더 중요해졌을까

https://www.hanvelog.com/2026/06/3nm-vs-5nm-semiconductor-process.html

#AI반도체 #반도체패키징 #첨단패키징 #CoWoS #TSMC #HBM #HBM4 #엔비디아 #NVIDIA #AMD #MI300X #Blackwell #MemoryWall #AI인프라 #반도체투자 #데이터센터 #반도체공급망 #칩렛 #SoIC #반도체기술