AI 데이터센터 구조 완전 정리, 서버·GPU·전력·냉각은 어떻게 연결될까?

아이가 태어나면서 사진과 동영상을 찍는 일이 정말 많아졌습니다.

예전에는 휴대폰 128GB면 충분했습니다. 원래 사진을 자주 찍는 편도 아니었고, 영상은 더더욱 찍지 않았기 때문입니다. 하지만 하은이가 태어난 뒤에는 작은 표정 하나도 남겨두고 싶었고, 뒤집기나 옹알이처럼 처음 보는 순간은 자연스럽게 영상으로 찍게 됐습니다.

지금은 일부 사진과 영상을 iCloud에 저장하고, 용량이 큰 파일은 컴퓨터 SSD로 옮겨두고 있습니다. 여기에 육아 블로그와 네이버 클립, 유튜브 쇼츠까지 함께 운영하다 보니 이 방식도 한계가 느껴졌습니다. 그래서 최근에는 집에 NAS를 구축하는 것도 진지하게 고민하고 있습니다.

저는 데이터센터도 처음에는 엄청나게 큰 NAS 같은 것이라고 생각했습니다.

저장장치를 수백 개, 수천 개 연결해 인터넷 서비스에 필요한 데이터를 보관하는 시설 정도로 이해했던 것입니다.

하지만 AI 인프라를 공부하면서 생각이 완전히 바뀌었습니다.

AI 데이터센터는 저장장치를 크게 묶어놓은 창고가 아니라, GPU·서버·네트워크·전력·냉각이 하나로 연결되어 거대한 컴퓨터처럼 움직이는 물리적 시스템이었습니다.

오늘은 AI 데이터센터 안에 어떤 장비가 들어가고, 각각의 장비가 어떻게 연결되어 하나의 AI 팩토리를 완성하는지 전체 구조를 정리해보겠습니다.

1. AI 데이터센터는 세 가지 흐름으로 움직입니다

AI 데이터센터의 구조는 복잡해 보이지만 크게 보면 세 가지 흐름으로 나눌 수 있습니다.

첫 번째는 전력의 흐름, 두 번째는 데이터의 흐름, 세 번째는 열의 흐름입니다.

외부 전력망에서 들어온 전기는 데이터센터 변전소와 변압기, UPS, PDU를 거쳐 서버 랙으로 전달됩니다. 서버가 연산을 시작하면 스토리지에 저장된 데이터가 네트워크를 통해 AI 서버로 이동하고, CPU와 GPU가 이를 처리합니다.

이 과정에서 사용된 전력은 대부분 열로 바뀝니다. GPU 표면에서 발생한 열은 콜드 플레이트와 냉각수를 통해 CDU로 이동하고, 마지막에는 건물 외부의 칠러나 냉각탑을 통해 방출됩니다.

정리하면 다음과 같습니다.

전력망 → 변압기 → UPS → PDU → 랙 → AI 서버 → GPU 연산

스토리지 → 네트워크 스위치 → NIC → CPU → GPU·HBM

GPU 발열 → 콜드 플레이트 → 냉각수 → CDU → 외부 냉각 설비

세 흐름 중 어느 하나라도 막히면 AI 데이터센터는 제 성능을 낼 수 없습니다.

GPU가 아무리 빨라도 데이터가 늦게 들어오면 기다려야 하고, 전력이 흔들리면 시스템이 멈춥니다. 냉각이 부족하면 GPU 온도가 올라가면서 성능을 강제로 낮추는 써멀 스로틀링이 발생합니다.

AI 데이터센터는 단순한 서버의 집합체가 아니라, 전력·데이터·열을 동시에 제어하는 거대한 기계 장치입니다.

2. AI 서버는 실제 연산을 담당합니다

AI 데이터센터의 가장 기본적인 연산 단위는 AI 서버입니다.

일반 서버가 CPU를 중심으로 구성된다면, AI 서버는 여러 개의 GPU를 중심으로 설계됩니다. GPU는 대규모 행렬 연산을 동시에 처리하는 데 특화되어 있어 AI 모델 학습과 추론에 적합합니다.

하지만 GPU만 있다고 AI 서버가 완성되는 것은 아닙니다.

CPU는 운영체제를 구동하고 스토리지에서 데이터를 불러와 GPU에 전달하는 역할을 합니다. DDR 메모리는 CPU가 사용하는 작업 공간이고, HBM은 GPU 바로 옆에서 대량의 데이터를 빠르게 공급합니다.

네트워크 카드인 NIC도 중요합니다. 대규모 AI 학습에서는 한 대의 서버만 사용하는 것이 아니라 수백 대, 수천 대의 서버가 계산 결과를 계속 주고받습니다. 이때 CPU를 거치지 않고 서버 메모리 사이에 데이터를 직접 전달하는 RDMA 기술이 사용됩니다.

스토리지는 학습용 데이터셋을 공급하고, 연산 도중 만들어지는 체크포인트를 저장합니다. 체크포인트는 학습 중간 결과를 기록해두는 파일로, 장애가 발생했을 때 처음부터 다시 학습하는 일을 막아줍니다.

이 장비들이 하나의 섀시에 들어가면서 AI 서버 한 대의 전력 소모는 크게 증가합니다. 고성능 AI 서버는 노드당 약 5~10kW의 전력을 사용할 수 있으며, 일반적인 범용 서버보다 훨씬 두껍고 무겁습니다.

AI 서버는 GPU를 꽂아놓은 컴퓨터가 아니라, 연산·메모리·통신·저장을 하나의 시스템 안에 압축한 고밀도 장비입니다.

3. 랙은 더 이상 단순한 철제 선반이 아닙니다

랙은 서버를 수직으로 쌓아 올리는 표준 프레임입니다.

일반적인 데이터센터 랙은 42U 또는 48U 높이를 사용하며, 1U는 약 4.445cm입니다. 과거에는 랙이 서버와 스위치를 고정하는 철제 선반에 가까웠습니다.

하지만 AI 데이터센터에서는 랙 자체가 전력과 냉각을 담당하는 핵심 설비로 바뀌었습니다.

Uptime Institute의 데이터센터 조사에서는 과거 랙당 전력 밀도가 약 4~5kW 수준이었지만, 최근 일반 시설의 평균도 두 자릿수까지 올라가는 흐름이 나타납니다. AI 랙은 최소 30kW 이상을 요구하고, 최신 랙 스케일 시스템은 100kW를 넘습니다.

NVIDIA의 GB200 NVL72는 단일 랙에서 약 132kW를 사용하는 구조로 알려져 있습니다. 이 정도 전력을 기존 콘센트와 얇은 전선으로 공급할 수는 없습니다.

그래서 AI 랙에는 대형 버스바와 고용량 PDU가 들어갑니다. 냉각수를 각 서버에 나눠주는 매니폴드도 랙 내부에 설치됩니다. 서버를 교체할 때 냉각수가 새지 않도록 퀵 디스커넥트 커넥터도 필요합니다.

결국 랙은 서버를 담는 상자가 아니라 전력과 냉각, 네트워크를 서버에 분배하는 기계적 플랫폼이 됩니다.

앞으로 랙 밀도가 계속 올라갈수록 데이터센터는 랙을 얼마나 많이 배치하느냐보다, 한 랙을 얼마나 안정적으로 고밀도화하느냐가 더 중요해질 가능성이 큽니다.

4. 네트워크는 수천 개의 GPU를 하나로 묶습니다

AI 데이터센터에서 네트워크는 단순한 인터넷 연결 장비가 아닙니다.

대규모 AI 모델은 여러 GPU에 나눠서 계산합니다. 각 GPU가 맡은 연산을 끝내면 결과를 다른 GPU와 공유하고 다시 계산을 이어갑니다. 이 과정이 반복되기 때문에 네트워크 속도가 조금만 느려져도 전체 시스템이 기다리게 됩니다.

AI 네트워크는 크게 스케일업과 스케일아웃으로 나뉩니다.

스케일업은 하나의 서버나 가까운 랙 안에서 GPU를 초고속으로 연결하는 방식입니다. NVIDIA의 NVLink와 개방형 규격인 UALink가 여기에 해당합니다.

스케일아웃은 여러 서버와 여러 랙을 더 넓게 연결해 하나의 거대한 클러스터를 만드는 방식입니다. 이 영역에서는 InfiniBand와 Ethernet이 경쟁합니다.

초기 AI 클러스터에서는 InfiniBand가 높은 점유율을 차지했습니다. 낮은 지연시간과 안정적인 무손실 전송이 강점이었기 때문입니다.

최근에는 Ethernet의 비중도 빠르게 커지고 있습니다. Dell’Oro Group은 RoCE, PFC, ECN 같은 무손실 제어 기술과 AI 전용 스위치의 발전으로 Ethernet이 AI 백엔드 시장에서 영향력을 확대하고 있다고 분석합니다.

네트워크 스위치는 데이터의 교통정리를 담당합니다. AI 데이터센터에서는 서버를 스파인과 리프 스위치로 연결해 특정 구간에 트래픽이 몰리지 않도록 설계합니다.

2025년에는 800Gbps 포트가 확산되고 있으며, 이후에는 1.6Tbps와 3.2Tbps 포트로 발전할 가능성이 큽니다.

AI 데이터센터의 네트워크는 서버를 인터넷에 연결하는 통로가 아니라, 수천 개의 GPU를 하나의 거대한 GPU처럼 움직이게 만드는 신경망입니다.

5. 전력 시스템은 GPU까지 전기를 안정적으로 전달합니다

AI 데이터센터의 작동 원리는 전기를 연산으로 바꾸는 과정이라고 볼 수 있습니다.

외부 전력망에서 들어온 고압 전기는 데이터센터 변전소에서 감압됩니다. 이후 변압기와 스위치기어를 거쳐 UPS로 이동하고, PDU와 랙 버스바를 통해 각 서버의 전원공급장치로 전달됩니다.

구조를 간단하게 정리하면 다음과 같습니다.

전력망 → 변전소 → 변압기 → UPS → PDU → 버스바 → PSU → GPU

AI 데이터센터의 전력 시스템이 어려운 이유는 단순히 소비량이 많아서만은 아닙니다.

GPU 수천 개가 동시에 연산을 시작하거나 멈추면 데이터센터 전체 전력 부하가 짧은 시간 안에 크게 바뀝니다. 이를 Step Load라고 합니다. 변압기와 UPS가 이런 변화를 버티지 못하면 전압이 떨어지거나 차단기가 작동할 수 있습니다.

Schneider Electric은 100kW급 AI 랙을 기존 120/208V 배전 방식으로 운영하면 케이블이 지나치게 두꺼워지고 배선 공간도 부족해진다고 설명합니다. 그래서 최신 AI 데이터센터는 240/415V처럼 더 높은 전압을 사용해 전력 손실과 구리 사용량을 줄이는 방향으로 이동하고 있습니다.

PDU도 단순 멀티탭이 아닙니다. 각 랙의 소비전력을 실시간으로 감시하고, 부하가 몰리지 않도록 제어하는 지능형 전력 장비로 발전하고 있습니다.

GPU보다 먼저 확보해야 하는 것이 전력이라는 말이 나오는 이유도 결국 이 전력 공급 구조 때문입니다.

6. 액체냉각은 발생한 열을 외부로 빼냅니다

서버에 공급된 전력은 연산 후 대부분 열로 바뀝니다.

과거 데이터센터는 차가운 공기를 서버 앞으로 불어넣고, 뜨거워진 공기를 뒤로 빼내는 공랭식 냉각을 사용했습니다.

하지만 AI 랙의 전력 밀도가 30~50kW를 넘어가면서 공기만으로 열을 제거하기 어려워졌습니다.

그래서 최근 AI 데이터센터는 Direct-to-Chip 액체냉각을 도입하고 있습니다. GPU와 CPU 표면에 콜드 플레이트를 붙이고, 그 안으로 냉각수를 흘려 열을 직접 빼내는 방식입니다.

냉각수는 CDU로 이동합니다.

Vertiv는 CDU가 건물의 시설용 냉각수와 IT 장비 내부의 정밀 냉각수를 분리하면서 열만 교환하는 핵심 장치라고 설명합니다. 외부 배관의 물이 서버 내부로 직접 들어가지 않기 때문에 오염과 누수 위험을 줄일 수 있습니다.

액체냉각을 사용해도 모든 열을 물로 제거하는 것은 아닙니다. GPU와 CPU처럼 열이 집중되는 부품은 액체로 식히고, 주변 메모리와 전원 부품의 잔열은 공랭이나 후면 도어 열교환기로 처리하는 하이브리드 구조가 일반적입니다.

냉각은 이후 별도 시리즈에서 더 깊게 다룰 예정이지만, 전체 구조에서 기억할 점은 하나입니다.

AI 데이터센터는 전력을 GPU에 넣는 설비와 GPU에서 나온 열을 외부로 빼내는 설비가 하나의 순환 구조로 연결되어 있습니다.

7. 스토리지는 단순히 데이터를 보관하는 공간이 아닙니다

처음에는 데이터센터를 거대한 NAS라고 생각했지만, 저장장치도 AI 데이터센터에서는 훨씬 복잡한 역할을 합니다.

AI 모델을 학습하려면 방대한 데이터셋을 GPU에 계속 공급해야 합니다. 저장장치 속도가 느리면 GPU가 데이터를 기다리게 됩니다.

그래서 AI 데이터센터는 HDD나 일반 SATA SSD보다 고성능 NVMe SSD를 적극적으로 사용합니다. 여러 저장장치는 Lustre, IBM GPFS, WEKA 같은 병렬 파일 시스템으로 묶입니다.

이렇게 하면 수천 대의 서버가 하나의 데이터셋에 동시에 접근할 수 있습니다.

또한 AI 학습은 체크포인트 파일을 주기적으로 저장합니다. 학습이 중단됐을 때 이전 지점부터 다시 시작하려면 이 파일을 빠르게 기록하고 불러와야 합니다.

NVMe over Fabrics는 멀리 떨어진 스토리지도 서버 내부 SSD처럼 짧은 지연시간으로 사용할 수 있도록 돕습니다.

따라서 스토리지는 데이터를 쌓아두는 창고가 아니라, GPU가 쉬지 않도록 데이터를 공급하고 학습 결과를 보호하는 생산설비에 가깝습니다.

8. 서버에서 AI 팩토리까지 계층적으로 연결됩니다

AI 데이터센터는 작은 단위가 계층적으로 연결되는 구조입니다.

가장 작은 단위는 GPU와 HBM입니다.

GPU와 CPU, 네트워크 카드, SSD가 한 섀시에 들어가면 AI 서버가 됩니다.

AI 서버와 스위치, 전력 장치, 냉각 매니폴드를 하나의 프레임에 묶으면 랙이 됩니다.

여러 랙을 고속 네트워크로 연결하면 AI 클러스터가 됩니다.

여기에 대규모 스토리지와 전력, 냉각, 운영 시스템을 결합하면 하나의 AI 팩토리가 완성됩니다.

그리고 이런 AI 팩토리를 여러 개 수용하며 수백MW 규모의 전력을 공급하는 시설이 하이퍼스케일 AI 데이터센터입니다.

Synergy Research Group은 하이퍼스케일러가 차지하는 글로벌 데이터센터 용량 비중이 2018년 22%에서 2025년 말 48%로 높아졌으며, 2031년에는 67%까지 확대될 수 있다고 전망합니다.

이 변화는 기업 전산실이 단순히 클라우드로 이동하는 수준을 넘어섭니다.

AI 연산은 장비 하나가 아니라 전체 시스템의 성능으로 결정되기 때문에, 막대한 자본과 전력 인프라를 가진 하이퍼스케일러 중심으로 산업이 재편되고 있습니다.

9. 결론: AI 데이터센터는 거대한 NAS가 아니라 하나의 컴퓨터입니다

하은이 사진과 영상을 보관하기 위해 iCloud와 SSD를 사용하고, 이제는 NAS까지 고민하면서 데이터센터도 저장장치를 크게 묶어놓은 시설이라고 생각했습니다.

하지만 실제 AI 데이터센터의 중심은 저장공간이 아니었습니다.

GPU가 연산하고, HBM이 데이터를 공급하며, 네트워크가 수천 개의 GPU를 연결합니다. 전력 시스템은 장비가 멈추지 않도록 안정적으로 전기를 공급하고, 액체냉각 시스템은 발생한 열을 밖으로 내보냅니다. 스토리지는 GPU가 기다리지 않도록 데이터를 끊임없이 전달합니다.

이 모든 장비가 하나의 흐름으로 연결돼야 비로소 AI 데이터센터가 작동합니다.

AI 데이터센터는 단순한 서버 보관 시설이 아니라, 전력·냉각·네트워크·스토리지가 초고밀도로 결합되어 하나의 거대한 컴퓨터처럼 움직이는 AI 팩토리입니다.

그래서 AI 인프라를 볼 때 GPU만 보면 전체 그림을 이해하기 어렵습니다.

AI 반도체는 데이터센터 안에서 작동하고, 데이터센터는 전력과 냉각, 네트워크가 받쳐줘야 완성됩니다.

다음 글에서는 이 구조의 핵심인 AI 클러스터가 무엇인지, 그리고 여러 대의 GPU와 서버를 왜 하나로 묶어야 하는지 정리해보겠습니다.

[AI 데이터센터 관련글 보기] 

[이전글] : AI 데이터센터와 일반 데이터센터의 차이, 왜 AI 시대의 핵심 인프라가 되었을까?

https://www.hanvelog.com/2026/07/ai-data-center-vs-traditional-data-center.html

[다음글] : AI 클러스터란 무엇인가? 수천 개의 GPU가 하나처럼 움직이는 구조

https://www.hanvelog.com/2026/07/what-is-ai-cluster.html

#AI데이터센터 #데이터센터구조 #AI인프라 #AI서버 #GPU서버 #AI클러스터 #AI팩토리 #데이터센터전력 #액체냉각 #데이터센터네트워크 #NVLink #UALink #InfiniBand #Ethernet #데이터센터스토리지