AI ASIC과 TPU의 등장, 빅테크는 왜 자체 AI 칩을 만들까. By하은아빠

 저는 아직도 2021년 2월 그래픽카드 시장을 기억합니다.

당시 저는 GTX 1060 6GB를 사용하고 있었고, RTX 3000 시리즈가 출시되면서 업그레이드를 고민하고 있었습니다.

원래는 RTX 3060 Ti를 구매할 생각이었습니다. 당시 기준으로 성능도 훌륭했고, 메인스트림 게이밍 그래픽카드로 평가받고 있었습니다.

그런데 막상 구매하려고 보니 상황이 완전히 달랐습니다.

비트코인과 이더리움을 비롯한 가상자산 가격이 크게 오르면서 채굴 수요가 폭발했고, 시장에서 그래픽카드 매물이 사실상 사라져 버렸습니다.

특히 2021년 2월 무렵에는 RTX 3060 Ti 가격이 80만원을 넘어가는 경우도 흔하게 볼 수 있었습니다.

저는 그때 생각했습니다.

60 Ti를 80만원 넘게 주고 살 바에는 차라리 라데온으로 가자.

결국 그 일을 계기로 처음 AMD 그래픽카드를 사용하게 됐습니다.

당시 엔비디아도 이 문제를 알고 있었습니다. 게이머들은 게임을 하기 위해 GPU를 원했고, 채굴업자들은 코인을 채굴하기 위해 GPU를 사들이고 있었습니다.

하나의 범용 GPU가 전혀 다른 두 시장의 수요를 동시에 감당해야 하는 상황이 된 것입니다.

그래서 엔비디아는 2021년 CMP, 즉 Cryptocurrency Mining Processor라는 전용 채굴용 프로세서를 별도로 출시하겠다고 발표했습니다.

게임은 게임용 GPU로.

채굴은 채굴 전용 칩으로.

용도에 맞게 역할을 분리하려 했던 것입니다.

당시에는 단순히 그래픽카드 품귀 현상을 해결하기 위한 시도 정도로 생각했습니다.

그런데 지금 AI 산업을 보면 비슷한 장면이 다시 반복되고 있습니다.

GPU는 AI 산업을 만든 핵심 반도체입니다. 하지만 AI 산업 규모가 커질수록 모든 작업을 GPU만으로 처리하기에는 비용도 비싸고, 전력도 많이 필요합니다.

그래서 빅테크 기업들은 또 다른 선택을 하기 시작했습니다.

GPU가 아닌 특정 AI 작업만 수행하는 전용 칩.

바로 AI ASIC과 TPU입니다.

1. ASIC은 특정 작업만 잘하도록 만든 전용 칩입니다

ASIC은 Application-Specific Integrated Circuit의 약자입니다.

말 그대로 특정 용도에 맞춰 설계된 주문형 반도체입니다.

GPU가 여러 일을 할 수 있는 범용 병렬 연산 장치라면, ASIC은 특정 작업 하나에 맞춰 회로를 처음부터 설계한 전용 장치에 가깝습니다.

비유하면 GPU는 맥가이버 칼입니다.

칼도 있고, 가위도 있고, 드라이버도 있고, 병따개도 있습니다. 여러 상황에 대응할 수 있습니다. 대신 특정 작업 하나만 놓고 보면 전용 공구보다 비효율적일 수 있습니다.

ASIC은 전용 공구입니다.

나사를 조일 때는 전동 드라이버가 맥가이버 칼보다 훨씬 빠르고 편합니다. 비트코인 채굴 시장에서도 결국 GPU보다 채굴 전용 ASIC이 더 효율적인 이유가 여기에 있습니다.

AI에서도 같은 일이 벌어지고 있습니다.

AI 학습과 추론에는 행렬 곱셈, 텐서 연산, 추천 모델 계산, 토큰 생성 같은 반복적이고 규칙적인 작업이 많습니다. 이런 작업이 충분히 커지고 반복되면, 범용 GPU보다 특정 작업에 맞춘 전용 칩이 더 효율적일 수 있습니다.

GPU는 유연하지만 비쌉니다.

ASIC은 유연성은 낮지만 특정 작업에서는 더 효율적입니다.

AI 산업이 커질수록 이 차이가 중요해지고 있습니다.

2.구글 TPU는 AI 전용 칩의 대표 사례입니다

AI ASIC을 이야기할 때 가장 먼저 봐야 하는 사례는 구글 TPU입니다.

TPU는 Tensor Processing Unit의 약자입니다.

구글이 자체적으로 만든 AI 전용 반도체입니다. 구글은 검색, 유튜브, 광고, 번역, 음성 인식 등 수많은 서비스에서 머신러닝을 사용합니다. 이런 작업을 모두 범용 CPU나 GPU로 처리하면 비용과 전력 부담이 커질 수밖에 없습니다.

그래서 구글은 자체 AI 칩을 만들었습니다.

Google의 TPU v1 논문에서는 TPU가 2015년부터 데이터센터에 배치됐고, 신경망 추론을 가속하기 위해 설계됐다고 설명합니다. TPU v1은 65,536개의 8비트 MAC 연산 유닛을 가진 매트릭스 곱셈 유닛을 중심으로 설계됐고, 최대 92 TOPS의 처리량을 제공했습니다.

중요한 것은 성능 숫자만이 아닙니다.

TPU는 처음부터 구글 내부의 AI 서비스에 맞춰 설계된 칩입니다.

범용 GPU처럼 여러 용도를 모두 감당하려 한 것이 아니라, 구글이 반복적으로 처리해야 하는 머신러닝 작업을 효율적으로 처리하기 위해 만들어졌습니다.

이후 TPU는 계속 발전했습니다.

Google은 2024년 6세대 TPU인 Trillium을 발표하면서 TPU v5e 대비 피크 컴퓨팅 성능이 4.7배 높고, 에너지 효율이 67% 개선됐다고 설명했습니다.

이 수치는 빅테크가 자체 칩을 만드는 이유를 잘 보여줍니다.

AI 서비스가 커질수록 중요한 것은 단순 최고 성능만이 아닙니다.

같은 전력으로 얼마나 많은 AI 연산을 처리할 수 있는가.

같은 비용으로 얼마나 많은 추론을 제공할 수 있는가.

이 질문이 점점 중요해지고 있습니다.

3.빅테크가 자체 AI 칩을 만드는 이유

구글만 자체 칩을 만드는 것이 아닙니다.

아마존은 Trainium을 만들고 있습니다. AWS는 Trainium2 기반 Project Rainier를 통해 대규모 AI 클러스터를 구축했고, Anthropic의 Claude 모델 개발과 운영에 활용한다고 설명했습니다.

마이크로소프트는 Maia 100을 발표했습니다. Microsoft는 Maia 100을 Azure AI 워크로드에 맞춘 자체 AI 가속기로 설명하며, 실리콘, 네트워킹, 냉각, 전력 관리, 소프트웨어를 함께 설계하는 방향을 강조했습니다.

메타도 MTIA를 개발하고 있습니다. Meta의 MTIA는 페이스북과 인스타그램의 추천, 랭킹, 광고 모델 같은 내부 워크로드를 더 효율적으로 처리하기 위한 칩입니다. Meta는 MTIA가 엔비디아 GPU를 대체하기보다 보완하는 역할을 한다고 설명했습니다.

여기서 공통점이 보입니다.

빅테크는 엔비디아 GPU가 싫어서 자체 칩을 만드는 것이 아닙니다.

엔비디아 GPU만으로는 비용, 전력, 공급망, 내부 서비스 최적화 문제를 모두 해결하기 어렵기 때문에 자체 칩을 만드는 것입니다.

AI 모델 학습에는 여전히 GPU가 강합니다.

새로운 모델을 만들고, 실험하고, 구조를 바꾸고, 다양한 프레임워크를 돌리는 작업에는 범용성이 중요합니다. 이 영역에서는 엔비디아 GPU와 CUDA 생태계가 여전히 강력합니다.

하지만 서비스가 안정화되고, 특정 추론 작업이 하루에도 수억 번 반복되면 이야기가 달라집니다.

그때는 범용성이 아니라 효율이 중요합니다.

유튜브 추천.
검색 랭킹.
광고 매칭.
AI 챗봇 추론.
이미지 생성 서비스.
내부 반복 워크로드.

이런 작업은 규모가 커질수록 전용 칩의 경제성이 높아질 수 있습니다.

4. GPU와 ASIC은 경쟁하면서도 공존합니다

여기서 중요한 질문이 나옵니다.

ASIC과 TPU가 GPU를 대체할 수 있을까요?

답은 단순하지 않습니다.

일부 영역에서는 대체할 수 있습니다.

특히 고정된 서비스의 대량 추론에서는 ASIC이 유리할 수 있습니다. 이미 검증된 모델을 반복적으로 돌리는 작업이라면 전용 칩이 비용과 전력 효율에서 강점을 가질 수 있습니다.

하지만 모든 영역에서 GPU를 대체하기는 어렵습니다.

GPU는 범용성이 강합니다. 새로운 모델 구조가 나오고, 학습 방식이 바뀌고, 프레임워크가 바뀌어도 상대적으로 유연하게 대응할 수 있습니다.

특히 생성형 AI는 아직 빠르게 변하고 있습니다.

Transformer 이후에도 MoE, 멀티모달, 에이전트형 AI, 장문맥 모델처럼 구조가 계속 바뀌고 있습니다. 이런 환경에서는 특정 작업에 고정된 ASIC보다 범용 GPU가 더 안전한 선택일 수 있습니다.

그래서 앞으로의 AI 반도체 시장은 단순히 GPU 대 ASIC의 싸움으로 보기 어렵습니다.

더 현실적인 구조는 공존입니다.

새로운 모델 연구와 대규모 학습은 GPU가 담당합니다.

반복적이고 안정화된 대량 추론은 ASIC과 TPU가 일부 담당합니다.

즉 AI 데이터센터는 하나의 칩으로 통일되는 것이 아니라, 워크로드에 따라 GPU와 ASIC을 나누어 쓰는 구조로 갈 가능성이 높습니다.

5.투자 관점에서는 엔비디아만 보는 시각을 넘어서야 합니다

투자 관점에서 보면 이 변화는 중요합니다.

1편과 2편에서 GPU가 AI의 심장이 된 이유를 봤고, 3편에서는 CUDA가 엔비디아의 진입장벽이라는 점을 봤습니다.

그렇다면 결론이 엔비디아 독점으로 끝날까요?

그렇게 단순하지 않습니다.

엔비디아는 여전히 AI 반도체 시장의 핵심 기업입니다. 특히 학습용 GPU와 CUDA 생태계에서는 강력한 위치를 유지하고 있습니다.

하지만 AI 산업 규모가 커질수록 빅테크는 자체 칩을 더 적극적으로 사용할 가능성이 큽니다. 이유는 명확합니다.

GPU는 비쌉니다.
전력도 많이 씁니다.
공급도 제한될 수 있습니다.
모든 내부 워크로드에 GPU가 최적은 아닙니다.

그래서 구글, 아마존, 마이크로소프트, 메타는 자체 AI 칩을 통해 비용을 낮추고, 공급망을 통제하고, 자사 서비스에 맞춘 최적화를 시도하고 있습니다.

이 변화는 엔비디아가 끝난다는 뜻이 아닙니다.

오히려 AI 반도체 밸류체인이 더 넓어진다는 뜻입니다.

GPU.
HBM.
CoWoS.
파운드리.
ASIC 설계.
데이터센터.
전력.
냉각.

AI 반도체 투자는 이제 GPU 하나만 보는 게임이 아닙니다.

누가 어떤 워크로드를 가지고 있는지, 그 워크로드가 GPU에 맞는지 ASIC에 맞는지, 자체 칩을 만들 수 있는 규모가 있는지까지 봐야 합니다.

결론

GPU는 AI 산업을 만들었습니다.

하지만 GPU가 완벽한 것은 아닙니다.

GPU는 범용성이 강하고, 새로운 모델 학습과 연구에 유리합니다. 엔비디아 CUDA 생태계까지 결합되면서 AI 데이터센터의 표준이 되었습니다.

하지만 AI 산업이 커질수록 GPU의 한계도 분명해지고 있습니다.

비용이 높습니다.
전력 소비가 큽니다.
공급망 의존도가 높습니다.
특정 반복 작업에서는 과한 성능과 과한 범용성이 오히려 비효율이 될 수 있습니다.

그래서 AI ASIC과 TPU가 등장했습니다.

구글은 TPU를 통해 내부 AI 서비스와 클라우드 AI 인프라를 최적화하고 있습니다. AWS는 Trainium을 통해 자체 AI 클러스터를 구축하고 있습니다. 마이크로소프트는 Maia를 통해 Azure AI 워크로드를 최적화하려 하고 있습니다. 메타는 MTIA를 통해 추천과 광고 같은 내부 추론 워크로드를 효율화하려 합니다.

이 흐름의 핵심은 하나입니다.

GPU가 AI 산업을 만들었지만, AI 산업이 커질수록 전용 칩의 경제성이 높아지고 있습니다.

그렇다고 ASIC이 GPU를 완전히 대체하는 것은 아닙니다.

AI 반도체의 미래는 GPU 대 ASIC의 단순한 전쟁이 아니라, GPU와 ASIC의 역할 분담에 가깝습니다.

GPU는 새로운 모델을 만들고 학습시키는 중심축이 됩니다.

ASIC과 TPU는 반복적이고 대규모로 발생하는 추론과 내부 서비스 최적화에서 점점 더 중요한 역할을 맡게 됩니다.

결국 AI 인프라의 핵심 질문은 이것입니다.

가장 빠른 칩이 무엇인가가 아닙니다.

어떤 작업을 어떤 칩으로 처리할 때 가장 싸고, 빠르고, 안정적인가입니다.

이 질문에 답하기 위해 빅테크는 자체 AI 칩을 만들고 있습니다.

그리고 이 흐름은 앞으로 AI 반도체 밸류체인을 GPU 중심에서 GPU와 ASIC이 공존하는 구조로 바꿔 나갈 가능성이 큽니다.

다음 단계에서는 이 경쟁이 더 선명해집니다.

엔비디아 Blackwell 이후, AMD와 구글 TPU, AWS Trainium, 마이크로소프트 Maia가 어떤 방식으로 AI 칩 경쟁을 이어갈 것인가.

AI 반도체 경쟁은 이제 단일 GPU 성능표를 넘어, 데이터센터 전체를 설계하는 시스템 전쟁으로 이동하고 있습니다.

AI 반도체 관련 글 이어보기 

[이전글 보기] : 엔비디아의 진짜 무기, CUDA를 이해해야 하는 이유.By하은아빠

https://www.hanvelog.com/2026/06/ai-semiconductor-nvidia-cuda-moat.html

[다음글 보기] : Blackwell 이후 AI 반도체 경쟁, GPU에서 데이터센터 전쟁으로.By하은아빠

 https://www.hanvelog.com/2026/06/blackwell-ai-semiconductor-competition.html

#AI #인공지능 #AI반도체 #ASIC #TPU #구글TPU #Trainium #Maia #MTIA #엔비디아 #NVIDIA #데이터센터 #생성형AI #AI인프라 #반도체투자 #AI투자 #하은아빠