구글 TPU vs 엔비디아 GPU｜Gemini 3이 보여준 AI 반도체 경쟁과 HBM 영향
Google은 2025년 11월 Gemini 3를 공개했고, Gemini 3 Pro의 공식 모델카드에는 이 모델이 Google의 Tensor Processing Unit(TPU)을 이용해 훈련됐다고 명시돼 있습니다. 그러나 이것을 곧바로 ‘엔비디아의 시대가 끝났다’고 해석하면 시장의 실제 모습을 놓치게 됩니다. 2026년 AI 인프라는 NVIDIA GPU와 Google TPU 같은 자체 ASIC이 동시에 확대되는 구조이며, 두 진영 모두 대규모 HBM을 필요로 하고 있습니다. 이 글에서는 TPU와 GPU의 차이, Google의 전략, NVIDIA에 미치는 영향, 그리고 삼성전자·SK하이닉스 HBM에 어떤 의미가 있는지 정리합니다.
목차
Gemini 3는 정말 Google TPU로 훈련됐을까?
네. Google DeepMind가 공개한 Gemini 3 Pro 공식 모델카드에는 훈련 하드웨어가 Google의 Tensor Processing Unit, 즉 TPU라고 명시돼 있습니다.
훈련 소프트웨어로는 Google의 JAX와 ML Pathways가 사용됐습니다.
정확한 표현: “Gemini 3 Pro가 TPU를 이용해 훈련됐다”는 것은 공식 자료로 확인됩니다. 다만 이를 “Google의 모든 AI가 NVIDIA GPU를 전혀 사용하지 않는다”는 의미로 확대해서는 안 됩니다.
Google은 Gemini 1.0 때부터 TPU v4와 v5e를 이용한 대규모 훈련 사실을 공개해왔습니다. Gemini 3는 갑자기 등장한 일회성 실험이 아니라 Google이 10년 이상 추진해온 자체 AI 가속기 전략의 연장선입니다.
또 ‘Gemini 3가 ChatGPT를 완전히 뛰어넘었다’고 하나의 문장으로 정리하기도 어렵습니다. AI 모델 성능은 코딩·추론·멀티모달·에이전트·비용·지연시간 등 평가 항목에 따라 결과가 달라지기 때문입니다.
GPU와 TPU의 핵심 차이｜범용 병렬처리 vs AI 특화 설계
GPU와 TPU는 모두 대규모 병렬연산을 처리할 수 있지만 설계 목표에는 차이가 있습니다.
| 구분 | GPU | TPU |
|---|---|---|
| 대표 업체 | NVIDIA·AMD 등 | |
| 설계 성격 | 범용 병렬처리 가속기 | AI·머신러닝 연산에 특화된 ASIC |
| 주요 활용 | AI·HPC·그래픽·과학계산 등 | AI 학습·추론·대규모 모델 서비스 |
| 생태계 | CUDA를 중심으로 매우 광범위 | JAX·PyTorch 등 지원 확대 |
| 강점 | 범용성·소프트웨어 생태계·공급시장 | Google AI 스택과 공동 최적화 |
TPU는 ASIC(Application-Specific Integrated Circuit), 즉 특정 목적에 맞춰 설계된 주문형 반도체입니다.
최근 TPU는 단순 행렬곱 장치가 아니라 TensorCore·SparseCore·고대역폭 메모리·고속 인터커넥트·네트워크·컴파일러를 하나의 시스템으로 설계하는 방향으로 발전했습니다.
TPU는 항상 GPU보다 싸고 전기를 적게 쓸까?
그렇게 단정할 수는 없습니다.
특정 AI 워크로드에 최적화한 ASIC은 필요하지 않은 범용 기능을 줄이고 연산·메모리·네트워크를 함께 최적화할 수 있기 때문에 높은 성능 대비 전력효율이나 비용효율을 달성할 가능성이 있습니다.
하지만 실제 비용은 칩 자체의 제조비만으로 결정되지 않습니다.
- 실제 AI 모델 구조
- 칩 활용률
- HBM 용량과 대역폭
- 서버·네트워크 구성
- 소프트웨어 최적화 수준
- 전력과 냉각비용
- 클라우드 사용가격
- 개발자 생태계와 이전 비용
따라서 “TPU이기 때문에 무조건 GPU보다 싸다”거나 “ASIC은 언제나 전력을 훨씬 적게 쓴다”고 일반화하는 것은 정확하지 않습니다.
Google Ironwood TPU｜이미 Cloud에서 사용할 수 있습니다
기존 글에는 TPU가 아직 대량생산이나 실제 서비스 단계에 들어가지 않았다는 취지의 설명이 있지만, 2026년 현재는 맞지 않습니다.
Google의 7세대 TPU인 Ironwood(TPU7x)는 2025년부터 Google Cloud 고객에게 제공됐으며, 2026년에는 대규모 모델 학습과 추론용 인프라로 실제 운영되고 있습니다.
| Ironwood 주요 사양 | 수치 |
|---|---|
| 최대 Pod 규모 | 9,216개 TPU |
| 칩당 HBM | 192GiB |
| 칩당 HBM 대역폭 | 약 7.38TB/s |
| BF16 최고 연산 | 칩당 약 2,307TFLOPS |
| FP8 최고 연산 | 칩당 약 4,614TFLOPS |
Ironwood에는 칩당 192GB의 HBM이 들어가며 Google은 HBM 대역폭이 현대 AI 워크로드의 성능에 매우 중요하다고 직접 설명합니다.
따라서 “TPU가 발전하면 HBM이 덜 필요해진다”는 기존 설명과 달리 최신 Google TPU의 실제 설계는 오히려 HBM 용량과 대역폭을 크게 확대하는 방향입니다.
TPU가 엔비디아 GPU를 대체할까?
Google의 자체 TPU 확대는 NVIDIA에게 경쟁 압력이 될 수 있습니다. 특히 Google이 자체 서비스에서 필요한 대규모 AI 연산을 내부 칩으로 처리하면 외부 GPU 의존도를 일부 낮출 수 있기 때문입니다.
하지만 이를 ‘Google의 NVIDIA 독립 선언’ 또는 ‘NVIDIA 제국의 붕괴’라고 표현하는 것은 현재 시장을 지나치게 단순화합니다.
Alphabet은 2026년 1분기 실적 관련 공식 설명에서도 Google의 AI 인프라가 자체 TPU뿐 아니라 최신 NVIDIA GPU를 함께 사용한다고 밝혔습니다.
Google Cloud는 NVIDIA Blackwell·Hopper 계열 인스턴스를 계속 제공하고 있으며 차세대 Vera Rubin 기반 시스템 도입도 추진하고 있습니다. 즉 Google에게 GPU와 TPU는 반드시 둘 중 하나를 선택해야 하는 관계가 아니라 워크로드별로 병행하는 가속기 포트폴리오에 가깝습니다.
NVIDIA의 또 다른 강점은 CUDA를 중심으로 축적된 개발자 생태계입니다. 새로운 ASIC이 연산 효율을 높이더라도 개발도구와 라이브러리, 네트워크, 서버 시스템, 기존 애플리케이션까지 이전하는 비용을 고려해야 합니다.
함께 보면 좋은 글
빅테크는 왜 자체 AI 칩을 만들까?
AI 서비스 규모가 커질수록 반도체 비용과 전력, 서버 공급능력이 회사 전체의 경쟁력에 직접적인 영향을 줍니다.
이 때문에 Google뿐 아니라 여러 클라우드·빅테크 기업이 자체 AI 가속기를 개발하고 있습니다.
자체 AI 칩의 주요 목적
- 자사 모델과 서비스에 맞는 하드웨어 최적화
- 전력당 처리량 개선
- 특정 공급업체 의존도 분산
- 대규모 AI 인프라 비용 통제
- 칩·메모리·네트워크·소프트웨어 공동 설계
- 필요한 서버 물량을 장기적으로 확보
2026년 Google은 여기서 한 단계 더 나아가 8세대 TPU 8t와 TPU 8i까지 공개했습니다.
TPU 8t는 대규모 훈련, TPU 8i는 대규모 추론에 각각 초점을 맞추는 방식으로 칩을 세분화했습니다. 하나의 만능 칩보다 워크로드에 맞는 하드웨어를 따로 설계하는 방향이 더 강해지고 있다는 의미입니다.
TPU 시대가 오면 HBM 수요가 줄어들까?
현재 확인되는 기술 흐름은 오히려 반대에 가깝습니다.
AI 모델이 커지고 추론 과정에서 처리해야 하는 컨텍스트와 KV 캐시가 늘면서 GPU뿐 아니라 맞춤형 ASIC도 더 많은 고대역폭 메모리를 필요로 하고 있습니다.
| Google TPU | 칩당 HBM 용량 | HBM 대역폭 |
|---|---|---|
| TPU v5p | 95GiB | 약 2.77TB/s |
| Trillium v6e | 32GiB | 약 1.64TB/s |
| Ironwood TPU7x | 192GiB | 약 7.38TB/s |
Google은 Ironwood 한 칩에 8개의 HBM3E 스택을 탑재하고 있으며, 전체 Superpod 기준 직접 접근 가능한 HBM 용량은 약 1.77PB에 달합니다.
따라서 AI 가속기가 GPU에서 ASIC으로 다양화되는 것을 ‘HBM 수요 감소’로 연결하기보다는 ‘HBM 고객이 GPU 업체에서 클라우드·자체 ASIC 업체로 확대된다’고 보는 편이 현재 시장 구조에 더 가깝습니다.
Google TPU 확대는 한국 반도체에 위기일까 기회일까?
한국 반도체 산업에는 한 방향의 영향만 있는 것이 아닙니다.
NVIDIA의 AI GPU 판매 증가가 HBM 수요를 크게 키운 것은 사실이지만, 2026년에는 Google·AWS 등 자체 ASIC이 늘면서 HBM 수요처도 함께 다변화되고 있습니다.
SK하이닉스가 보는 2026년
SK하이닉스가 공개한 2026년 시장 전망에서는 글로벌 빅테크의 자체 ASIC용 HBM 수요가 빠르게 증가할 것으로 소개합니다.
해당 전망에 인용된 분석에서는 ASIC 기반 AI 칩용 HBM 수요가 2026년 크게 증가해 HBM 시장의 약 3분의 1까지 차지할 가능성이 제시됐습니다.
SK하이닉스는 Google의 TPU를 자체 HBM의 중요한 고객처 가운데 하나로 보고 있습니다.
삼성전자도 Custom HBM을 준비 중
삼성전자는 HBM4와 HBM4E뿐 아니라 고객의 GPU·ASIC 구조에 맞춰 용량·속도·전력·인터페이스를 조정하는 Custom HBM까지 준비하고 있습니다.
따라서 GPU와 TPU의 경쟁에서 한국 메모리 업체에 중요한 것은 어느 한 가속기가 승리하는가보다 다양한 GPU·ASIC 고객에게 HBM3E·HBM4·Custom HBM을 얼마나 빠르고 안정적으로 공급할 수 있느냐에 가깝습니다.
물론 위험요인도 있습니다
- 고객별 HBM 인증 경쟁이 더 복잡해질 수 있습니다.
- ASIC마다 필요한 HBM 사양이 달라져 맞춤 개발 부담이 커질 수 있습니다.
- 메모리 업체 간 가격·성능 경쟁이 심해질 수 있습니다.
- AI 투자 속도가 둔화되면 GPU·ASIC 구분 없이 HBM 수요에 영향을 줄 수 있습니다.
그러나 “TPU가 성공하면 HBM 가격이 자동으로 내려간다”거나 “TPU에서는 차세대 HBM이 필요 없어질 수 있다”는 식의 단선적인 전망은 현재 실제 제품 사양과 맞지 않습니다.
2026년 이후 AI 반도체 시장은 ‘GPU vs TPU’보다 복잡해집니다
AI 반도체 시장을 단순한 NVIDIA GPU와 Google TPU의 양자 대결로 이해하면 중요한 흐름을 놓치기 쉽습니다.
- NVIDIA: GPU·CPU·네트워크·CUDA를 묶은 통합 AI 플랫폼 확대
- Google: TPU와 자체 네트워크·JAX·Pathways 공동 최적화
- 클라우드 기업: 자체 ASIC과 외부 GPU를 병행
- 메모리 업체: GPU와 ASIC 모두에 HBM 공급
- AI 기업: 성능뿐 아니라 비용·전력·공급 안정성을 함께 고려
핵심 변화는 특정 칩 하나가 모든 AI를 지배하는 시대보다 모델과 서비스에 따라 여러 종류의 가속기를 조합하는 시대가 확대되고 있다는 점입니다.
Google의 TPU 전략은 이 흐름을 가장 오래 준비해 온 사례 중 하나이며, Gemini 3는 자체 모델·소프트웨어·데이터센터·반도체를 함께 개발하는 수직통합 전략의 효과를 보여준 대표 사례로 볼 수 있습니다.
Gemini 3·TPU·NVIDIA·HBM 핵심 정리
- Gemini 3는 2025년 11월 18일 공개됐습니다.
- Google DeepMind 공식 모델카드는 Gemini 3 Pro가 Google TPU로 훈련됐다고 밝히고 있습니다.
- TPU는 AI 연산에 특화된 ASIC이고 GPU는 보다 범용적인 병렬연산 가속기입니다.
- TPU라고 해서 모든 워크로드에서 GPU보다 반드시 싸거나 효율적인 것은 아닙니다.
- Google의 7세대 Ironwood TPU는 이미 Cloud 고객에게 제공되고 있습니다.
- Ironwood는 칩당 192GiB HBM·약 7.38TB/s HBM 대역폭을 사용합니다.
- 따라서 TPU 확대가 HBM 필요성을 낮춘다는 주장은 현재 제품 구조와 맞지 않습니다.
- Google은 자체 TPU를 확대하면서도 NVIDIA GPU를 계속 사용·제공하고 있습니다.
- 2026년에는 GPU와 자체 ASIC이 동시에 성장하는 구조가 더 뚜렷해지고 있습니다.
- SK하이닉스는 Google 등 자체 ASIC용 HBM 수요를 성장시장으로 보고 있습니다.
- 삼성전자 역시 ASIC·GPU 고객에 맞춘 Custom HBM 전략을 준비하고 있습니다.
- 한국 메모리 기업의 핵심 과제는 ‘GPU냐 TPU냐’가 아니라 여러 AI 가속기에 필요한 차세대 HBM을 확보하는 것입니다.
한 줄 정리: Gemini 3와 Google TPU의 성장은 NVIDIA GPU 독점에 경쟁 압력을 주는 중요한 변화지만, NVIDIA의 종말이나 HBM 수요 감소를 뜻하지는 않습니다. 오히려 AI 반도체 시장은 NVIDIA GPU + 빅테크 자체 ASIC + 대용량 HBM이 함께 성장하는 다극화 구조로 이동하고 있습니다.
공식 확인 자료
'IT | AI | 모빌리티' 카테고리의 다른 글
| 윈도우 부팅 오류 해결 방법 | BIOS 무한 반복 Windows Boot Manager 복구 (0) | 2025.12.15 |
|---|---|
| 유튜브 세금 폭탄 피하기: 애드센스 원천징수 24% 면제와 신고 방법 총정리 (1) | 2025.12.12 |
| Edge 브라우저 ZUM 페이지, 설정에서 지워도 계속 뜨는 끈질긴 이유와 해결법 (0) | 2025.11.25 |
| 내 블로그 글, 왜 구글 검색에 안 나올까?(전문가가 밝히는 5가지 핵심 원인과 해결책) (0) | 2025.11.22 |
| AI 에이전트 시대: 챗GPT를 넘어선 새로운 혁명 (0) | 2025.11.09 |
