Büyük dil modeli çıkarımı
141 GB HBM3e, daha büyük model parçalarının ve KV cache’in GPU belleğinde tutulmasına yardım eder. Sonuç; modele, quantization yöntemine, context uzunluğuna ve eş zamanlı kullanıcı sayısına göre değişir.
Hopper · 141 GB HBM3e · AI & HPC
NVIDIA H200, 141 GB HBM3e belleği ve 4,8 TB/sn bant genişliğiyle üretken AI, büyük dil modeli çıkarımı ve HPC iş yükleri için tasarlanmış veri merkezi GPU hızlandırıcısıdır. H200 SXM veya H200 NVL seçimini, tam sunucu mimarisi ve iş yüküyle birlikte boyutlandırın.
İhtiyacınızı seçin
Telefonla görüşün: 0850 304 22 68Stok, fiyat ve teslim süresi; tam GPU varyantı, sistem BOM’u ve tedarik koşullarına göre teklif anında doğrulanır.
Data Center GPU
H200
141 GB
HBM3e GPU belleği
4,8 TB/sn
Bellek bant genişliği
3.958 TFLOPS
FP8 Tensor Core*
SXM / PCIe
H200 ve H200 NVL
* Seyreklik (sparsity) ile üretici tepe değeri. Gerçek performans iş yüküne göre değişir.
Kısa ve net cevap
Google’da sıkça “H200 ekran kartı” diye aransa da H200, monitöre görüntü vermek veya oyun oynamak için üretilmiş bir masaüstü kartı değildir. NVIDIA Hopper mimarisini kullanan, AI ve yüksek başarımlı hesaplama için sunucu içine yerleştirilen kurumsal bir GPU hızlandırıcısıdır.
H200’ün belirleyici farkı yalnız işlem gücü değil, GPU başına 141 GB HBM3e bellek ve 4,8 TB/sn bellek bant genişliğidir. Büyük model ağırlıkları, uzun context, KV cache ve bellek yoğun HPC veri setlerinde daha fazla verinin hızlandırıcıya yakın tutulabilmesi hedeflenir.
Resmî teknik veriler
H200 SXM ile PCIe tabanlı H200 NVL aynı bellek kapasitesini taşır; hesaplama, güç, yerleşim ve platform yaklaşımı farklıdır. Aşağıdaki değerler NVIDIA’nın yayımladığı güncel ürün sayfasına dayanır.
| Özellik | H200 SXM | H200 NVL |
|---|---|---|
| Form faktörü | SXM | PCIe, çift slot, hava soğutmalı |
| GPU belleği | 141 GB HBM3e | 141 GB HBM3e |
| Bellek bant genişliği | 4,8 TB/sn | 4,8 TB/sn |
| FP8 Tensor Core* | 3.958 TFLOPS | 3.341 TFLOPS |
| Azami TDP | 700 W’a kadar, yapılandırılabilir | 600 W’a kadar, yapılandırılabilir |
| GPU bağlantısı | NVLink 900 GB/sn; HGX mimarisi | 2 veya 4 yönlü NVLink köprüsü; GPU başına 900 GB/sn |
| Sunucu yaklaşımı | 4 veya 8 GPU’lu HGX H200 sistemleri | Esnek PCIe tabanlı MGX ve sertifikalı sistemler |
| NVIDIA AI Enterprise | Ek lisans | 5 yıllık abonelik dahil |
TFLOPS değeri seyrekliğe göredir. Üretici, bazı özellikleri ön bilgi olarak işaretleyebilir; sipariş öncesi tam SKU ve sistem üreticisinin destek listesi esas alınır.
Doğru karşılaştırma
H200, Hopper neslini daha büyük ve hızlı HBM3e bellekle ileri taşır. Tepe hesaplama değerlerinin benzer görünmesi normaldir; pratik fark, model veya veri akışı bellek kapasitesi ve bant genişliğine takıldığında oluşur.
NVIDIA’nın belirli testlerinde H200, H100’e kıyasla Llama 2 70B çıkarımında 1,9 kata, GPT-3 175B çıkarımında 1,6 kata kadar hız bildirmiştir. Bunlar evrensel sonuç değil; test koşuluna bağlı üretici ölçümleridir.
| Karşılaştırma | H100 SXM | H200 SXM |
|---|---|---|
| Mimari | Hopper | Hopper |
| SXM GPU belleği | 80 GB HBM3 | 141 GB HBM3e |
| SXM bellek bant genişliği | 3,35 TB/sn | 4,8 TB/sn |
| SXM NVLink | 900 GB/sn | 900 GB/sn |
| SXM azami TDP | 700 W’a kadar | 700 W’a kadar |
| Temel avantaj | Güçlü AI ve HPC hesaplama | Daha büyük model/batch ve daha hızlı bellek akışı |
İş yüküne göre seçim
H200 satın alma kararı, “en güçlü GPU” varsayımıyla değil; ölçülebilir iş yükü ve toplam sistem maliyetiyle verilmelidir.
141 GB HBM3e, daha büyük model parçalarının ve KV cache’in GPU belleğinde tutulmasına yardım eder. Sonuç; modele, quantization yöntemine, context uzunluğuna ve eş zamanlı kullanıcı sayısına göre değişir.
LLM servisleri, embedding, reranking ve retrieval katmanlarının tek sunucu veya kümeye yerleşimi; gecikme, token/saniye ve kapasite hedefleriyle birlikte planlanır.
Bellek bant genişliğine duyarlı simülasyon, genomik, mühendislik ve veri analitiği işlerinde GPU, CPU, ağ ve depolama hattının tamamı ölçülmelidir.
MIG, confidential computing ve NVIDIA AI Enterprise seçenekleri; ekip paylaşımı, iş yükü izolasyonu, güvenlik ve üretim desteği için değerlendirilir.
GPU’dan fazlası
Yüksek maliyetli bir GPU’nun beklemesini önlemek için sistemin tamamı veri girişinden ağ topolojisine kadar dengelenir.
Yoğun çoklu GPU iletişimi için HGX/SXM; mevcut hava soğutmalı kurumsal rack tasarımına daha esnek yerleşim için PCIe tabanlı H200 NVL değerlendirilebilir. Seçim sunucu QVL’i ve gerçek iş yüküyle doğrulanır.
Yalnız GPU TDP değerini toplamak yeterli değildir. CPU, bellek, NVMe, NIC, fanlar ve güç kaynağı yedekliliği dahil rack başına sürekli ve tepe tüketim hesaplanmalıdır.
Hava akışı, giriş sıcaklığı, rack derinliği, ağırlık, servis boşluğu ve tesisin ısı uzaklaştırma kapasitesi siparişten önce kontrol edilmelidir.
GPU içi bağlantı ile sunucular arası ağ aynı şey değildir. Çok düğümlü eğitimde InfiniBand veya yüksek hızlı Ethernet topolojisi, NIC/GPU yakınlığı ve switch kapasitesi ayrıca boyutlandırılır.
Veri hazırlama, decoding, cache ve checkpoint akışı yavaşsa H200 bekler. CPU çekirdeği, sistem belleği, yerel NVMe ve paylaşımlı depolama GPU’yu besleyecek hızda tasarlanmalıdır.
CUDA, sürücü, framework, container, işletim sistemi, orchestration ve lisans sürümleri tam sunucu modeliyle birlikte doğrulanır; teklif yalnız donanım listesi olarak bırakılmaz.
Doğru ve karşılaştırılabilir BOM
“Bir adet H200 fiyatı” ile “çalışmaya hazır H200 sunucu fiyatı” aynı şey değildir. GPU’nun yanında platform, işlemci, sistem belleği, depolama, ağ, güç, yazılım, garanti ve kurulum kapsamını ayrı kalemlerle görmek gerekir.
İhtiyacınızı seçin
Telefonla görüşün: 0850 304 22 68Sık sorulan sorular
NVIDIA H200, oyun veya masaüstü görüntü çıkışı için tasarlanmış klasik bir ekran kartı değil; Hopper mimarili, üretken AI, büyük dil modeli çıkarımı ve HPC için geliştirilmiş veri merkezi GPU hızlandırıcısıdır. Kullanıcılar ürünü “H200 ekran kartı” diye aradığı için bu ifade yaygındır.
H200 fiyatı; SXM veya H200 NVL seçimi, GPU adedi, sunucu platformu, CPU, RAM, NVMe, ağ, güç, yazılım, garanti, kur ve tedarik koşullarına göre değişir. Bu nedenle doğrulanmış tam sistem BOM’u olmadan sabit fiyat vermek yanıltıcıdır.
NVIDIA’nın yayımladığı teknik özelliklere göre hem H200 SXM hem H200 NVL, GPU başına 141 GB HBM3e belleğe ve 4,8 TB/sn bellek bant genişliğine sahiptir.
H200’ün başlıca farkı daha büyük ve hızlı bellektir. H100 SXM 80 GB HBM3 ve 3,35 TB/sn bant genişliği sunarken H200 SXM 141 GB HBM3e ve 4,8 TB/sn sunar. Kazanç, özellikle belleğe duyarlı LLM çıkarımı ve HPC işlerinde belirginleşebilir.
H200, GeForce sınıfı bir oyun kartı değildir. Veri merkezi sunucuları, AI ve HPC yazılım yığınları için tasarlanır; görüntü çıkışı, kasa uyumu, güç, soğutma ve maliyet açısından oyun bilgisayarı için uygun bir tercih değildir.
Evet. NVIDIA H200 NVL, çift slotlu ve hava soğutmalı PCIe formunda sunulur. Standart bir masaüstü PCIe kartı gibi değerlendirilmemeli; desteklenen kurumsal sunucu, güç, hava akışı ve NVLink köprüsü seçenekleriyle doğrulanmalıdır.
Modelin belleğe sığması tek başına yeterli değildir. Batch, context, eş zamanlılık, hedef süre, paralelleştirme verimi ve büyüme planı ölçülerek 1, 2, 4 veya 8 GPU kararı verilir. En sağlıklı yol pilot test veya güvenilir benchmark verisidir.
İş yükü, model boyutu, eğitim veya çıkarım hedefi, GPU adedi, sistem RAM’i, NVMe, ağ, rack/güç/soğutma koşulları, teslim lokasyonu ve destek beklentisi paylaşılmalıdır. Bu bilgiler H200 GPU ile tam sunucu maliyetinin doğru ayrılmasını sağlar.
Teknik değerler satış sayfalarından değil, üreticinin güncel ürün sayfalarından kontrol edilmiştir.
AI altyapınızı tek BOM’da netleştirin
İş yükünüzü paylaşın; SXM/NVL seçimi, GPU adedi, sistem bileşenleri ve proje kapsamı için karşılaştırılabilir teklif hazırlayalım.
İhtiyacınızı seçin
Telefonla görüşün: 0850 304 22 68NVIDIA, Hopper, NVLink, HGX, MGX ve NVIDIA AI Enterprise, NVIDIA Corporation’ın ticari markaları veya ürün adlarıdır. Yitser, teknik seçim ve tedarik kapsamını proje bazında doğrular. Sayfadaki performans değerleri üretici test koşullarına bağlıdır ve gerçek iş yükünde farklılık gösterebilir.