İş yükünü tanımlayın
LLM çıkarımı, eğitim, fine-tuning veya HPC için model boyutu, precision, context, batch, eş zamanlılık ve hedef süreyi yazılı hale getirin.
Hopper · 141 GB HBM3e · 4,8 TB/sn
NVIDIA H200 Teknik Özellikleri: 141 GB HBM3e, SXM ve NVL
NVIDIA H200 teknik özelliklerini yalnız tepe performans tablosu olarak değil; GPU belleği, bağlantı topolojisi, güç, soğutma ve tam sunucu uyumluluğuyla birlikte okuyun. H200 SXM ve H200 NVL değerlerini resmî üretici verileriyle karşılaştırın.
Nasıl çalışır?1 2 3 4 5 6
Temel işleyiş
GPU belleğini hesaplayın
Model ağırlıkları yanında KV cache, optimizer, aktivasyon, framework ve güvenlik payını da hesaba katın; 141 GB değerini tek başına yeterlilik kabul etmeyin.
SXM veya NVL seçin
Yoğun çoklu GPU iletişimi için HGX/SXM; PCIe tabanlı, hava soğutmalı ve daha esnek kurumsal yerleşimler için H200 NVL yaklaşımını değerlendirin.
Sunucu dengesini kurun
CPU, sistem RAM’i, NVMe, PCIe hatları, NIC, GPU yakınlığı ve yazılım sürümlerini seçilen tam platformun QVL listesiyle birlikte doğrulayın.
Tesis uygunluğunu ölçün
GPU TDP’si dışında sunucunun toplam ve tepe güç tüketimini; PDU, giriş gerilimi, rack ölçüsü, hava akışı ve ısı uzaklaştırma kapasitesiyle eşleştirin.
Pilot ve teklif oluşturun
Uygulama benchmarkı veya güvenilir üretici verisiyle ölçek varsayımını test edin; GPU, sunucu, ağ, yazılım, garanti ve hizmetleri tek BOM’da karşılaştırın.
141 GB HBM3e ne sağlar?
NVIDIA H200’ün ayırt edici yönü Hopper hesaplama çekirdeğini daha büyük ve hızlı bellekle birleştirmesidir. GPU başına 141 GB HBM3e kapasite ve 4,8 TB/sn bant genişliği; büyük model ağırlıkları, uzun context, KV cache ve bellek yoğun HPC veri setleri için daha geniş çalışma alanı sağlar.
- Belleğe sığan model ve batch seçeneklerini genişletebilir.
- CPU belleğine veya GPU’lar arası parçalamaya duyulan ihtiyacı bazı işlerde azaltabilir.
- Bellek bant genişliğine takılan kernel ve veri akışlarında beklemeyi düşürebilir.
- Gerçek kazanç model mimarisi, precision, framework ve batch yapısına bağlıdır.
- 141 GB fiziksel kapasitenin tamamı uygulamaya ayrılmaz; runtime ve sistem payı bırakılır.
Tensor Core ve precision değerleri nasıl okunur?
H200; FP64, FP32, TF32, BFLOAT16, FP16, FP8 ve INT8 hesaplama türlerini destekler. Üretici tablosundaki bazı Tensor Core tepe değerleri seyrekliğe göredir. Bu rakamlar doğrudan uygulama hızı veya token/saniye sonucu değildir.
- FP8 ve FP16, uyumlu AI modellerinde hız ve bellek verimliliği için kullanılır.
- TF32, desteklenen frameworklerde FP32 iş akışlarını hızlandırabilir.
- FP64 ve FP64 Tensor Core değerleri bilimsel hesaplamada önem kazanır.
- Quantization doğruluk, gecikme ve kapasite hedefiyle test edilmelidir.
- Sürücü, CUDA, kütüphane ve framework sürümü erişilen performansı değiştirir.
NVLink ve PCIe aynı şey değildir
H200 SXM’de dördüncü nesil NVLink GPU başına 900 GB/sn’ye kadar GPU-GPU bağlantısı sunar; PCIe Gen5 ise cihazın ana sistemle veri yoludur. H200 NVL, desteklenen sunucularda iki veya dört GPU’yu NVLink köprüsüyle bağlayabilir. Sunucular arası küme ağı ayrıca tasarlanır.
- NVLink, aynı sunucu içindeki GPU iletişimini hızlandırır.
- InfiniBand veya yüksek hızlı Ethernet, sunucular arası scale-out trafiğini taşır.
- PCIe hatları GPU, NIC ve NVMe aygıtları arasında kaynak planlaması ister.
- NUMA ve GPU-NIC yakınlığı, dağıtık eğitim performansını etkileyebilir.
- Kablo, transceiver, switch portu ve fabric yazılımı toplam projeye dahildir.
MIG ve confidential computing
Hopper mimarisi Multi-Instance GPU ve confidential computing yetenekleri sunar. MIG, desteklenen profillerle tek GPU’yu izole örneklere ayırarak farklı ekip veya servislerin kaynak paylaşmasına yardım eder; ancak her iş yükü için doğru yaklaşım değildir.
- H200 SXM için en çok yedi adet 18 GB MIG profili listelenir.
- H200 NVL için en çok yedi adet 16,5 GB MIG profili listelenir.
- MIG profili seçimi framework, orchestrator ve sürücü desteğiyle doğrulanır.
- Büyük tek model çalıştıran işlerde GPU’yu bölmek performans hedefiyle çelişebilir.
- Confidential computing, veri kullanımdayken koruma ihtiyacı olan senaryolarda değerlendirilir.
Güç, soğutma ve rack gereksinimi
H200 SXM için 700 W’a, H200 NVL için 600 W’a kadar yapılandırılabilir GPU TDP değerleri yayımlanır. Bunlar yalnız GPU sınırıdır; iki işlemci, yüksek kapasiteli RAM, NVMe, NIC, fanlar ve güç kaynağı kayıpları sunucunun toplamını yükseltir.
- Rack başına sürekli ve tepe güç ayrı hesaplanır.
- PDU ve priz tipi, faz dağılımı ve yedeklilik senaryosu doğrulanır.
- Sunucu üreticisinin giriş sıcaklığı ve hava akışı şartları esas alınır.
- Hava soğutmalı ve doğrudan sıvı soğutmalı platformlar aynı tesis kabul edilmez.
- Teslimden önce ağırlık, derinlik, servis boşluğu ve taşıma yolu kontrol edilir.
Teknik özellikten çalışan sisteme geçiş
H200 teknik özellikleri kısa liste oluşturur; çalışan çözümü ise tam sunucu modeli belirler. GPU form faktörü, desteklenen adet, CPU, RAM, depolama, NIC, firmware, işletim sistemi ve yazılım yığını platform üreticisinin güncel destek listesiyle doğrulanmalıdır.
- “H200 uyumlu” ifadesi tam model, revizyon ve GPU SKU’suyla teyit edilir.
- SXM modülü, bağımsız masaüstü ekran kartı gibi satın alınıp herhangi bir kasaya takılmaz.
- H200 NVL için fiziksel slot kadar güç, riser, hava akışı ve NVLink köprüsü desteği gerekir.
- Garanti ve destek kapsamı GPU ile sunucunun birlikte çalışmasını kapsamalıdır.
- Stok ve teslim süresi teklif anında gerçek tedarik koşullarıyla doğrulanır.
NVIDIA H200 SXM ve H200 NVL teknik özellik tablosu
Aşağıdaki değerler NVIDIA’nın H200 ürün sayfasındaki yayımlanmış özelliklerdir. Bazı değerler ön bilgi niteliğindedir; siparişte tam GPU ve sunucu SKU’su esas alınır.
| Özellik | H200 SXM | H200 NVL |
|---|---|---|
| GPU mimarisi | NVIDIA Hopper | NVIDIA Hopper |
| GPU belleği | 141 GB HBM3e | 141 GB HBM3e |
| Bellek bant genişliği | 4,8 TB/sn | 4,8 TB/sn |
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor Core* | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 / FP16 Tensor Core* | 1.979 TFLOPS | 1.671 TFLOPS |
| FP8 Tensor Core* | 3.958 TFLOPS | 3.341 TFLOPS |
| Azami TDP | 700 W’a kadar, yapılandırılabilir | 600 W’a kadar, yapılandırılabilir |
| Form faktörü | SXM | PCIe, çift slot, hava soğutmalı |
| Bağlantı | NVLink 900 GB/sn; PCIe Gen5 128 GB/sn | 2/4 yönlü NVLink; GPU başına 900 GB/sn; PCIe Gen5 128 GB/sn |
| MIG | En çok 7 × 18 GB | En çok 7 × 16,5 GB |
| Sunucu yaklaşımı | HGX H200, 4 veya 8 GPU | MGX ve sertifikalı sistemler, 8 GPU’ya kadar |
Sık sorulan sorular
Konuyla ilgili net cevaplar
NVIDIA H200 kaç GB belleğe sahiptir?
NVIDIA H200 SXM ve H200 NVL, GPU başına 141 GB HBM3e belleğe sahiptir. Uygulamanın kullanabileceği alan; sürücü, runtime, model biçimi ve sistem rezervlerine göre fiziksel kapasiteden düşük olabilir.
NVIDIA H200 bellek bant genişliği nedir?
NVIDIA’nın ürün tablosuna göre H200 SXM ve H200 NVL için GPU bellek bant genişliği 4,8 TB/sn’dir. Bu değer GPU belleği içindir; ağ veya NVLink bant genişliğiyle karıştırılmamalıdır.
H200 hangi mimariyi kullanır?
H200, NVIDIA Hopper mimarisini kullanır. Transformer Engine, dördüncü nesil NVLink, MIG ve confidential computing gibi Hopper yeteneklerini desteklenen platform ve yazılım yığınıyla sunar.
H200 SXM güç tüketimi ne kadardır?
NVIDIA, H200 SXM için 700 W’a kadar yapılandırılabilir azami TDP listeler. Bu yalnız GPU değeridir; sunucunun toplam güç ihtiyacı CPU, RAM, NVMe, NIC, fanlar ve güç kaynaklarıyla daha yüksektir.
H200 PCIe kartı var mı?
Evet. H200 NVL, çift slotlu ve hava soğutmalı PCIe form faktöründedir. Masaüstü kartı gibi değerlendirilmez; yalnız desteklenen kurumsal sunucu, güç, riser, hava akışı ve yazılım matrisi içinde kullanılmalıdır.
H200 kaç MIG bölümüne ayrılabilir?
NVIDIA, H200 SXM için en çok yedi adet 18 GB; H200 NVL için en çok yedi adet 16,5 GB MIG profili listeler. Kullanılabilir profil ve sürüm uyumu güncel MIG User Guide ile doğrulanmalıdır.
H200 yalnız GPU olarak alınabilir mi?
H200 tedarik modeli varyanta göre değişir. SXM, uyumlu HGX/baseboard platformunun parçasıdır. H200 NVL PCIe formunda olsa da desteklenen sunucu ve tam BOM olmadan bağımsız bir masaüstü kartı gibi ele alınmamalıdır.
H200 teknik özellikleri gerçek performansı garanti eder mi?
Hayır. Tepe hesaplama ve bant genişliği değerleri kapasiteyi gösterir; gerçek performans model, precision, batch, context, framework, kernel, CPU, depolama, ağ ve paralelleştirme verimine bağlıdır.
H200 özelliklerini çalışmaya hazır bir sunucuya dönüştürün
Modelinizi, GPU adedi hedefinizi, rack, güç, ağ ve teslimat koşullarını paylaşın; H200 SXM veya H200 NVL için doğrulanabilir tam sistem BOM’u ve proje teklifi hazırlayalım.
Birincil ve resmî kaynaklar