Jika produk Anda menjalankan inferensi AI, melayani model bahasa, atau melakukan transcoding video, tagihan GPU dengan cepat menjadi salah satu biaya terbesar Anda. Ada dua pilihan umum: menyewa GPU per jam dari penyedia cloud, atau membayar harga bulanan tetap untuk server GPU dedicated. Panduan ini membandingkan keduanya agar Anda dapat menyesuaikan model dengan beban kerja Anda.
Apa itu server GPU?
Server GPU adalah komputer yang dibangun di sekitar satu atau lebih unit pemrosesan grafis (GPU) yang menangani perhitungan paralel secara masif. Hal ini menjadikannya perangkat keras standar untuk inferensi jaringan saraf, pelatihan model, rendering 3D, dan encoding video. Server GPU menggabungkan kartu-kartu tersebut dengan CPU kelas server, RAM yang besar, penyimpanan cepat, dan koneksi jaringan.
Cara kerja cloud GPU
Penyedia cloud menagih instance GPU per jam atau per detik. Anda memulai instance dalam hitungan menit dan mematikannya saat pekerjaan selesai:
- Mulai seketika. Anda dapat menguji ide pada sore hari yang sama, tanpa kontrak.
- Penskalaan elastis. Anda menambahkan sepuluh GPU untuk satu proses pelatihan dan melepaskannya keesokan harinya.
Kompromi muncul seiring bertambahnya penggunaan. Biaya naik setiap jam instance berjalan, dan banyak penyedia mengenakan biaya terpisah untuk lalu lintas keluar (egress), penyimpanan persisten, dan snapshot. Instance sering berjalan di host tervirtualisasi atau bersama, sehingga performa dapat bervariasi. Model GPU populer tidak selalu tersedia di wilayah yang Anda inginkan, terutama saat permintaan melonjak.
Cara kerja server GPU dedicated
Server GPU dedicated adalah satu mesin fisik utuh yang dicadangkan untuk Anda dan ditagih dengan harga bulanan tetap.
- Biaya yang dapat diprediksi. Harganya tetap sama baik GPU bekerja dua jam maupun dua puluh empat jam.
- Performa yang konsisten. Tidak ada noisy neighbour, sehingga latensi dan throughput tetap stabil.
- Kendali penuh. Anda memilih sistem operasi, kernel, driver, dan versi CUDA.
- Data di perangkat keras yang Anda kendalikan. Model, prompt, dan file pelanggan tetap berada di satu mesin yang hanya diakses oleh tim Anda.
Biayanya berbeda, bukan tidak ada. Anda biasanya berkomitmen untuk beberapa bulan, Anda menunggu server dikirim, dan tim Anda mengelola tumpukan perangkat lunak, pembaruan, dan pemantauan.
Server GPU dedicated vs cloud GPU: berdampingan
| Kriteria | Cloud GPU | Server GPU dedicated |
|---|---|---|
| Penagihan | Per jam atau per detik; egress dan penyimpanan sering kali dikenakan biaya tambahan | Harga bulanan tetap, dibayar di muka untuk satu periode |
| Konsistensi performa | Dapat bervariasi pada host bersama atau tervirtualisasi | Stabil; seluruh mesin milik Anda |
| Kendali | Terbatas pada apa yang disediakan platform | Akses root penuh, OS, driver, dan kernel sendiri |
| Privasi data | Data berada di platform multi-tenant bersama | Data tetap berada di server fisik single-tenant |
| Penskalaan | Naik dan turun dalam hitungan menit | Menambah server dalam hitungan hari atau minggu |
| Waktu penyiapan | Hitungan menit, jika kapasitas tersedia | Beberapa hari hingga dua minggu |
| Paling cocok untuk | Eksperimen, proses pelatihan singkat, pekerjaan yang bersifat lonjakan | Inferensi 24/7, API LLM, rendering, dan pipeline video |
Mana yang cocok untuk beban kerja Anda?
Pertanyaan utamanya adalah berapa jam per hari GPU Anda benar-benar bekerja. Harga per jam menguntungkan pekerjaan singkat yang tidak teratur. Harga tetap menguntungkan penggunaan yang stabil. Gunakan daftar periksa ini:
- GPU sibuk selama berjam-jam setiap hari. Server dedicated kemungkinan merupakan pilihan yang lebih menguntungkan, karena Anda tidak lagi membayar setiap jam secara terpisah.
- Anda melayani model untuk pengguna sepanjang waktu. Pilih dedicated. Latensi yang stabil lebih penting daripada penskalaan elastis.
- Beban datang dalam lonjakan yang tidak dapat diprediksi. Cloud GPU menyerap puncak beban tanpa perangkat keras yang menganggur di antaranya.
- Anda masih menguji model atau framework. Mulailah di cloud dan pindah setelah beban kerja stabil.
- Anda memindahkan data keluar dalam volume besar. Periksa biaya egress; server dengan trafik bulanan yang sudah termasuk lebih mudah dianggarkan.
- Anda membutuhkan driver, kernel, atau OS tertentu. Perangkat keras dedicated memberi Anda kebebasan itu.
- Klien bertanya di mana data mereka diproses. Server single-tenant di pusat data yang diketahui memberikan jawaban yang jelas.
Anda tidak harus memilih hanya satu. Banyak tim menjalankan beban dasar yang stabil di server dedicated dan menyewa cloud GPU untuk proses pelatihan sesekali atau puncak lalu lintas. Hitung jam GPU riil Anda pada bulan lalu, lalu bandingkan kedua pilihan.
Server GPU dedicated di IPHOST
IPHOST menawarkan hosting server GPU dari pusat data milik sendiri yang bersertifikat ISO/IEC 27001 di Chisinau, Moldova, di Eropa dan di luar Uni Eropa. Kami tidak menyewakan cloud GPU per jam; setiap paket adalah satu server fisik HPE utuh:
- NVIDIA L4 24 GB pada HPE DL360 Gen10 dengan satu Xeon Gold 6248 dan RAM 128 GB, pilihan efisien untuk inferensi dan transcoding video.
- NVIDIA A40 48 GB pada HPE DL380 Gen10 dengan dua Xeon Gold 6230R dan RAM 192 GB, untuk model yang lebih besar dan rendering.
- 2x NVIDIA A100 masing-masing 40 GB pada HPE DL380 Gen10 dengan dua Xeon Gold 6230R dan RAM 256 GB, untuk beban kerja berat dan hosting LLM.
Setiap server dilengkapi dua SSD SAS 1.6 TB, port 1 Gbps dengan trafik bulanan 30 TB, satu alamat IPv4, perlindungan DDoS dasar, manajemen jarak jauh iLO, dan akses root penuh. Kami menginstal Linux atau Windows Server dengan driver NVIDIA dan CUDA yang siap digunakan. Server dijual melalui pre-order dengan pengiriman dalam 14 hari, dan Anda mendapatkan pengembalian dana penuh jika kami terlambat mengirim. Penagihan dilakukan setiap 3 bulan di muka, dan pembayaran untuk 12 bulan menurunkan harga bulanan hingga 14%. Anda dapat membayar dengan kartu, transfer bank, atau mata uang kripto (Bitcoin, USDT, atau USDC).
