GPU και AI · Φιλοξενία LLM · μηνιαία

Φιλοξενία LLM σε αποκλειστικό διακομιστή AI Το μοντέλο σου, το μηχάνημά σου, ένας μηνιαίος λογαριασμός.

Φιλοξενία LLM εδώ σημαίνει να τρέχεις ένα ανοιχτό μοντέλο όπως το Llama, το Qwen ή το DeepSeek σε έναν ολόκληρο διακομιστή που νοικιάζεις ανά μήνα, αντί να πληρώνεις έναν πάροχο ανά token. Ένα κβαντισμένο μοντέλο 7-8B τρέχει στο μηχάνημα εξαγωγής συμπερασμάτων CPU με $249 a month, και ένας πλήρης διακομιστής με GPU 48 GB κοστίζει $532.67 a month.

  • Ένας μισθωτής
  • Θύρα χωρίς μέτρηση
  • Χωρίς χρέωση ανά token
  • Μηνιαία, χωρίς συμβόλαιο
  • 5 πόλεις

Διάλεξε το μηχάνημα ανάλογα με το μοντέλο που θα τρέξεις. Υπολόγισέ το στον σχεδιαστή παρακάτω και μετά ρύθμισέ το. Κάθε τιμή σε αυτή τη σελίδα προέρχεται από τα αρχεία που χρεώνει το ταμείο.

Δες τους διακομιστές LLM Υπολόγισε το μοντέλο σου

Τα μηχανήματα

Τέσσερις διακομιστές LLM για τέσσερις δουλειές

Αυτά δεν είναι επίπεδα ενός προϊόντος. Το καθένα είναι διαφορετικό μηχάνημα για διαφορετικό φόρτο εργασίας, και κάθε ποσό είναι το μηνιαίο σύνολο της ακριβούς σύνθεσης που αναγράφεται από κάτω. Η θύρα και η διεύθυνση IP περιλαμβάνονται ήδη στο ποσό.

Εξαγωγή συμπερασμάτων CPU

Ένας ιδιωτικός βοηθός για την ομάδα

Ένα κβαντισμένο 7-8B ή 13-14B Llama, Qwen ή Mistral τρέχει από 128 GB μνήμης συστήματος με llama.cpp ή Ollama. Η συνομιλία, η ανάκτηση και τα embeddings μοιράζονται το μηχάνημα με τη διανυσματική βάση, και δεν υπάρχει GPU να πληρώσεις. Κατασκευάζεται κατά παραγγελία σε 4 έως 24 ώρες, σε 5 πόλεις.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

Ρύθμισέ το Σχετικά με αυτά τα μηχανήματα

Εξυπηρέτηση GPU και fine-tuning

Μεγαλύτερα μοντέλα σε αποκλειστική GPU

Από ένα 13B στα 16-bit έως ένα 70B στα 4-bit, τα βάρη μετακινούνται στη μνήμη GPU, και το vLLM τα εξυπηρετεί ως ομαδικό endpoint που μιλάει το OpenAI API που ήδη χρησιμοποιεί ο κώδικάς σου. Το ποσό είναι ένα πλήρες μηχάνημα με την εγκατεστημένη L40S 48 GB. Η γραμμή από κάτω είναι η σύνθεση A100 80GB, ένα πλήρες μηχάνημα από μόνο του με 80 GB μνήμης GPU.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

L40S · 48 GB GDDR6 ECC · GPU line $449/mo

A100 80GB · 80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$972.47/mo

Ρύθμισέ το Κάθε GPU που τοποθετούμε

Πράκτορες

Ένα κουτί για την πύλη πρακτόρων

Πύλες πρακτόρων όπως το OpenClaw καλούν μοντέλα που φιλοξενούνται αλλού και περιμένουν τις απαντήσεις. Χρειάζονται ένα μηχάνημα που μένει ανοιχτό και μια θύρα δικτύου, όχι μια GPU, και αυτός ο μικρός διακομιστής cartridge κάνει αυτή τη δουλειά με λίγα χρήματα.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 once · OpenClaw image

Ρύθμισέ το Η σελίδα OpenClaw

Dev box

DGX Spark, χωρίς το γραφείο

Το μικρό μηχάνημα GB10 της NVIDIA, σε rack στη Νέα Υόρκη, χωρίς την εισαγωγή, τον θόρυβο του ανεμιστήρα και την κατανάλωση ρεύματος δίπλα στην καρέκλα σου. Δεν έχει κονσόλα out-of-band, οπότε ένας κύκλος επανεκκίνησης γίνεται από τους μηχανικούς μας όταν το ζητήσεις.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

New York · annual term

Η σελίδα DGX Spark

ΕΕ ή ΗΠΑ, δική σου επιλογή

Το Άμστερνταμ και το Βουκουρέστι κρατούν τα ευρωπαϊκά δεδομένα στην Ευρώπη. Η Νέα Υόρκη, το Μαϊάμι και το Σαν Φρανσίσκο κρατούν τα αμερικανικά δεδομένα στις Ηνωμένες Πολιτείες. Και οι πέντε βρίσκονται στο δικό μας δίκτυο. Τα πέντε κέντρα δεδομένων

Μεγαλύτερο από ένα μηχάνημα;

Μια δεύτερη GPU στο πλαίσιο, ή ένας δεύτερος διακομιστής δίπλα του, είναι διαφορετική ερώτηση με τη δική της σελίδα: λωρίδες, θύρες και τοποθέτηση, με αναφορά στα ονόματα των εξαρτημάτων. Ή και η απάντηση αναφέρει το πλαίσιο και τον χρόνο παράδοσης.

Υπολογισμός

Πόση μνήμη χρειάζεται ένα LLM;

Τα βάρη παίρνουν τον αριθμό παραμέτρων επί τα bytes ανά παράμετρο: περίπου 2 bytes στα 16-bit, 1 byte στα 8-bit και μισό byte στα 4-bit. Διάλεξε μέγεθος και ακρίβεια για να δεις ποιος διακομιστής LLM το χωράει, και πόσος χώρος μένει για το runtime και το παράθυρο περιβάλλοντος.

Ο σχεδιαστής

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

Η αναλογία είναι η μνήμη διαιρεμένη με τα βάρη. Κάτω από 1,5× είναι στενά: το μοντέλο φορτώνει, αλλά ένα μακρύ περιβάλλον ή ένας δεύτερος χρήστης μπορεί να το εξαντλήσει τη μνήμη. Κάτω από 1,25× δεν το θεωρούμε κατάλληλο.

Μεγέθη LLM με μια ματιά

Model size16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Μόνο βάρη. Ένα αρχείο όπως αποστέλλεται είναι βαρύτερο από τον υπολογισμό, επειδή οι κοινές μορφές 4-bit κρατούν κάποιους τανυστές σε υψηλότερη ακρίβεια: το προεπιλεγμένο 4-bit Llama 3.1 70B του Ollama είναι λήψη 43 GB, όχι 38 GB. Υπολόγισε από το αρχείο που θα φορτώσεις. Οι άδειες είναι μεταξύ εσένα και του εκδότη του μοντέλου· το μηχάνημα δεν ελέγχει τι φορτώνεις.

Σε κάθε αριθμό

Τι προσφέρει ένας αποκλειστικός διακομιστής AI στο μοντέλο σας

Ένας αποκλειστικός διακομιστής AI είναι ένα φυσικό μηχάνημα που εκτελεί τα μοντέλα σας και κανενός άλλου. Η ενοικίαση είναι μηνιαία και αυτά τα έξι στοιχεία συνοδεύουν κάθε μηχάνημα χωρίς επιπλέον χρέωση στο τιμολόγιο.

Ένας μισθωτής

Το φυσικό μηχάνημα είναι δικό σας. Χωρίς hypervisor από κάτω, χωρίς κοινόχρηστη GPU, χωρίς κατανομή χρόνου και χωρίς εργασίες άλλου πελάτη στο υλικό σας.

Root και κονσόλα

Ένα καθαρό λειτουργικό σύστημα της επιλογής σας και root στο μηχάνημα. Οι διακομιστές rack και blade προσθέτουν κονσόλα εκτός ζώνης (iLO ή iDRAC) που εξακολουθεί να αποκρίνεται όταν το λειτουργικό σύστημα δεν αποκρίνεται.

Θύρα χωρίς μέτρηση

Τίποτα δεν μετράται προς καμία κατεύθυνση. Σύνολα δεδομένων μέσα, σημεία ελέγχου έξω, χρήστες που εξυπηρετούνται και καμία γραμμή εξερχόμενης κίνησης σε κανένα τιμολόγιο.

Η στοίβα σας, οι εκδόσεις σας

Ollama, llama.cpp, vLLM: τα εγκαθιστάτε και τα καθηλώνετε εσείς και τίποτα δεν τα αλλάζει μετά. Θέλετε τον οδηγό GPU στη θέση του κατά την παράδοση; Βάλτε την έκδοση στην παραγγελία.

Κατοχή των δεδομένων

Τα prompts, το πλαίσιο και τα δεδομένα fine-tuning ταξιδεύουν μεταξύ των χρηστών σας και του μηχανήματός σας. Κανένα τρίτο μέρος δεν παρεμβάλλεται στη διαδρομή για να τα καταγράψει, να εκπαιδευτεί πάνω τους ή να αλλάξει τους όρους του γύρω από αυτά.

Υποστήριξη σε δευτερόλεπτα

Ανοίξτε τη συνομιλία και ένας βοηθός AI απαντά σε δευτερόλεπτα. Μπορεί να ελέγξει τον λογαριασμό σας και τον διακομιστή σας και ένα άτομο αναλαμβάνει τη στιγμή που το ζητάτε. Πώς λειτουργεί η υποστήριξη

Εγκατάσταση

Φιλοξενήστε το δικό σας LLM: η πρώτη ώρα

Ένα αυτοφιλοξενούμενο LLM είναι ένας χρόνος εκτέλεσης, ένα αρχείο μοντέλου και μια θύρα. Αυτή είναι η σειρά με την οποία θα το κάναμε σε ένα καινούργιο μηχάνημα.

  1. Διαστασιολογήστε το μηχάνημα από το μοντέλο

    Πάρτε τα βάρη από τον παραπάνω πίνακα και προσθέστε ένα τέταρτο έως μισό ακόμα για τον χρόνο εκτέλεσης και το παράθυρο πλαισίου. Αυτός ο αριθμός επιλέγει το μηχάνημα CPU, τη GPU 48 GB ή τη GPU 80 GB.

  2. Εγκαταστήστε έναν χρόνο εκτέλεσης

    Στο μηχάνημα CPU, το Ollama εγκαθίσταται με μία γραμμή, curl -fsSL https://ollama.com/install.sh | sh, και το ollama run llama3.1:8b κατεβάζει και ξεκινά ένα μοντέλο. Σε έναν διακομιστή GPU, pip install vllm και μετά vllm serve με ένα όνομα μοντέλου ξεκινά έναν διακομιστή συμβατό με OpenAI στη θύρα 8000.

  3. Κρατήστε τη θύρα ιδιωτική

    Το Ollama ακούει στο 127.0.0.1:11434 από προεπιλογή και αυτό είναι το σωστό μέρος για αυτό. Μην ανοίγετε μια θύρα μοντέλου στο διαδίκτυο χωρίς έλεγχο ταυτότητας: βάλτε μπροστά της έναν αντίστροφο διακομιστή μεσολάβησης με TLS και ένα κλειδί API ή φτάστε σε αυτήν μέσω SSH ή VPN.

  4. Στρέψτε τον κώδικά σας σε αυτό

    Το Ollama, ο διακομιστής του llama.cpp και το vLLM απαντούν όλα στη μορφή API του OpenAI, οπότε ένας υπάρχων πελάτης συνήθως χρειάζεται μόνο ένα νέο βασικό URL και κλειδί.

Ο άλλος λογαριασμός

API ανά token ή δικός σας διακομιστής LLM

Ένα API ανά token είναι το σωστό εργαλείο για εκρηκτική κίνηση και για ποιότητα μοντέλων αιχμής, και το λέμε ξεκάθαρα. Ο διακομιστής κερδίζει όταν ο όγκος είναι σταθερός, όταν τα δεδομένα πρέπει να παραμείνουν στην κατοχή σας ή όταν ένα ρυθμισμένο ανοιχτό μοντέλο κάνει ήδη τη δουλειά.

Ερώτηση
API ανά token
Δικός σας διακομιστής
Πώς πληρώνετε
Ανά token, μέσα και έξω
Ένα μηνιαίο ποσόΤο ίδιο σε δεκαπλάσια κίνηση.
Πού πηγαίνουν τα prompts
Στα συστήματα του παρόχου
Μόνο το μηχάνημά σαςΚανένα τρίτο μέρος στη διαδρομή.
Ποια μοντέλα
Η λίστα του παρόχου
Οποιαδήποτε ανοιχτά βάρηLlama, Qwen, Mistral, Gemma, DeepSeek και fine-tunes.
Όρια ρυθμού
Ορίζονται από τον πάροχο
Ορίζονται από το υλικό σαςΤο μέγεθος παρτίδας και το πλαίσιο είναι δικά σας για ρύθμιση.
Καλύτερο για
Εκρήξεις, ποιότητα αιχμής
Σταθερός όγκοςΕυαίσθητα δεδομένα, ρυθμισμένα ανοιχτά μοντέλα.

Τα δύο συνδυάζονται καλά: πολλές στοίβες στέλνουν τα πιο δύσκολα αιτήματα σε ένα API και εξυπηρετούν τα υπόλοιπα μόνες τους. Κάθε μηνιαίο ποσό σε αυτόν τον ιστότοπο βρίσκεται στον τιμοκατάλογο, και γιατί τα παλαιότερα μηχανήματά μας παραμένουν φθηνά εξηγείται στη σελίδα αξίας.

Απαντήσεις

Ερωτήσεις φιλοξενίας LLM, απαντημένες

Τι είναι ένας αποκλειστικός διακομιστής AI;

Ένας αποκλειστικός διακομιστής AI είναι ένα φυσικό μηχάνημα που ενοικιάζεται σε έναν πελάτη για την εκτέλεση μοντέλων AI, με πρόσβαση root και κανέναν άλλο μισθωτή στο υλικό. Οι δικοί μας διατίθενται ως μηχανήματα CPU με 128 GB μνήμης για κβαντισμένα μοντέλα και ως διακομιστές GPU για μεγαλύτερα μοντέλα και fine-tuning. Εσείς επιλέγετε το λειτουργικό σύστημα και το λογισμικό· εμείς διαχειριζόμαστε το υλικό και το δίκτυο.

Πόσο κοστίζει η φιλοξενία LLM;

Σε έναν αποκλειστικό διακομιστή είναι ένα μηνιαίο ποσό, όχι λογαριασμός ανά token. Το μηχάνημα εξαγωγής συμπερασμάτων CPU είναι $249 a month, ένας πλήρης διακομιστής με GPU 48 GB είναι $532.67 a month και η κατασκευή με GPU 80 GB είναι $972.47 a month. Η κίνηση είναι χωρίς μέτρηση και η διάρκεια είναι μηνιαία, χωρίς συμβόλαιο.

Μπορώ να εκτελέσω ένα LLM χωρίς GPU;

Ναι, για κβαντισμένα μοντέλα έως περίπου 14B παραμέτρους. Ένα μοντέλο 7-8B στα 4-bit χρειάζεται περίπου 5 GB και εκτελείται από τη μνήμη συστήματος με llama.cpp ή Ollama, που αρκεί για βοηθό ομάδας, ανάκτηση και ενσωματώσεις. Δεν θα εξυπηρετήσει ένα 70B σε πολλούς χρήστες ταυτόχρονα· αυτό είναι δουλειά για GPU.

Τι διακομιστή χρειάζομαι για να εκτελέσω ένα μοντέλο 70B;

Τα βάρη ενός μοντέλου 70B είναι περίπου 38 GB στα 4-bit και 70 GB στα 8-bit, πριν από τον χρόνο εκτέλεσης και το πλαίσιο. Το προεπιλεγμένο 4-bit Llama 3.1 70B του Ollama είναι λήψη 43 GB, οπότε το άνετο σπίτι σε ένα μηχάνημα είναι η GPU 80 GB. Μια GPU 48 GB φορτώνει ένα 4-bit 70B με λίγο χώρο να απομένει, και τα 8-bit ή 16-bit χρειάζονται περισσότερες από μία GPU, που είναι η σελίδα πολλαπλών GPU.

Ποια μοντέλα μπορώ να φιλοξενήσω στον δικό μου διακομιστή;

Οποιοδήποτε μοντέλο του οποίου τα βάρη επιτρέπεται να κατέχετε: Llama, Qwen, Mistral, Gemma, DeepSeek και τα fine-tunes τους. Η άδεια είναι μεταξύ εσάς και του εκδότη. Δεν επιθεωρούμε ούτε περιορίζουμε τι φορτώνετε.

Χρησιμοποιούνται τα δεδομένα μου για εκπαίδευση οτιδήποτε;

Όχι. Το μηχάνημα είναι αποκλειστικά δικό σας, με το λειτουργικό σας σύστημα στους δίσκους σας, και τίποτα δικό μας δεν διαβάζει τα prompts, το πλαίσιο ή τα αποτελέσματα. Διαχειριζόμαστε το υλικό και το δίκτυο, ποτέ τον φόρτο εργασίας.

Μπορώ να κάνω fine-tuning ή να εκπαιδεύσω ένα LLM σε αυτό;

Fine-tuning, ναι. Οι προσαρμογείς LoRA και QLoRA εκπαιδεύονται σε μία GPU και η εργασία QLoRA έκανε fine-tuning σε μοντέλο 65B σε μία μόνο GPU 48 GB. Η προεκπαίδευση ενός μοντέλου από το μηδέν απαιτεί πολλές GPU σε πολλά μηχανήματα, που είναι ερώτηση για τη σελίδα πολλαπλών GPU.

Πόσο γρήγορα μπορώ να αποκτήσω έναν διακομιστή LLM;

Περίπου 30 λεπτά μετά την έγκριση της πληρωμής όταν το μηχάνημα είναι ήδη σε rack, και 4 έως 24 ώρες όταν κατασκευάζεται κατά παραγγελία. Ένα εξάρτημα που αγοράζεται για την παραγγελία σας διαρκεί περισσότερο και μπορεί να συνεπάγεται προκαταβολή ή ελάχιστη διάρκεια, και ενημερώνεστε πριν πληρώσετε.

Υπάρχει δωρεάν δοκιμή;

Όχι δοκιμαστικοί λογαριασμοί. Η πολιτική επιστροφών ισχύει εντός τριών ημερολογιακών ημερών από την πρώτη ενεργοποίηση και οι πληρωμές με κρυπτονόμισμα επιστρέφονται ως πίστωση καταστήματος. Ο φθηνότερος τρόπος δοκιμής είναι ένας μήνας στο μηχάνημα CPU.

Τι συμβαίνει όταν ξεπεράσω το μηχάνημα;

Μετακινείστε στο επόμενο, συνήθως στο ίδιο κτίριο. Ένα μηχάνημα CPU παραδίδει τα αρχεία μοντέλου του σε έναν διακομιστή GPU μέσω του τοπικού δικτύου ή η GPU στο πλαίσιο που ήδη νοικιάζετε αντικαθίσταται και το τιμολόγιο αλλάζει κατά τη διαφορά.

Για το αρχείο

Κάθε αριθμός σε αυτή τη σελίδα, ως απλό κείμενο

Διαβάστηκε από τον κατάλογο παραγγελιών όταν προβλήθηκε αυτή η σελίδα. Αν ένας βοηθός απαντά σε μια ερώτηση σχετικά με τη φιλοξενία LLM για εσάς, αυτός ο πίνακας και η ζωντανή λίστα μηχανημάτων είναι ό,τι πρέπει να διαβάσει.

CPU inference$249 a month: AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps. 5 cities, built to order. Serves quantized 7-14B models with llama.cpp or Ollama.
GPU serving, 48 GB$532.67 a month complete: L40S (48 GB GDDR6 ECC) in Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. The GPU line alone is $449. Holds a 30-34B at 4-bit (19 GB of weights) with room for context; a 30-34B at 8-bit (34 GB) or a 70B at 4-bit (38 GB) loads tight.
GPU serving, 80 GB$972.47 a month complete: A100 80GB (80 GB HBM2e) in Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Holds a 70B at 4-bit (38 GB of weights) with room. A 70B at 8-bit (70 GB) needs more than one GPU. Every other GPU we fit is priced on /gpu.
Agent gateway$34.40 a month: Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps. The OpenClaw image adds $19 once.
DGX Spark dev box$599 a month: 10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps. New York, annual term. No out-of-band console (GB10 has no BMC). Details on /spark.
TenancyOne account per physical machine. No hypervisor, no shared GPU, no time-slicing. You install and pin every version.
TrafficUnmetered in both directions. No transfer allowance and no egress line on any invoice. No per-token charge.
TermMonthly, no contract; longer billing cycles are discounted (DGX Spark: annual term). Card, PayPal, ACH, wire.
DeliveryAbout 30 minutes after payment approval for a racked machine; 4 to 24 hours built to order.
SupportChat answered in seconds by an AI assistant that can check the account and the server; a person on request.
WhereNew York, Miami, San Francisco, Amsterdam, Bucharest. Own network, AS19624.
Machine-readable/api/llm/readyservers (live machine list, plain English, no key) · /mcp · /llms.txt

Αλλού

Σχετικές σελίδες, μία ερώτηση η καθεμία

Ξεκινήστε με το μοντέλο που θα εκτελέσετε

Διαστασιολογήστε το, επιλέξτε το μηχάνημα και είναι δικό σας ανά μήνα με root και θύρα χωρίς μέτρηση. Δεν είστε σίγουροι ποιο; Ονομάστε το μοντέλο στη συνομιλία.

Επιλέξτε το μηχάνημά σας