Articles pour : vLLM

8 articles

Outils IA

Créer un environnement de exécution Kubernetes validé pour NVIDIA Dynamo

Le runtime du cluster AI de NVIDIA (AICR) intègre NVIDIA Dynamo dans des recettes éprouvées afin de simplifier le déploiement sur Kubernet...

31 oct. 20266 min
Outils IA

Code, test et déploiement sur une seule machine avec NVIDIA RTX Spark

NVIDIA RTX Spark unifie les agents de codage, la personnalisation des modèles et le développement accéléré par CUDA sur un seul ordinateur...

18 oct. 20266 min
Développement avec l’IA

ReplaySSM : Repenser le stockage d’état pour une décodage plus rapide des modèles hybrides

REPLAYSSM propose une approche différente pour stocker l’état récurrent dans les modèles hybrides, dans le but d’accélérer la décodage san...

18 oct. 202611 min
Agents IA

Déployez des agents locaux partout avec LFM2.5-2.6B

Découvrez comment LFM2.5-2.6B permet des agents IA légers et préservant la confidentialité sur les appareils de périphérie. Ce modèle comp...

5 août 202611 min
Modèles locaux

Lancer un serveur vLLM sur les jobs HF en une seule commande

Apprenez à lancer un serveur d'inférence vLLM sur Hugging Face Jobs avec une seule commande. Ce guide couvre la configuration, les réglage...

26 juin 20266 min
Agents IA

3 agents. 3 LLM. 1 GPU vieillissant : Ingénierie de l'inférence parallèle sur du métal nu.

Apprenez à exécuter trois agents IA avec des LLM distincts simultanément sur un seul GPU obsolète. Cet article couvre l'inférence parallèl...

25 juin 20267 min
Guides

Analyse de la viabilité financière de l'IA

Explorez les coûts cachés du développement et du déploiement de l'IA, du matériel à l'énergie. Découvrez des stratégies pratiques pour bud...

17 juin 20266 min
Guides

DeepSeek affine son raisonnement : DeepSeek-R1, un rival abordable de l’o1 d’OpenAI

DeepSeek-R1 offre des capacités de raisonnement avancées à une fraction du coût de l’o1 d’OpenAI. Découvrez comment ce modèle open-source...

15 juin 20266 min