KI-Tools
Einen validierten Kubernetes-Runtime für NVIDIA Dynamo erstellen
NVIDIA AI Cluster Runtime (AICR) integriert NVIDIA Dynamo in überprüfte Vorgehensweisen, um die Bereitstellung in Kubernetes zu vereinfach...
31. Okt. 20266 Min.
Artikel zu: vLLM
8 Artikel
KI-Tools
Code, Testen und Bereitstellen auf einem Gerät mit NVIDIA RTX Spark
NVIDIA RTX Spark vereint Coding-Agents, Anpassung von Modellen sowie CUDA-gesteuerte Entwicklung auf einem einzigen PC. Die Plattform biet...
18. Okt. 20266 Min.
KI-Programmierung
ReplaySSM: Zustandsspeicherung neu denken für schnellere Dekodierung hybrider Modelle
ReplaySSM schlägt einen anderen Ansatz zur Speicherung des rekurrenten Zustands in hybriden Modellen vor, mit dem Ziel, die Dekodierung zu...
13. Okt. 202611 Min.
KI-Agenten
Bereitstellen lokaler Agents überall mit LFM2.5-2.6B
Entdecken Sie, wie LFM2.5-2.6B leichtgewichtige, datenschutzfreundliche KI-Agenten auf Edge-Geräten ermöglicht. Dieses kompakte Modell bie...
5. Aug. 202611 Min.
Lokale Modelle
Führen Sie einen vLLM-Server auf HF-Jobs mit einem Befehl aus
Erfahren Sie, wie Sie mit einem einzigen Befehl einen vLLM-Inferenzserver auf Hugging Face Jobs starten. Diese Anleitung behandelt Einrich...
26. Juni 20266 Min.
KI-Agenten
3 Agenten. 3 LLMs. 1 alternde GPU: Parallele Inferenz auf Bare Metal entwickeln
Erfahren Sie, wie Sie drei KI-Agenten mit separaten LLMs gleichzeitig auf einer einzigen veralteten GPU ausführen. Dieser Artikel behandel...
25. Juni 20267 Min.
Anleitungen
Analyse der finanziellen Nachhaltigkeit von KI
Erkunden Sie die versteckten Kosten der KI-Entwicklung und -Bereitstellung – von Hardware bis Energie. Erfahren Sie praktische Strategien...
17. Juni 20266 Min.
Anleitungen
DeepSeek schärft seine Argumentationsfähigkeiten: DeepSeek-R1, eine erschwingliche Alternative zu OpenAIs o1
DeepSeek-R1 bietet fortschrittliche Denkfähigkeiten zu einem Bruchteil der Kosten von OpenAIs o1. Erfahren Sie, wie dieses Open-Source-Mod...
15. Juni 20266 Min.