Code, Testen und Bereitstellen auf einem Gerät mit NVIDIA RTX Spark

Code, Testen und Bereitstellen auf einem Gerät mit NVIDIA RTX Spark

Die Landschaft der Softwareentwicklung verändert sich. Entwickler weichen davon ab, jede Codezeile manuell zu schreiben, und richten stattdessen Agenten ein, die den größten Teil der Implementierung erzeugen. Historisch gesehen erforderte dieser Workflow eine fragmentierte Einrichtung: einen Laptop zum Programmieren, eine Cloud-Modell-API für KI-Funktionen sowie eine Cloud-VM für die Bereitstellung. NVIDIA RTX Spark zielt darauf ab, den gesamten Prozess auf ein einziges Gerät zu konzentrieren und Programmieragenten, Modulkonfigurationen sowie CUDA-gesteuerte Entwicklung direkt auf dem alltäglichen PC bereitzustellen.

Ein Gerät zum Programmieren, Testen und Bereitstellen

NVIDIA RTX Spark kombiniert das NVIDIA GB10 System-on-a-Chip mit bis zu 128GB Unified Memory. Diese Architektur ermöglicht es Entwicklern, lokale Programmieragenten auszuführen, KI-Frameworks zu nutzen und Anwendungen auf einem einzigen PC zu bereitstellen, ohne für den Kernentwicklungsprozess externe Cloud-Infrastrukturen benötigen zu müssen.

Die Plattform ist dafür konzipiert, das gesamte Spektrum an KI-Entwicklungsaufgaben zu bewältigen. Mit bis zu 128GB Unified Memory sowie 1 Petaflop an FP4-KI-Rechenleistung können Entwickler Programmiermodelle lokal ausführen, einschließlich Qwen 3.8 Flash Next, wodurch der Tokenverbrauch der Cloud-Programmieragenten erheblich reduziert wird. Die Hardware umfasst den NVIDIA Grace CPU und die Blackwell GPU, die die notwendige Rechenleistung für Inferenz, Feinabstimmung und Kompilierung bereitstellen.

Laut NVIDIA liefert RTX Spark im Vergleich zu Intel Panther Lake 12Xe. erhebliche Leistungsverbesserungen. Die Plattform bietet 4.6x schnellere Leistung der Programmieragenten, 2.7x schnellere Feinabstimmung sowie 1.8x schnellere Codekompilierung. Dadurch wandelt sich die Entwicklung von einer CPU-beschränkten Aufgabe, bei der die Leistung hauptsächlich vom CPU abhing, zu einer GPU-beschränkten Aufgabe, bei der Inferenz und Testing durch dedizierte Hardware beschleunigt werden.

Eine vertraute Software-Stack-Erweiterung für Windows

Um diese Hardware zu unterstützen, arbeitete NVIDIA mit Microsoft zusammen, um den Windows on Arm-Software-Stack zu erweitern. Diese Zusammenarbeit führt mehrere wichtige Tools für die Entwicklergemeinschaft ein:

• PyTorch-CUDA-Build: Die Veröffentlichung des ersten PyTorch-CUDA-Builds für diese Architektur.
• Python 3.15: Standardmäßig eine native Python-Version.
• Conda-Pakete: Über 2,000 sofort einsetzbare Conda-Pakete.
• Paketkompatibilität: Arm-kompatible Versionen für mehr als 97% der wichtigsten 15,000 Python-Pakete.

Entwickler können unter Windows arbeiten, einschließlich der neuen Windows Developer Config, die gemeinsam mit Microsoft entwickelt wurde. Diese Konfiguration installiert führende Entwicklungsframeworks, deaktiviert Benachrichtigungen, verbessert das Terminal und ermöglicht es, die Taskleiste an die Seite zu verschieben. Alternativ können Entwickler im Windows Subsystem for Linux (WSL) arbeiten und auf dieselbe Umgebung sowie Abhängigkeiten zugreifen, die sie beim Bereitstellen in der Cloud verwenden. Dadurch können Entwickler alle Arbeiten in ihrem Zielbetriebssystem ohne Code-Migrationen durchführen.

Da RTX Spark über eine NVIDIA-GPU verfügt, können Entwickler auf die größte lokale KI-Infrastruktur von 150 Millionen RTX-PCs sowie nahezu alle Clouds testen und dort bereitstellen, die auf NVIDIA-GPUs laufen.

Lokale Coding Agents kommen zu RTX Spark

RTX-Spark-Geräte eignen sich ideal für lokale Coding Agents. NVIDIA hat eng mit führenden Agenten wie GitHub Copilot, Pi, Hermes und OpenClaw zusammengearbeitet, um sie zu verbessern und ihre Bedienung zu erleichtern.

Sicherheit und hybride Router

Erhöhte Sicherheit wird durch NVIDIA OpenShell und/oder Microsoft Execution Containers gewährleistet, die ein Sandboxing auf Betriebssystemebene bieten. Zudem ermöglichen hybride Prompt-Router es, Anfragen an lokale Modelle zu senden, sofern diese ausreichen, oder bei Bedarf an Cloud-Modelle weiterzuleiten. Dadurch wird der Tokenverbrauch verringert, während die Funktionalität erhalten bleibt.

Microsoft GitHub Copilot ermöglicht nun durch Windows ML nahtlose lokale KI-Verarbeitung, unterstützt durch llama.cpp als Backend. Der Prompt-Router HydraFusion wurde aktualisiert, um lokale Modelle zu unterstützen. Das neue MAI 1.1 Coding Flash-Modell kann ebenfalls lokal auf RTX Spark ausgeführt werden.

Pi, ein Open-Source-Programmieragent mit einer leichten Terminaloberfläche sowie Unterstützung für lokale und Cloud-Modelle, ist für RTX Spark optimiert. Seine Erweiterungen, Fähigkeiten und Prompt-Vorlagen geben Entwicklern die Kontrolle darüber, wie der Agent in ihren Workflow integriert wird – von der Modellwahl bis hin zu den Tools, die er verwenden kann.

JetBrains Junie Local

JetBrains hat eine native Unterstützung für Junie Local auf RTX Spark eingeführt. Dieser Programmieragent liest Code, bearbeitet Dateien und führt Tests durch, wobei das Modell sowie der Code auf dem Gerät verbleiben. Junie Local passt sein Kontextfenster an die dem GPU zur Verfügung stehende Speichermenge an, sodass die vereinigte Speicherlösung von RTX Spark mehr Code, Tool-Ausgaben sowie Konversationshistorien im Kontext speichern kann.

Neue Nemotron-Modelle bieten mehr Optionen für lokale Agenten

Nemotron 3.5 Bolt 74B-A9B 24GB ist ein neues großes Sprachmodell (LLM), das speziell dafür entwickelt wurde, lokale Agenten auf RTX Spark auszuführen. Es handelt sich um ein 74B-Parameter-Mixture-of-Experts (MoE)-Modell mit 9B aktiven Parametern. Das Modell wird mithilfe von 24GB und 2-Bit-Quantisierung sowie fortschrittlichen quantisierungsbewussten Trainingsverfahren komprimiert, um die Qualität zu bewahren.

NVIDIA gibt an, dass dieses Modell ein optimales Gleichgewicht zwischen Geschwindigkeit und Intelligenz anstrebt – es ist schneller als die meisten gängigen dichten Modelle und zugleich intelligenter als die meisten gängigen MoE-Modelle mit ähnlicher Speichernutzung. Nutzer können Nemotron 3.5 Bolt 74B ab dem Launch über llama.cpp, vLLM, Ollama, Unsloth und LM Studio ausführen. Es wird außerdem direkt über Agenten wie Hermes und OpenClaw zugänglich sein.

Wie andere Nemotron-Modelle ist auch Bolt 74B vollständig open source – einschließlich Trainingsdaten, Gewichten und Anleitungen – sodass Entwickler ihre eigenen Agenten feinabstimmen und anpassen können.

Entscheidungsmodelle werden nun in führenden Frameworks unterstützt

Entscheidungsmodelle stellen einen Durchbruch in der KI-Entwicklung dar, da sie Agenten eine nahezu sofortige Möglichkeit bieten, Entscheidungen zu treffen, ohne lange Überlegungsschleifen. Sie können entscheiden, was als Nächstes getan werden soll – von der Klassifizierung von Anfragen über die Auswahl der nächsten Aktion bis hin zu einer Geschwindigkeit, die 200x schneller ist als bei herkömmlichen Überlegungsschleifen.

Diese Entscheidungsmodelle werden nun in llama.cpp sowie Unsloth auf RTX Spark- und GeForce RTX-GPUs unterstützt. Diese Funktion ermöglicht es Agenten, effizient schnelle Entscheidungen auf lokaler Hardware zu treffen.

NVIDIA AI for Media SDKs

Die NVIDIA AI for Media SDKs sind nun für RTX Spark verfügbar. Zu diesen SDKs gehört die Unterstützung für Video-Super-Resolution, Frame-Generierung sowie TrueHDR. Die Python-Version ist auf PyPI erhältlich, während C++-SDKs ebenfalls auf NGC für RTX Spark sowie Windows on Arm verfügbar sind.

Ihre Windows-Anwendungen auf RTX Spark übertragen

Um eine bestehende Anwendung auf RTX Spark zu bringen, sollten Entwickler zunächst die Abhängigkeiten für Windows on Arm bewerten. Möglichkeiten sind die Auswahl einer nativen Arm64-Version oder der Einsatz von Arm64EC, um Komponenten schrittweise zu migrieren. Es wird empfohlen, die Installation, Funktionalität, Leistung sowie die von der Anwendung genutzten NVIDIA- und CUDA-Pfade zu testen.

NVIDIA stellt Ressourcen zum Anpassen von Anwendungen bereit, die Migrationsmöglichkeiten und -werkzeuge erklären, einschließlich Anleitungen zur Vorbereitung auf einem bestehenden Windows on Arm-Entwicklungssystem.

Ihr RTX Spark finden und mit der Entwicklung beginnen

RTX Spark ist derzeit in Laptops verfügbar und wird im November auch für Desktops im kleinen Formfaktor erhältlich sein, die sich ideal für ständig laufende, 24×7-Agenten eignen.

Um zu starten, können Entwickler das AI Development Playbook befolgen, um Windows zu konfigurieren, ihren Agenten einzurichten und NVIDIA Skills anzuschließen. NVIDIA stellt außerdem ein Repository mit NVIDIA Skills bereit, die Agenten dabei unterstützen, CUDA-X-Bibliotheken zu nutzen, wodurch Entwickler GPU-geschwindigte Anwendungen entwickeln können, ohne über umfassende Kenntnisse von CUDA verfügen zu müssen.

Da NVIDIA-GPUs die am weitesten verbreitete Plattform für die KI-Entwicklung sind, funktionieren neue Tools und Frameworks in der Regel bereits ab dem ersten Tag auf NVIDIA, während die Unterstützung für andere Hardware oft erst Wochen später folgt. Zudem steht Zugang zu NVIDIA CUDA-X-Bibliotheken zur Verfügung, einschließlich Werkzeugen wie FlashInfer für die Beschleunigung von LLMs sowie NVIDIA NeMo-Bibliotheken für die Entwicklung von KI-Modellen.

Entdecken Sie RTX Spark-Systeme, um verfügbare Kaufmöglichkeiten zu finden und die Vorteile der lokalen KI-Entwicklung zu nutzen.

Quelle: https://developer.nvidia.com/blog/code-test-and-deploy-on-one-machine-with-nvidia-rtx-spark