Artikel zu: LLM inference

2 Artikel

KI-Programmierung

ReplaySSM: Zustandsspeicherung neu denken für schnellere Dekodierung hybrider Modelle

ReplaySSM schlägt einen anderen Ansatz zur Speicherung des rekurrenten Zustands in hybriden Modellen vor, mit dem Ziel, die Dekodierung zu...

13. Okt. 202611 Min.
KI-Forschung

Benchmarking der LLM-Inferenz im großen Maßstab mit AIPerf

NVIDIAs AIPerf bietet Teams eine reproduzierbare Möglichkeit, LLM-Inferenz im großen Maßstab zu benchmarken, wobei Durchsatz, Latenz und N...

24. Sept. 202611 Min.