PCIe · DMA · Edge AI
Direkt in die GPU: Zero-Copy-PCIe von TI Jacinto zu Jetson Orin
Ein Kamerabild, vier GPUs und ein Bediener, der darauf wartet. Das Bild landet auf einem TI Jacinto, von dort übernimmt DMA, und es geht per PCIe direkt in den GPU-Speicher eines Jetson Orin; die CPU fasst es nicht an. Danach dieselben Boards und dasselbe Kabel, diesmal kopiert die CPU jedes Bild.
Kapitel
ILLUSTRATION + PRÜFSTANDSDATEN
Fabrik, Vier-Orin-Linie und Leitstand sind 3D-Illustrationen; Datenpfade, Board-Aktivität und Erkennungen sind animiert, keine aufgezeichnete Ausgabe. Die Ende-zu-Ende-Latenz der Linie wurde nicht gemessen. Bandbreite und Geschwindigkeitsverhältnis im Film wurden auf unserem eigenen Prüfstand gemessen; der Aufbau steht im Text.
01Was der Film zeigt
Bevor ein Bediener ein Kamerabild sieht, arbeiten oft mehrere Prozessoren daran. Der Film folgt einem einzelnen Bild: Es landet auf einem TI Jacinto, von dort übernimmt DMA, und es geht per PCIe direkt in den GPU-Speicher eines Jetson Orin. Dazwischen gibt es keine CPU-Kopie.
An der Linie hängen vier Orins mit je einer KI-Aufgabe: Videostabilisierung, Bildverbesserung, Objektverfolgung und Ablesen von Anzeigen. Jeder beginnt in dem Moment, in dem das Bild ankommt, per Interrupt statt per Polling. Dann geht das Bild zurück zum Jacinto und per WebRTC live auf den Bildschirm des Bedieners. Danach laufen dieselben Boards und dasselbe Kabel, während die CPU jedes Bild kopiert: Jede Kopie ist eine Wartezeit. Wir schreiben die PCIe-Treiber auf beiden Seiten: Speicherverwaltung, DMA-Transfers, Synchronisation und Interrupts in beide Richtungen.
Konzeptfilm: Die Linie mit vier Orins, die Fabrik und der Leitstand sind 3D-Illustrationen; Datenpfade und Erkennungen sind animiert. Die Ende-zu-Ende-Latenz der Vier-Orin-Linie wurde nicht gemessen. Auf unserem Prüfstand gemessen (September 2026): zwischen einem TI Jacinto 7 (J784S4) und einem NVIDIA Jetson AGX Orin über PCIe Gen3 ×4 mit DMA 3,0–3,2 GB/s. Auf derselben Verbindung war DMA etwa 8-mal schneller als CPU-Kopien (Übertragungen von 128 MB).
02Transkript
Der Film ist englisch vertont. Unter jeder Zeile steht der Originaltext; ein Klick auf den Zeitstempel startet den Film an dieser Stelle.
Ein Bild. Vier GPUs. Und ein Bediener, der darauf wartet.
One frame. Four GPUs. And an operator waiting to see it.
Es landet auf einem TI Jacinto.
It lands on a TI Jacinto.
Von dort übernimmt DMA; die CPU fasst es nie an.
DMA takes it from there; the CPU never touches it.
Per PCIe, direkt in den GPU-Speicher eines Jetson Orin.
Over PCIe, straight into the GPU memory of a Jetson Orin.
Vier Orins an einer Linie. Der erste stabilisiert es.
Four Orins on one line. The first steadies it.
Der zweite klärt es.
The second clears it.
Der dritte verfolgt, was sich bewegt.
The third tracks what moves.
Der vierte liest die Anzeigen ab.
The fourth reads the gauges.
Jeder beginnt in dem Moment, in dem das Bild ankommt.
Each one starts the moment the frame lands.
Dann zurück zum Jacinto und per WebRTC live auf den Bildschirm des Bedieners.
Then back to the Jacinto, and out over WebRTC, live on the operator's screen.
Dieselben Boards. Dasselbe Kabel. Jetzt soll die CPU jedes Bild kopieren.
Same boards. Same cable. Now let the CPU copy every frame.
Jede Kopie ist eine Wartezeit.
Every copy is a wait.
Auf unserem Prüfstand war DMA auf derselben Verbindung etwa achtmal schneller als CPU-Kopien.
On our bench, DMA ran about eight times faster than CPU copies on the same link.
Warten Sie noch auf das Ende des Videos?
Still waiting for the video to end?
Wenn Sie lieber nicht warten, sind Sie hier richtig.
If you'd rather not wait, you're in the right place.
