Edge AI & Computer Vision
Unter Feldlast gemessenEdge-AI-Inferenz von 31 fps auf 127 fps gesteigert
+310% Inferenzrate · −41% Leistungsaufnahme · NVIDIA Jetson Orin NX 16GB
NVIDIA Jetson Orin NX 16GB · TensorRT 8.6 · JetPack 6
01Problem
Problem: 31 fps auf einer SWaP-C-beschränkten Plattform
Auf einem autonomen unbemannten Flugsystem lieferte die Standard-FP32-ONNX-Runtime-Inferenz nur 31 fps. Auf einer durch Größe, Gewicht, Leistung und Kosten (SWaP-C) beschränkten Plattform war das für Echtzeit-Objekterkennung und -verfolgung unzureichend; das Leistungsbudget begrenzte zudem direkt die Akkulaufzeit.
- 0131 fps führten bei schnell bewegten Objekten zu Frame-Drops und Trackingverlust
- 02FP32-Inferenz sättigte die GPU und ließ keinen Spielraum für parallele Bildvorverarbeitung
- 03~14 W Leistungsaufnahme hielten die Plattform unter der Ziel-Flugzeit
- 04Das Modell wurde bei jedem Start neu aus ONNX kompiliert — die Initialisierung verzögerte den Einsatz
- 05CPU-GPU-Kopien und Kernel-Launch-Overhead in der Pipeline waren nie gemessen worden
02Systemkontext
03Ursachenanalyse
- 01Das Modell lief in FP32 — die INT8-Tensor-Cores und DLA-Kapazität des Orin NX lagen vollständig brach
- 02ONNX Runtime nutzte generische Ausführung; Layer-Fusion und Kernel-Auto-Tuning von TensorRT kamen nicht zum Einsatz
- 03Eine separate Kernel-Launch-Kette pro Frame erzeugte CPU-Overhead — GPU-Stalls waren im Profiling sichtbar
- 04Die Engine wurde bei jedem Start neu gebaut; Serialisierung wurde nicht genutzt
- 05Die gesamte Last lag auf der GPU — die DLA-Kerne blieben ungenutzt, Effizienzpotenzial wurde verschenkt
04Was wir geändert haben
INT8-Quantisierung auf YOLOv8-m angewendet, kalibriert mit repräsentativem Datensatz
→ Inferenzdurchsatz ~4× gegenüber FP32; Erkennungsgenauigkeit innerhalb der Missionsanforderungen validiert
TensorRT-Engine-Serialisierung aktiviert
→ Keine Neukompilierung beim Start — Modellladezeit optimiert
Kernel-Launch-Kette pro Frame zu einem einzigen CUDA Graph zusammengefasst
→ CPU-Launch-Overhead minimiert; kontinuierliche GPU-Auslastung gesichert
DLA-Co-Execution: geeignete Layer auf DLA, der Rest auf GPU verteilt
→ Leistungsaufnahme auf 8,4 W gesenkt (−41%) — Akkulaufzeitziel erreicht
Vorverarbeitung auf die GPU verlagert (CUDA-Resize/Normalize), CPU-GPU-Kopien reduziert
→ Pipeline-Engpass beseitigt — 127 fps Ende-zu-Ende dauerhaft gehalten
05Benchmark-Ergebnisse
06Warum es wichtig war
fps allein ist bedeutungslos; auf einer SWaP-C-beschränkten Plattform ist fps/W die relevante Metrik. 15,1 fps/W bedeuteten längere Flugzeit und mehr gleichzeitige Wahrnehmungsaufgaben mit demselben Akku.
- 01Echtzeit-Erkennung und -Verfolgung mehrerer Objekte wurde auf einem einzigen Gerät möglich
- 02−41% Leistungsaufnahme verlängerte Akkulaufzeit und Missionsdauer direkt
- 03Freigewordene GPU-Kapazität steht für zusätzliche Wahrnehmungsaufgaben (Sensorfusion) zur Verfügung
- 04Der INT8-Kalibrierungs- und Validierungsablauf wurde als wiederverwendbare Pipeline übergeben — Modellupdates folgen demselben Pfad
Um Ihren Bedarf an Edge AI & Computer Vision auf Ihrer eigenen Plattform zu bewerten, planen Sie ein Embedded-Architektur-Audit oder bestimmen Sie Ihre Plattformklasse mit dem System-Anforderungsrechner.
Methodologiehinweis
- fps-Werte beziehen sich auf die Ende-zu-Ende-Pipeline (Aufnahme → Erkennung → Ausgabe), nicht auf einen isolierten Modell-Benchmark
- Die Leistung wurde extern gemessen, unter Dauerlast, nach thermischem Gleichgewicht
- Der INT8-Genauigkeitsverlust wurde gegen die FP32-Referenz mit einem missionsrepräsentativen Validierungsset gemessen
- Vergleiche erfolgten mit identischer Hardware, identischen Eingangsströmen und identischen Leistungsmodi
- Projektdetails bleiben vertraulich unter NDA — Kundenidentität anonymisiert
Verfehlt Ihre Edge-AI-Pipeline ihr fps- oder Leistungsbudget?
Kostenlose technische Bewertung — gemeinsam analysieren wir Latenz- und Determinismusprobleme in Ihrem System.
Alle Leistungsdaten wurden in unserem eigenen Labor unter reproduzierbaren Bedingungen ermittelt. Projektdetails sind vertraulich unter NDA. Das Methodologiedokument ist auf Anfrage verfügbar.