Filme

Ingenieurfilme

Wir erklären die Probleme, an denen wir arbeiten, mit Szenen, die wir in Blender bauen: wie ein Frame eine Fertigungslinie durchläuft, das Objekt, das ein Fahrzeug nicht sieht, Vogel und Drohne, die in einem Frame gleich aussehen, wann man nicht rechnen sollte, und Trainingsdaten, die man nicht filmen kann. Konzeptfilme zeigen ein Prinzip, sie beweisen keine Leistung. Eine Zahl erscheint nur, wenn wir sie gemessen haben, mit Aufbau und Methode.

Filme
10
Gesamtlänge
9:43
Transkript
TR · EN · DE
  • KONZEPTFILM4
  • ILLUSTRATION + PRÜFSTANDSDATEN2
  • SYNTHETISCHE DATEN3
  • SYNTHETISCHES KOMPOSIT1

Neuester Film · KONZEPTFILM

Alles berechnen? Neuromorpher Prozessor und GPU in der vorausschauenden Wartung

An der Edge ist die eigentliche Frage nicht, wie schnell wir rechnen, sondern ob wir alles rechnen müssen. Ein Jetson Orin Nano Super schickt jedes Sensorfenster durch das ganze Modell; ein BrainChip AKD1500 arbeitet nur, wenn ein Ereignis eintrifft. Das Beispiel ist ein Lager an einem Pumpenmotor.

Kapitel und Transkript

Alle Filme · 10

Vier Jetson-AGX-Orin-Einheiten an einer PCIe-Linie; im Bild über der vierten Einheit werden Anzeigen in der Fabrik abgelesen, Blender-Rendering1:04
ILLUSTRATION + PRÜFSTANDSDATEN

Direkt in die GPU: Zero-Copy-PCIe von TI Jacinto zu Jetson Orin

Ein Kamerabild, vier GPUs und ein Bediener, der darauf wartet. Das Bild landet auf einem TI Jacinto, von dort übernimmt DMA, und es geht per PCIe direkt in den GPU-Speicher eines Jetson Orin; die CPU fasst es nicht an. Danach dieselben Boards und dasselbe Kabel, diesmal kopiert die CPU jedes Bild.

Bahnstrecke in der Dämmerung: der aus den Schienen gelesene Horizont, ein Diagramm des Schienenabstands pro Bildzeile und der Satz „Die Schienen sind das Lineal“; Blender-Rendering1:00
SYNTHETISCHE DATEN

Synthetische Daten für die Hinderniserkennung am Gleis: Die Schienen sind das Lineal

Auf ein Hindernis im Gleis kann man nicht warten, und man kann keines nachstellen. Deshalb entstehen die Trainingsdaten auf realen Führerstandsaufnahmen, und jeder Schritt wird gemessen: Die Schienen liefern Horizont und Maßstab ohne Kalibrierung, ein platziertes Hindernis bleibt in der Szene fest, sein Label folgt dem sichtbaren Teil.

Pan-Tilt-Kamerakopf auf einem Mast, Blender-Rendering1:01
KONZEPTFILM

Echtzeit hat ihren Preis: wann man nicht rechnen sollte

Ein Sensor am Mast verfolgt ein Objekt am Himmel. Das schwere Modell läuft auf einem Frame, die Frames dazwischen trägt eine weit günstigere Vorhersage weiter. Durchgehende Wahrnehmung, weniger unnötige Rechenlast.

Autonomer Terminal-Trecker auf dem Weg zur Kreuzung entlang eines Containerstapels, Blender-Rendering1:36
KONZEPTFILM

Das Objekt, das Ihr Fahrzeug nicht sieht: kooperative Wahrnehmung

Ein autonomer Terminal-Trecker nähert sich einer Kreuzung, an der ein Containerstapel einen Stapler verdeckt. Ein Wahrnehmungsknoten am Fahrbahnrand sendet den Zustand des Objekts statt eines weiteren Videostreams, und das Fahrzeug verzögert, bevor es selbst etwas sieht.

Sumpf im ersten Licht, ein Schwarm hebt vom Wasser ab, Blender-Rendering1:20
KONZEPTFILM

Eine Spur ist eine Form in der Zeit: Vogel oder Drohne an einem Mast

In einem einzelnen Frame sind Vogel und Drohne derselbe dunkle Punkt. Ein Tracker macht aus jedem Punkt einen Weg; eine Spur in diesem Film schlägt nie mit den Flügeln, fliegt geradeaus, steht in der Luft und gleitet seitwärts, ohne sich zu drehen. Der Ton ist der zweite Hinweis.

Schweißroboter an einer Autokarosserie, Blender-Rendering1:20
ILLUSTRATION + PRÜFSTANDSDATEN

Ein Frame, jede Maschine: wie EtherCAT Daten in der Fertigungslinie bewegt

Der Controller baut in jedem Zyklus einen Frame mit einem Platz für jedes Gerät der Linie. Im Durchlauf entnimmt jedes Gerät seinen Befehl und schreibt seine Antwort zurück, in Hardware, unterwegs. Auf unserem Prüfstand gemessen: 19,2 µs im Mittel, 30,9 µs maximal, 0 % Paketverlust.

Dieselbe Bahnszene in vier Bedingungen: klarer Winter, bedeckter Winter, Dämmerung, Dunst; Blender-Rendering0:27
SYNTHETISCHE DATEN

Wir haben nicht auf den Winter gewartet: eine Bahnszene, vier Bedingungen (synthetische Daten)

Eine Bahnszene, ein Kamerapfad, vier Umgebungsbedingungen, in Blender gerendert statt gefilmt. Die orangefarbenen Boxen sind vom Renderer geschriebene Ground Truth, in allen vier Bedingungen identisch.

Synthetische Hindernisse in realen Bahnaufnahmen, mit den Label-Boxen aus dem Platzierungsschritt0:20
SYNTHETISCHES KOMPOSIT

Automatisch annotierte synthetische Hindernisse auf realen Bahnaufnahmen

Synthetische Hindernisse auf realen Führerstandsaufnahmen: Schienensegmentierung pro Frame, weltfeste, an der Spurweite skalierte Platzierung und YOLO-Labels, die aus dem Platzierungsschritt entstehen. Dieser Lauf: 960 Frames, 8 Klassen, 3.145 Annotationen.

In Blender gebaute Bahnszene: Tunnel, Weiche und Gleise0:35
SYNTHETISCHE DATEN

Trainingsdaten, die man nicht filmen kann: synthetische Bahnhindernisse in Blender

Man kann keinen Stein vor einen Zug legen, um Trainingsdaten zu sammeln. Die Szene wird stattdessen in Blender erzeugt, und die Labels entstehen mit: Stein, Tier und Kiste auf dem Gleis, jeweils mit automatisch erzeugter Box und Klasse.

Konzeptfilm

Szene, Fahrzeuge sowie Boxen und Spuren im Bild sind unsere 3D-Animation, keine Detektorausgabe. Der Film zeigt ein Architekturprinzip und behauptet keine Messung.

Prüfstandsdaten

Steht eine Zahl im Bild, haben wir sie auf unserem eigenen Prüfstand gemessen, und der Aufbau steht daneben. Heute gilt das nur für den EtherCAT-Film; neben dem Mittelwert nennen wir auch das Maximum.

Synthetische Daten

Die Boxen in den Bahnfilmen sind keine Modellvorhersagen, sondern beim Rendern oder Platzieren geschriebene Ground Truth. Das Material ist erzeugt, nicht im Feld aufgenommen.