Kooperative Wahrnehmung bedeutet: Ein Fahrzeug erfährt von einem Objekt, das seine eigenen Sensoren nicht sehen, über die Nachricht eines Knotens, der es sieht. Bei einem Gabelstapler hinter einer verdeckten Ecke ist das Problem Geometrie, nicht Modellqualität: Keine Kamera, kein Lidar und kein größeres neuronales Netz sieht durch einen Containerstapel. Die Lösung ist ein zweiter Blickwinkel, ein Mast an der Ecke, der den Gang sieht und den Zustand des Objekts sendet. Schwierig sind Zeit und Koordinaten: Ein empfangener Track beschreibt die Vergangenheit und muss in das eigene Bezugssystem und auf jetzt gebracht werden. Stille heißt nicht, dass der Weg frei ist.

Kurz gesagt

  • Verdeckung (Occlusion) ist Geometrie; ein besseres Modell findet kein Objekt, das nicht in den Sensordaten steckt.
  • Der Mast sendet Objektzustände statt Video: Identität, Klasse, Position, Geschwindigkeit, Richtung, Unsicherheit, Beobachtungszeitpunkt, Bezugssystem.
  • Ein empfangener Track liegt in der Vergangenheit; der Empfänger bringt ihn in ein gemeinsames Bezugssystem, prädiziert ihn auf jetzt und vergrößert seine Unsicherheit.
  • Detektion ist nicht die Entscheidung; entscheidend ist, ob zwei Korridore zur selben Zeit denselben Raum beanspruchen.
  • Stille heißt „unbekannt“; kooperative Wahrnehmung ersetzt die Sicherheitskette nicht.

Warum sieht ein größeres Modell nicht hinter eine Wand?

Im Film nähert sich eine autonome Terminalzugmaschine in einem Containerterminal einer T-Kreuzung. Ein drei Lagen hoher Containerstapel zu ihrer Rechten verdeckt einen Gabelstapler, der durch den Gang kommt; zwischen beiden gibt es keine Sichtlinie.

Eine Kamera blickt nicht durch einen Container, ein Lidar liefert keine Punkte hinter einer Wand; Radarreflexionen an Metallflächen verorten ein verdecktes Objekt nicht zuverlässig. Ein größeres neuronales Netz findet kein Objekt, das nicht in den Pixeln steckt; bestenfalls rät es. Die Frage lautet dann nicht mehr „Wie verbessere ich das Modell?“, sondern „Von wo aus sehe ich diesen Gang?“. Ein hoher Mast an der Ecke kann beide Seiten des Stapels sehen.

Wie der Film entstand. Die Sichtlinien haben wir nicht von Hand gezeichnet: In Blender prüfte Ray Casting in jeder halben Sekunde Szenenzeit, was jeder Sensor tatsächlich sehen kann. Nähert sich der Gabelstapler der Kreuzung, verlässt er das Sichtfeld der Mastkamera, und das breitere Radar übernimmt den Track; diese Übergabe stand nicht im Drehbuch, sie ergab sich aus der Geometrie. Das sind Beobachtungen aus der Szene, keine Systemmessungen. ETSI TS 103 324 (Abschnitt 7.1.6) hält fest, dass sich abgeschattete Bereiche auf dieselbe Weise mit Strahlen berechnen lassen.

Was macht der straßenseitige Wahrnehmungsknoten?

Am Mast sitzen eine Kamera, ein Radar und ein kleiner Rechner. Unterschiedliche Physik versagt unterschiedlich. Eine Kamera misst Winkel und Erscheinungsbild direkt und leitet Entfernung und Geschwindigkeit ab; sie hat Probleme mit Dunkelheit, Blendung und verschmutzter Optik. Ein Radar misst Entfernung und Radialgeschwindigkeit (Doppler) direkt; es ist schwach in der Klassifikation und kann an Metallflächen Geisterziele erzeugen. Der Knoten behält, worin sich beide einig sind: Die Kamera bestätigt das Geisterziel des Radars nicht, das Radar engt die Entfernungsunsicherheit der Kamera ein.

Tracking macht aus Detektionen Tracks. Ein Objekt, das über die Zeit zugeordnet wird, dessen Zustand und Unsicherheit ein Filter schätzt (etwa ein Kalman-Filter) und das eine stabile Identität trägt, ist ein Track. Verlässt das Objekt wie im Film das Sichtfeld der Kamera und bleibt nur im Radarbereich, muss der Track seine ID behalten; sonst werden beim Empfänger aus einem Gabelstapler zwei. Diese Kette beschreiben wir auf unserer Seite zur Sensorfusion.

Was verlässt den Mast: Video oder Objektzustand?

Das Fahrzeug braucht den Zustand des Objekts, keine Bilder.

Kriterium Videostrom Objektzustand
Bandbreite Hoch, schwankt mit der Szene Gering; Objekte × Nachrichtenrate
Verzögerungskette Kodieren, Netz, Dekodieren, erneute Inferenz Inferenz am Mast, Serialisierung, Netz
Aufwand beim Empfänger Detektor, Kamerakalibrierung, Tracking Transformation, zeitliche Prädiktion, Fusion
Datenschutz Personen, Gesichter, Kennzeichen Kein Bild; Klasse und kinematischer Zustand
Zeitinformation Bildzeitpunkt; Ereigniszeit muss abgeleitet werden Beobachtungszeitpunkt ist ein Feld
Fehlersuche Mit bloßem Auge prüfbar Braucht Aufzeichnung und Wiedergabe

Rechenbeispiel: Angenommen werden 100 Byte pro Objekt, 20 Objekte und 10 Nachrichten pro Sekunde: 100 × 20 × 10 = 20.000 Byte/s, also 160 kbit/s. Setzt man für das Video 4 Mbit/s an, beträgt der Unterschied etwa das 25-Fache. Video gehört auf den Bildschirm des Bedieners (siehe unsere WebRTC-Fallstudie).

Mindestfelder (Pseudocode, keine Feldnamen einer Norm):

typedef struct {
    uint16_t node_id;
    uint32_t seq;             /* erkennt Verlust und Vertauschung */
    uint32_t track_id;        /* übersteht den Wechsel Kamera -> Radar */
    uint8_t  cls, cls_conf;
    uint64_t t_obs_ns;        /* Beobachtungszeitpunkt: TAI, per PTP disziplinierte Uhr */
    uint8_t  frame;           /* Bezugssystem: SITE_ENU */
    float    x, y, vx, vy;    /* Position [m], Geschwindigkeit über Grund [m/s] */
    float    yaw, yaw_rate;   /* Ausrichtung [rad], Gierrate [rad/s] */
    float    cov[10];         /* Kovarianz von x, y, vx, vy, oberes Dreieck */
    uint8_t  clock_ok;        /* ist die Uhr des Senders synchron */
} ObjectState;

Die Ausrichtung wird getrennt vom Geschwindigkeitsvektor geführt, weil Gabelstapler oft rückwärts fahren.

Was sagen die Normen?

  • ETSI TS 103 324 V2.1.1 (2023). Eine Collective Perception Message (CPM) trägt eine Referenzzeit und eine Referenzposition. Das Feld measurementDeltaTime gibt pro Objekt den Abstand der Messung zu dieser Zeit in Millisekunden an und muss die Verarbeitungszeit von Sensor und Fusion enthalten. Die Position ist Pflicht, Geschwindigkeit und Klasse sind optional; jede kinematische Komponente trägt einen Konfidenzwert mit 95 % Konfidenzniveau. Straßenseitige Stationen verwenden ein Ost-Nord-Oben-System (ENU).
  • SAE J3224 (2022). Definiert einen Sensor Sharing Service, über den straßenseitige Einheiten und V2X-Fahrzeuge erkannte Objekte teilen; die Nachricht heißt meist SDSM (Sensor Data Sharing Message).
  • ETSI EN 302 637-2 V1.4.1 (2019), CAM. Beschreibt die sendende Station selbst, nicht das, was sie sieht; einen Gabelstapler ohne Funk kann nur der Mast beschreiben. Die Zeitregel ist trotzdem vorbildlich: Der Zeitstempel einer Fahrzeug-CAM ist der Zeitpunkt, zu dem ihre Position bestimmt wurde.

Zeit und Koordinaten: Wie wird ein Track zu „jetzt“ und „hier“?

Beobachtungszeit ist nicht Empfangszeit

Bis ein Track Belichtung, Inferenz, Fusion, Serialisierung und Netz durchlaufen hat, ist das Objekt weitergefahren. Die Nachricht trägt deshalb den Beobachtungszeitpunkt, und beide Uhren müssen dieselbe Zeitdomäne und Zeitskala teilen. In einem gemeinsamen kabelgebundenen Netz sind PTP und gPTP (IEEE 1588, IEEE 802.1AS) die üblichen Werkzeuge; teilen sich Mast und Fahrzeug nur eine Funkverbindung, können beide Uhren einer gemeinsamen Quelle wie GNSS folgen. Zwischen Containerstapeln kann der GNSS-Empfang leiden, deshalb gehört das Verhalten der Uhr nach Quellenverlust zum Entwurf. Mehr dazu in unseren Beiträgen zu Zeitstempeln in der Sensorfusion (auf Türkisch) und zu TSN (auf Türkisch).

Den Track auf jetzt prädizieren

Der Empfänger schreibt das Objekt um das Alter der Nachricht mit einem Bewegungsmodell fort: konstante Geschwindigkeit (CV) oder, für einen abbiegenden Gabelstapler, konstante Gierrate und Geschwindigkeit (CTRV). Die Prädiktion vergrößert auch die Unsicherheit: P ← F·P·Fᵀ + Q.

Rechenbeispiel: Der Gabelstapler fährt 2,1 m/s (Szenariowert aus dem Film, zur Illustration), die Nachricht ist 150 ms alt. Setzt der Empfänger den Track auf den Empfangszeitpunkt, beträgt der Positionsfehler 2,1 × 0,150 = 0,315 m, also rund 0,32 m; je weitere 100 ms kommen 0,21 m hinzu.

Auch das Aktualisierungsintervall zählt. Mit den empfohlenen Werten der Spezifikation liegt die CPM-Erzeugungsperiode zwischen 100 ms und 1 s. Nach den empfohlenen Regeln wird ein Objekt der Fahrzeugklasse erneut gesendet, wenn es neu erkannt wird, wenn sich seine Position um mehr als 4 m oder seine Geschwindigkeit um mehr als 0,5 m/s ändert, wenn sich seine Bewegungsrichtung um mindestens 4° dreht oder wenn seit dem letzten Senden 1 s vergangen ist; straßenseitige Stationen dürfen eigene Regeln wählen. Rechenbeispiel: Ein als Fahrzeug gemeldeter Gabelstapler, der mit 2,1 m/s geradeaus fährt, braucht für 4 m rund 1,9 s; also löst die 1-s-Grenze die nächste Aktualisierung aus. Dazwischen schreibt der Empfänger ihn bis zu 2,1 m mit dem eigenen Modell fort.

Ein Bezugssystem

Ein zeitlich richtiger Track kann am falschen Ort liegen. Die Mastpose T(Gelände←Mast) wird nach der Montage vermessen und kalibriert; Schwingen im Wind, Wärmeausdehnung oder Wartung können sie verändern. Die Fahrzeugpose T(Gelände←Fahrzeug) stammt aus der Lokalisierung und muss zu dem Zeitpunkt abgetastet werden, auf den der Track prädiziert wird. Die Kette lautet T(Fahrzeug←Mast) = T(Gelände←Fahrzeug)⁻¹ · T(Gelände←Mast). Liegt das Weltmodell im Geländesystem, sieht das Fahrzeug die eigene Pose und den fremden Track in denselben Koordinaten zum selben Zeitpunkt.

Rechenbeispiel: Ein Gierwinkelfehler von 0,5° in der Mastpose ergibt bei 40 m einen Querfehler von 40 × tan(0,5°) ≈ 0,35 m, dieselbe Größenordnung wie 150 ms Alter. Gute Uhrensynchronisation gleicht schlechte Kalibrierung nicht aus. Eine günstige Prüfung: Fährt das Fahrzeug ins Sichtfeld des Masts, erzeugt der Mast auch für das Fahrzeug einen Track; weicht dieser von der eigenen Lokalisierung ab, sind Pose, Uhr oder Latenzzeit weggelaufen.

Detektion ist nicht die Entscheidung: Wollen zwei Zukünfte denselben Raum?

Entscheidend ist, ob sich der geplante Korridor des Fahrzeugs und der prädizierte Korridor des Gabelstaplers in Raum und Zeit schneiden. Der Korridor des Staplers wird um seine Unsicherheit verbreitert, und mit dem Alter der Nachricht weiter. Schneiden sie sich, ist die Antwort ein Geschwindigkeitsprofil, kein Alarm.

Rechenbeispiel: Ein Fahrzeug mit 3 m/s und 18 m bis zum Konfliktpunkt braucht zum Anhalten dort v²/(2d) = 9/36 = 0,25 m/s²; erfährt es erst 4,5 m vorher von dem Objekt, braucht es 9/9 = 1 m/s². Ein Viertel der Strecke bedeutet die vierfache Verzögerung. Die Werte sind Annahmen, das Verhältnis ist Physik. Deshalb bremst das Fahrzeug im Film nicht hart: Es verzögert früh und sanft, bevor es den Gabelstapler sehen kann.

Warum heißt Stille nicht „Weg frei“?

Der gefährlichste Fehler sieht nicht wie ein Softwarefehler aus: Vom Mast kommt keine Nachricht, und das Fahrzeug liest daraus „Gang frei“. Doch das Netz kann ausgefallen sein, der Mastrechner neu gestartet, die Kamera verschmutzt, oder der Mast sendet nicht mehr, weil seine Uhr die Synchronisation verloren hat.

Die Spezifikation trifft dieselbe Unterscheidung: TS 103 324 hält fest, dass nicht jedes bekannte Objekt in jeder CPM steht und der Empfänger früher gemeldete Objekte verfolgen und prädizieren muss. Freiraum wird ausdrücklich gemeldet, nicht durch Abwesenheit: Wahrnehmungsbereiche (Perception Regions) tragen ein Konfidenzniveau, und ein eigenes Flag (shadowingApplies) sagt, ob es auch in abgeschatteten Bereichen gilt.

Mastzustand Bedingung Verhalten des Fahrzeugs
FRISCH Alter der Nachricht unter der Grenze, Uhr synchron Fremde Tracks gehen in die Planung ein
VERALTET Grenze überschritten, noch nicht verloren Korridore werden breiter, Geschwindigkeit sinkt
VERLOREN Keine Nachrichten, Sequenzlücken oder keine Synchronisation Verdeckte Ecke gilt als möglicherweise belegt; das Fahrzeug fährt so langsam, dass es innerhalb der eigenen Sichtweite anhalten kann

Der Mast muss deshalb auch ohne Meldung einen regelmäßigen Heartbeat senden: Sequenznummer, Sensor- und Synchronisationsstatus. Nur so lässt sich „kein Objekt“ von „keine Nachricht“ unterscheiden.

Warum bleibt die Sicherheitskette getrennt?

Mit den Worten des Films: Wahrnehmung plant unter Linux, Regelung antwortet auf eine Deadline. Die Wahrnehmung hängt an Scheduler, Netz und neuronalem Netz, und jedes davon kann ausfallen. Der Regelkreis läuft in einer deterministischen Umgebung mit begrenzter Latenzzeit (siehe unsere Seite zu harter Echtzeit). Darunter liegt ein unabhängiger Sicherheitspfad, gestützt auf die eigenen Sicherheitssensoren und Bremsen des Fahrzeugs; er arbeitet, ob von der kooperativen Wahrnehmung etwas ankommt oder nicht.

Kooperative Wahrnehmung verändert diesen Pfad nicht und wird nicht zu seiner Abhängigkeit; sie warnt den Planer früh. Stammen die Anforderungen des Kunden aus einer Norm wie ISO 3691-4 (fahrerlose Flurförderzeuge) oder IEC 61508 (funktionale Sicherheit), sollte die Architektur von Anfang an festlegen, auf welche Komponenten sich die Sicherheitsfunktion stützt und auf welche nicht.

Wo es schiefgeht

  1. Stille als Freiraum werten. Tests zeigen es nicht; im Test sendet der Mast immer.
  2. Empfangszeit als Beobachtungszeit nehmen. Netzverzögerung wird direkt zum Positionsfehler.
  3. Verwechselte Zeitskalen. TimestampIts basiert auf TAI und lag laut ETSI-Datenwörterbuch am 1. Januar 2022 5 s vor UTC. Stempelt der Sender in UTC und rechnet der Empfänger in TAI, wirkt jede Nachricht 5 s alt und wird stillschweigend verworfen: Das System scheint zu laufen, doch kooperative Wahrnehmung findet nicht statt.
  4. Weggelaufene Kalibrierung am Mast. Ein kleiner Winkelfehler wächst mit der Entfernung; der Track erscheint zur richtigen Zeit am falschen Ort.
  5. Geisterobjekte. Radarreflexionen an Containerwänden lösen unnötige Verzögerungen aus; das kostet Durchsatz und Vertrauen.
  6. Zuordnungsfehler. Derselbe Gabelstapler kann doppelt erscheinen, als lokaler und als fremder Track; zwei Stapler können verschmelzen; beim Wechsel von Kamera zu Radar kann sich die ID ändern.
  7. Schwankende Netzlatenz. Eine verspätete alte Nachricht darf keinen neueren Zustand überschreiben; Sequenznummer und Beobachtungszeitpunkt verhindern das.

Was würden wir messen?

Im Film gibt es keine Zahlen. Diese Werte lohnen eine Veröffentlichung:

  • Beobachtung bis Aktorreaktion: ein physisches Ereignis, das die Mastkamera sieht (etwa eine LED, die einschaltet), und der Geschwindigkeitsbefehl des Fahrzeugs, gestempelt in derselben Zeitdomäne; unter Volllast, mit Blick auf den Ausläufer der Verteilung.
  • Uhrenversatz zwischen Knoten: am Prüfstand beide PPS-Ausgänge auf einem Oszilloskop; im Feld Protokolle von Versatz und Lock-Zustand.
  • Jitter des Regelkreises: Verteilung und schlechtester Fall der Zyklusstartzeiten, während Wahrnehmung, Netz und Aufzeichnung gleichzeitig laufen.
  • Watt am Gehäuse: mit Heizung und Lüftern, bei den Temperaturextremen.

Wenn wir einen Wert veröffentlichen, stehen Aufbau und Methode daneben.

Was dieser Beitrag nicht sagen kann

  • Wir haben ein solches System weder im Feld aufgebaut noch gemessen. Die Zahlen hier stammen aus den Normen oder sind Rechenbeispiele mit genannten Annahmen.
  • Der Film ist ein Konzeptfilm: Terminal, Fahrzeuge, Sensoren, Tracks und Korridore sind unsere eigene 3D-Animation, keine Ausgabe eines Detektors oder einer Steuerung.
  • 150 ms sind ein Beispiel, kein von uns gemessenes Zeitbudget.
  • Die relevanten Abschnitte der ETSI-Dokumente haben wir gelesen; von SAE J3224 lag uns nur die veröffentlichte Zusammenfassung vor.
  • Funkschicht und Nachrichtensicherheit liegen außerhalb dieses Beitrags. Er ist keine Sicherheitsbewertung für ein bestimmtes Fahrzeug oder Gelände.

Häufig gestellte Fragen

Was ist kooperative Wahrnehmung?

Kooperative Wahrnehmung bedeutet, dass ein Fahrzeug von Objekten, die seine eigenen Sensoren nicht sehen, über Objektzustände erfährt, die ein anderer Knoten teilt, etwa ein straßenseitiger Mast. ETSI TS 103 324 und SAE J3224 definieren die Nachrichtenstruktur dafür.

Warum Objektzustände statt Video senden?

Das Fahrzeug braucht keine Bilder, sondern die Antwort, wo das Objekt ist, wohin es fährt und wie sicher das ist. Objektzustände brauchen viel weniger Bandbreite, enthalten keine personenbezogenen Bilder, erfordern keinen Detektor beim Empfänger und tragen den Beobachtungszeitpunkt.

Was passiert, wenn eine Nachricht zu spät oder gar nicht ankommt?

Eine verspätete Nachricht wird vom Beobachtungszeitpunkt auf jetzt prädiziert, ihre Unsicherheit wächst mit dem Alter; jenseits der Veraltungsgrenze wird sie nicht verwendet. Bleibt sie aus, heißt das nicht, dass der Weg frei ist: Schweigt der Mast, gilt die verdeckte Ecke als möglicherweise belegt, und das Fahrzeug fährt so langsam, dass es innerhalb der eigenen Sichtweite anhalten kann.

Ersetzt kooperative Wahrnehmung das Sicherheitssystem?

Nein. Sie ist eine Planungseingabe, die von Netz und Scheduler abhängt; der unabhängige Sicherheitspfad muss weiterarbeiten, ob von ihr etwas ankommt oder nicht. Ihr Beitrag ist Zeit: Das Fahrzeug kann dieselbe Situation früher und mit sanfterer Verzögerung lösen.

Quellen

Zugriff auf die Quellen: 26. September 2026.