Synthetische Datengenerierung & Computer Vision
F&E · Synthetische-Daten-PipelinePhysikalisch-korrekte synthetische Trainingsdaten für die Eisenbahn-Anomalieerkennung
Physikalisch-korrektes Compositing · 8 Anomalieklassen · automatische YOLO-Annotation
Python · Google Colab GPU · SDXL · BiRefNet · YOLOv8-seg
01Problem
Problem: Black-Swan-Hindernisdaten sind im Feld nicht erfassbar
Um ein Frontkamera-Modell zur Hinderniserkennung auf dem Gleis zu trainieren, braucht es Bilder von Objekten. Steine, Äste, Säcke, Tiere, auf den Schienen. Doch diese „Black-Swan"-Ereignisse sind in der Realität selten, gefährlich und teuer zu erfassen; man kann nicht absichtlich ein Hindernis vor einen Zug legen, um Daten zu sammeln. Die Folge: ein Mangel an positiven Beispielen und ein starkes Klassenungleichgewicht.
- 01Echtes Bildmaterial von Hindernissen auf dem Gleis existiert kaum, das Modell wird trainiert, ohne das seltene, aber kritische Ereignis je gesehen zu haben
- 02Die manuelle Annotation erfolgt Bild für Bild; bei Tausenden von Frames sind Kosten und Fehlerquote hoch
- 03Naive Copy-Paste-Composites sind physikalisch falsch (falsche Skalierung, schwebende Objekte, Lichtmissverhältnis), das Modell lernt Scheinmerkmale
- 04Die Klassenverteilung ist von Natur aus unausgewogen; einige Anomalietypen sind gar nicht vertreten
- 05Einzelbild-Composites lassen sich nicht auf Video verallgemeinern. Identität/Position springen über aufeinanderfolgende Frames
02Pipeline-Kontext
03Warum naive Ansätze nicht ausreichen
- 01Felderfassung ist unmöglich: ein Hindernis absichtlich zu erzeugen ist gefährlich und illegal, die positive Klasse kann nicht natürlich wachsen
- 02Skaleninkonsistenz: ohne Kenntnis der Schienenposition in der Perspektive erscheint ein platziertes Objekt in physikalisch falscher Größe
- 03Geometrieverletzung: ohne Bodenkontakt und Verdeckung schwebt das Objekt in der Luft, der Domain-Gap vergrößert sich
- 04Licht-/Farbmissverhältnis: passt das Quell-Asset nicht zum Szenenton, lernt das Modell, das Objekt per Farbe zu trennen (Shortcut-Learning)
- 05Zeitliche Inkonsistenz: werden Frames unabhängig erzeugt, springen Objektidentität und -position über das Video und brechen das Tracker-Training
04Wie die Pipeline funktioniert
Auswahl vielfältiger repräsentativer Frames aus dem Zugvideo via CLIP-Embedding + Clustering
→ Ein Basis-Frame-Pool mit hoher Szenenvielfalt, ohne Aufblähung durch Beinahe-Duplikate
Segmentierung von Schiene und Schotterkorridor mit YOLOv8-seg (ray_alan.pt); Vanishing-Point + Hough als Fallback
→ Wohin das Objekt kommt, ist geometrisch bekannt, an den Schienenkorridor gebunden, nicht zufällig
Generierung der Anomalie-Assets mit SDXL und Matting mit BiRefNet; automatische QS für Einzelobjekt, Kantenkontakt und pHash/CLIP-Dedup
→ Eine saubere, transparente, duplikatfreie Asset-Bibliothek; Mehrobjekt- und Kopierartefakte werden gefiltert
Ableitung der Platzierungsskala aus der Standard-Spurweite (1.435 m); klassenbedingte Zonen + Pose-Priors angewandt
→ Das Objekt sitzt in perspektivisch korrekter, physikalisch plausibler Größe und an einer sinnvollen Position für seine Klasse
Hinzufügen von Bodenkontaktschatten, Reinhard-Farbanpassung, distanzbasierter Unschärfe und Sensorrauschen in der Harmonisierung
→ Das Objekt verankert sich in der Szene; Farb-/Licht-Shortcuts werden reduziert, der Domain-Gap sinkt
Automatische Erzeugung der Annotation aus dem sichtbaren Alpha nach der Transformation; Filterung via On-Rail-QS und Sichtbarkeitsschwelle
→ Zero-Touch-YOLO-Labels; Beispiele, die vom Gleis fallen oder unsichtbar werden, werden automatisch verworfen
Auf Videoebene Hinzufügen einer festen Track-ID, eines KLT-Optical-Flow-Ankers und EMA-Temporal-Smoothing
→ Eine einzige Identität über den Clip, an die Schiene gebunden und jitterfrei, zeitlich konsistente Ausgabe
05Fähigkeitsvergleich (Naive Baseline → Pipeline)
Synthetische Datenerzeugung mit automatischer Annotation
Der Trainingsdatensatz für die Bahnanomalie-Erkennung wird in Blender erzeugt. Die Bounding-Boxen der in der Szene platzierten Objekte werden nicht von Hand gezeichnet, sie entstehen automatisch beim Rendern. Die Boxen im Video sind genau diese automatische Ausgabe.
Das Material ist synthetisch und keine Aufzeichnung einer Feldinspektion. Ziel ist ein annotierter Trainingsdatensatz für Szenarien, in denen echte Datenerhebung teuer und gefährlich ist.
06Warum es zählt
Diese Pipeline macht kritische Hindernisszenarien, im Feld unmöglich zu erfassen, als synthetische, automatisch annotierte Daten verfügbar. Für die autonome Eisenbahnsicherheit (ODS) zielt sie darauf ab, den Mangel an positiven Beispielen und das Klassenungleichgewicht beim Training von Hinderniserkennungsmodellen zu beseitigen.
- 01Unbegrenzte, balancierte Daten in den gewünschten Anomalieklassen, ohne gefährliche/teure Felderfassung
- 02Manuelle Annotationskosten gehen gegen null. Labels werden automatisch aus der Transformation abgeleitet
- 03Physikalisch-korrekte Platzierung und Harmonisierung verkleinern den Sim-to-Real-Domain-Gap gezielt
- 04Bild- und frame-konsistente Videoausgabe: für Detektor- und Tracker-Training nutzbar
- 05Modulare Config-Flags (Depth, Diffusion-Refine, Z-Buffer-Verdeckung) für stufenweise künftige Verstärkung
Um Ihren Bedarf an Synthetische Datengenerierung & Computer Vision auf Ihrer eigenen Plattform zu bewerten, planen Sie ein Embedded-Architektur-Audit oder bestimmen Sie Ihre Plattformklasse mit dem System-Anforderungsrechner.
Methodik- & Umfangshinweis
- Dies ist eine F&E-/Fähigkeitsarbeit; es ist kein gelieferter Kundenerfolg und keine feldverifizierte Metrik.
- Die obigen Zahlen sind Pipeline-Fähigkeitsbeschreibungen (Klassenzahl, Gauge-Skala, Automatisierung), sie enthalten keine erfundene Genauigkeits-/fps-Metrik.
- Als Skalenreferenz dient die internationale Standard-Spurweite von 1.435 m.
- Die Sim-to-Real-Leistung erfordert eine separate Validierung an einem realen Anomalie-Testsatz und ist in Arbeit.
- Schwere Inferenz (SDXL, Segmentierung, Video) läuft auf GPU (Google Colab).
Benötigen Sie einen synthetischen, automatisch annotierten Datensatz für Ihre eigene Domäne?
Kostenlose technische Bewertung, gemeinsam analysieren wir Latenz- und Determinismusprobleme in Ihrem System.
* F&E-/Fähigkeitsfall. Black-Swan-Hindernisdaten lassen sich im Feld nicht sicher erfassen und werden daher synthetisch erzeugt. Die Werte hier sind Pipeline-Fähigkeitsbeschreibungen, keine feldverifizierten Genauigkeitsmetriken. Die Sim-to-Real-Validierung ist in Arbeit.