Rayda engel tespiti, kağıt üzerinde sıradan bir nesne tespiti problemi gibi görünür: tren önü kamerası, YOLO tabanlı bir dedektör, sekiz anomali sınıfı. Pratikte ise problemin en zor kısmı model değil, veridir. Boş ray görüntüsü sınırsızdır; rayın üzerinde taş, ağaç dalı, çuval ya da hayvan bulunan görüntü ise neredeyse hiç yoktur — ve kimse veri toplamak için bir trenin önüne engel koyamaz. Spikedge'in demiryolu Ar-Ge hattı bu kilidi tersinden açar: sahada toplanamayan kara-kuğu senaryoları, fiziksel kurallara bağlı kalınarak sentetik üretilir ve etiketler de üretim sırasında otomatik doğar. Bu yazıda SDXL + BiRefNet + YOLOv8-seg üzerine kurulu hattı aşama aşama anlatıyoruz. Baştan söyleyelim: bu bir Ar-Ge çalışmasıdır, sim-to-real doğrulaması sürmektedir; burada saha doğruluğu iddiası bulamayacaksınız.
Pozitif Örnek Kıtlığı: Problemin Gerçek Şekli
Engel tespit modeli eğitmenin önündeki asıl engel algoritmik değil, istatistikseldir. Pozitif sınıf — rayda gerçekten bir engelin bulunduğu kare — üç nedenle doğal yolla büyütülemez:
- Nadir: Gerçek engel olayları o kadar seyrektir ki bir işletmecinin arşivinde bazı sınıflar için tek bir örnek bile bulunmayabilir. Olay gerçekleştiğinde elde kalan da çoğu zaman düşük kaliteli, tek açılı bir kayıttır.
- Tehlikeli ve hukuka aykırı: Pozitif örneği kasıtlı yaratmak — rayın üzerine nesne koyup önünden tren geçirmek — bir veri toplama yöntemi değil, güvenlik ihlalidir.
- Pahalı: Eldeki az sayıda kaydın kare kare manuel etiketlenmesi gerekir; binlerce kare söz konusu olduğunda hem maliyet hem hata oranı yükselir.
Sonuç ağır sınıf dengesizliğidir: model, tam da tespit etmesi için eğitildiği nadir olayı eğitim boyunca ya hiç görmez ya da tek tük görür; bazı anomali türleri veri setinde hiç temsil edilmez. Bu, daha çok kamera takarak veya daha uzun kayıt alarak çözülebilecek bir durum değildir. Bu bir veri toplama problemi değil, veri üretme problemidir.
Naif Kompozit Neden Çalışmaz
İlk akla gelen çözüm bellidir: internetten bir taş fotoğrafı bul, arka planını sil, ray görüntüsünün üzerine yapıştır. Bu yaklaşım dört fiziksel ihlalle çöker:
- Ölçek: Rayın perspektifteki konumu bilinmeden yerleştirilen nesne ya dev ya cüce görünür. Model, boyutu tutarsız nesnelerden gerçek dünya için geçerli bir temsil öğrenemez.
- Geometri: Zemin temas noktası ve gölge hesaplanmazsa nesne havada asılı durur; oklüzyon yoksa sahneyle hiçbir derinlik ilişkisi kurulamaz.
- Işık ve renk: Kaynak görselin tonu sahneyle eşleşmediğinde model, nesneyi şekliyle değil renk uyumsuzluğuyla ayırt etmeyi öğrenir. Literatürde shortcut learning denen bu davranış, sentetik veride ölçülen başarımın gerçek veride buharlaşmasının başlıca nedenlerindendir.
- Zaman: Kareler bağımsız üretilirse videoda nesnenin kimliği ve konumu kareden kareye zıplar; dedektör bir yana, tracker eğitimi tamamen bozulur.
Buradan çıkan tasarım kuralı hattın tamamını şekillendirir: sentetik veri, gerçeğe benzediği ölçüde değil, gerçeğin fiziksel kurallarına uyduğu ölçüde işe yarar.
Hattın Omurgası: Yedi Aşamalı Üretim Zinciri
Spikedge'in hattı, tren önü videosundan otomatik etiketli veri setine giden yolu yedi aşamaya böler:
| # | Aşama | Araç / Yöntem | Çıktı |
|---|---|---|---|
| 1 | Kare seçimi | CLIP embedding + kümeleme | Çeşitliliği yüksek taban kare havuzu |
| 2 | Ray segmentasyonu | YOLOv8-seg (ray_alan.pt); vanishing-point + Hough fallback | Ray + balast koridoru maskesi |
| 3 | Varlık üretimi | SDXL (sınıf başına prompt seti) | 8 anomali sınıfı için aday görseller |
| 4 | Matting + QC | BiRefNet; tek-obje, kenar-temas, pHash/CLIP dedup | Şeffaf PNG asset kütüphanesi |
| 5 | Yerleştirme | 1.435 m gauge ölçeği + sınıf-koşullu bölge + poz öncülleri | Fiziksel-doğru kompozit |
| 6 | Harmonizasyon | Temas gölgesi + Reinhard renk eşleme + mesafe blur + sensör gürültüsü | Sahneye oturan nesne |
| 7 | Etiket + video | Alpha→YOLO, on-rail QC, KLT çapa, EMA | Otomatik etiketli, kare-tutarlı set |
Zincirin kritik özelliği, her aşamanın bir sonrakine geometrik bir garanti devretmesidir: segmentasyon "nereye", gauge ölçeği "hangi boyutta", harmonizasyon "nasıl görünerek", alfa kanalı "hangi etiketle" sorusunu kapatır. Ağır çıkarım adımları — SDXL, segmentasyon, video işleme — GPU üzerinde, Google Colab ortamında koşar.
Sahne ve Koridor: Nesnenin Nereye Konacağını Bilmek
Tren önü videosunun kareleri büyük oranda birbirinin kopyasıdır; aynı düzlükte çekilmiş yüzlerce kare veri setine çeşitlilik değil, şişkinlik katar. Bu yüzden hat, kareleri CLIP embedding uzayında kümeleyip her kümeden temsilî örnekler seçer: az sayıda ama sahne çeşitliliği yüksek bir taban havuzu.
Seçilen her karede YOLOv8-seg tabanlı bir model (ray_alan.pt) ray ve balast koridorunu segmentler. Segmentasyonun güven vermediği karelerde hat, vanishing-point kestirimi ve Hough dönüşümüyle geometrik bir fallback'e düşer — koridor kaba da olsa her karede tanımlıdır. Yerleştirme böylece rastgele değil, raya kilitlidir. Bunun üzerine sınıf-koşullu yerleşim bölgeleri ve poz öncülleri (pose priors) gelir: her anomali sınıfı için makul konum ve duruş aralığı önceden tanımlıdır, sınıfına uymayan yerleşimler daha üretilmeden elenir.
SDXL Varlıkları ve BiRefNet Alfa Mattı
Anomali varlıkları, sınıf başına hazırlanmış prompt setleriyle SDXL üzerinden üretilir. Ham difüzyon çıktısı doğrudan kullanılamaz: aynı görselde birden fazla nesne, kadraj kenarında kesilmiş gövdeler ve birbirinin neredeyse kopyası üretimler difüzyon modellerinin bilinen davranışlarıdır. Otomatik QC bu yüzden üç filtre uygular: tek-obje kontrolü, kenar-temas kontrolü (nesne kadraj kenarına değiyorsa gövdesi kesik demektir) ve pHash + CLIP benzerliğine dayalı tekrar ayıklama.
QC'den geçen görseller BiRefNet ile matte'lenir. Tercihin nedeni, yüksek çözünürlüklü dichotomous segmentation'daki kenar kalitesi: dal, tüy, saçak gibi ince yapılarda ikili maskeden çok daha temiz bir alfa kanalı üretir. Çıktı, hattın geri kalanının hammaddesi olan şeffaf PNG kütüphanesidir — ve bu alfa kanalı, birazdan görüleceği gibi, etiketin de kaynağıdır.
1.435 m: Tek Fiziksel Ölçek Referansı
Hattın en önemli tasarım kararı, ölçeği tahmin etmek yerine ölçmektir. Standart ray açıklığı — iki rayın iç yüzleri arasındaki mesafe — uluslararası tanımıyla 1.435 metredir ve görüntünün ray içeren her satırında görünür durumdadır. Bu, her kare için bedava bir metrik kalibrasyon nesnesi demektir:
GAUGE_M = 1.435 # standart ray açıklığı (iç yüzler arası)
def px_per_metre(rail_mask, y):
# Yerleştirme satırı y'de piksel/metre ölçeği
left, right = inner_rail_edges(rail_mask, row=y)
return (right - left) / GAUGE_M
def target_width_px(real_width_m, rail_mask, y):
# Örn. 0.4 m genişliğindeki bir nesne y satırında kaç piksel?
return real_width_m * px_per_metre(rail_mask, y)
Her sınıfın gerçek dünya boyut aralığı önceden tanımlıdır; yerleştirme satırındaki piksel/metre oranıyla çarpıldığında perspektife uygun piksel boyutu doğrudan çıkar. Yakındaki nesne büyük, uzaktaki küçük — el ile tahmin değil, geometriden türetilmiş ölçek. Naif kompozitin en görünür hatası bu tek referansla kapanır.
Harmonizasyon: Kestirme İpuçlarını Söndürmek
Doğru konum ve doğru boyut yetmez; nesnenin sahneye ait görünmesi gerekir. Harmonizasyon katmanı dört işlem uygular:
- Zemin teması gölgesi: Temas noktasından yumuşak düşen gölge, havada asılı nesne artefaktını kapatır.
- Reinhard renk eşleme: Asset'in renk istatistikleri hedef sahnenin istatistiklerine eşlenir; nesne, sahnenin ışığında görünür.
- Mesafe bazlı blur: Uzağa yerleştirilen nesne, sahnenin o derinlikteki optik yumuşaklığına uydurulur.
- Sensör gürültüsü: Kompozit bölgeye kameranın gürültü karakteri eklenir; aksi halde model, temiz bölgeyi nesne işareti olarak öğrenir.
Buradaki hedef fotorealizm değil, istatistiksel bütünlüktür: modelin nesneyi arka plandan ayırt etmek için kullanabileceği her yapay ipucu bilinçli olarak söndürülür. Domain gap'i büyüten şey çoğu zaman nesnenin kendisi değil, kompozitin bıraktığı izlerdir.
Etiket, Üretimin Yan Ürünü
Klasik akışta etiketleme, üretimden ayrı ve insan emeğiyle yürüyen bir adımdır. Bu hatta ise etiket dönüşümün yan ürünüdür: nesne yerleştirilip harmonize edildikten sonra, dönüşüm sonrası görünür alfa kanalından bounding box ve poligon otomatik türetilir, YOLO formatında yazılır. İki filtre kaliteyi korur: on-rail QC (taban noktası koridor maskesinin dışına düşen örnek reddedilir) ve görünürlük eşiği (dönüşümler sonrası fiilen görünmez kalan nesne sete girmez). Net etki sıfır dokunuş etiketlemedir — manuel anotasyon maliyeti hattan çıkarılmıştır ve etiket hatası artık yorgun bir anotasyoncunun değil, denetlenebilir kodun davranışıdır.
Video: KLT Çapa ve EMA ile Kare Tutarlılığı
Tek kare kompozitler dedektör eğitimi için yeterli olabilir; ama gerçek sistem video üzerinde koşar ve tracker eğitimi zamansal tutarlılık ister. Kareler bağımsız üretilirse nesne klip boyunca kimlik değiştirir, konumu titrer. Hat bunu üç mekanizmayla çözer: klip başına sabit track-id; KLT optical-flow çapası — nesnenin yerleştirme noktası sahnenin kendi hareketiyle birlikte kare kare taşınır, nesne raya yapışık kalır; ve ölçek ile konum üzerinde EMA temporal smoothing — kalan yüksek frekanslı titreşim yumuşatılır. Sonuç, klip boyunca tek kimlikli, raya kilitli, jitter'sız bir nesnedir: hem dedektör hem tracker eğitiminde kullanılabilir, kare-tutarlı çıktı.
Sim-to-Real: Neyi Bildiğimizi, Neyi Bilmediğimizi Ayırmak
Bu noktada dürüst olmak gerekir. Hattın bugün iddia ettiği şeyler yetenek tanımlayıcılarıdır: 8 anomali sınıfı, 1.435 m gauge referanslı fiziksel ölçek, otomatik YOLO etiketleme, kare-tutarlı video çıktısı. İddia etmediği şey saha doğruluğudur — sentetik veriyle eğitilen modelin gerçek anomalilerde nasıl başarım göstereceği, ayrı ve henüz tamamlanmamış bir doğrulama sorusudur.
Doğrulama planı üç ayaklıdır:
- Sentetik-eğitimli dedektörün, az sayıda da olsa gerçek pozitif örnekten oluşan ayrık bir test setinde sınıf başına recall ile değerlendirilmesi.
- Harmonizasyon ablasyonu: gölge, renk eşleme, blur ve gürültü katmanları tek tek kapatılarak her birinin sim-to-real katkısının ölçülmesi.
- Hata analizinin geometriye geri beslenmesi: model sentetik örneklerde kompozit izi bulmayı öğreniyorsa ilgili katman sıkılaştırılır.
Literatürdeki genel bulgu, fiziksel-doğru compositing'in domain gap'i naif yapıştırmaya göre belirgin biçimde daralttığı yönündedir; ama nihai sözü her zaman gerçek test seti söyler. Hattın modüler config bayrakları — derinlik kestirimi, difüzyon tabanlı refine, z-buffer oklüzyon — bu doğrulamanın işaret edeceği yönde kademeli güçlendirme için hazırdır.
Üretilen Veri Nerede Koşacak
Sentetik veri kendi başına amaç değildir; zincirin öbür ucunda tren üzerinde gerçek zamanlı koşan bir çıkarım sistemi vardır. Bu uçta Spikedge'in ölçülmüş bir referansı mevcut: benzer bir edge görevinde YOLOv8'i Jetson Orin NX üzerinde TensorRT FP16 ile 31 fps'den 127 fps'e taşıdık, 8.4 W güç zarfında (edge AI çıkarım vakası). Veri üretimi ve edge dağıtımı aynı mühendislik zincirinin iki halkasıdır; bu zinciri uçtan uca nasıl kurduğumuz edge AI pipeline yeteneği sayfasında, demiryolu hattının tam dökümü ise railway-inspection vaka analizinde yer alıyor.
Kendi domaininizde benzer bir tabloyla karşı karşıyaysanız — nadir olay, pozitif örnek kıtlığı, pahalı etiketleme — darboğazın veri stratejisinde mi, model mimarisinde mi yoksa çıkarım bütçesinde mi olduğunu tahminle değil ölçerek bulmak gerekir. Gömülü vision hattınızın uçtan uca değerlendirilmesi için gömülü sistem mimari denetimi tam bu soruyla başlar: sistemin hangi katmanı, hangi kanıtla, ne kadar iyileştirilebilir?