Sentetik Veri Üretimi & Computer Vision
Ar-Ge · Tezgâh verisiyleDemiryolu Engel Tespiti için Sentetik Eğitim Verisi
Gerçek kabin videosu · ego-path (hat alanı) · dünyaya sabit yerleşim · poligon etiket · insan onayı
Python · OpenCV · TEP-Net · SDXL · BiRefNet · GroundingDINO + SAM · YOLO-Seg
Son güncelleme:
01Problem
Problem: Rayda Engel Görüntüsü Sahada Toplanamaz
Rayda engel görüntüsü sahada güvenle toplanamaz; bu yüzden demiryolu engel tespiti için sentetik eğitim verisini gerçek kabin videosu üzerinde üretiyoruz. Bir modelin raydaki taşı, dalı ya da hayvanı tanıyabilmesi için bu nesnelerin rayın üzerinde olduğu çok sayıda etiketli kareye ihtiyacı vardır. Bu olaylar nadirdir, tehlikelidir ve veri toplamak için bir trenin önüne bilerek engel konamaz. Sonuç: pozitif örnek kıtlığı ve dengesiz sınıf dağılımı.
- 01Gerçek engel görüntüsü yok denecek kadar az; model kritik olayı eğitimde hiç görmüyor
- 02Kare kare elle etiketleme binlerce karede pahalı ve hataya açık
- 03Ekrana yapıştırılan engel trenle birlikte hareket eder ve doğal büyümez; model gerçekte olmayan bir hareketi öğrenir
- 04Klasik görüntü işlemeyle bulunan hat alanı komşu hatta ya da paralel yola kayabilir; engel yanlış yere konur ve bütün veri seti yanlış olur
- 05Sentetik veri doğrulama veya test setine karışırsa model başarısı olduğundan yüksek ölçülür
02Hat Bağlamı ve Temel Kavramlar
03Neden Basit Yaklaşımlar Yetmedi?
- 01Ekran uzayında çapalama: engel "görünen rayın belli bir oranı" gibi ekrana göre konduğunda hiç yaklaşmaz. Önceki denemelerdeki üç kronik hatanın (engel yerinde durmuyor, doğal büyümüyor, trenle birlikte geliyor) tek kök nedeni buydu.
- 02Doku tabanlı hat maskesi: komşu hattı ve paralel çakıl yolu raydan ayıramadı; test klibinde maskenin yanlış yere oturduğu kare oranı %62,6.
- 03Kutu etiket: segmentasyon modeli poligon ister; kutu etiketler eğitim seti kurucusundan geçmiyordu.
- 04Tek görünürlük eşiği: kadrajdan taşan kısım "görünmüyor" sayılınca, trenin engele en yakın olduğu karelerde engel etiketsiz kalıyordu.
- 05Kopuk döngü: modelin hangi sınıfta zayıf olduğu raporlanıyordu, ama bu rapor üretimi yönlendirmiyordu.
04Hat Nasıl Çalışıyor
Kabin videosunun siyah bantları kırpılır, ego-path her karede TEP-Net ile çıkarılır ve klip 720p taşınabilir bir kopyayla saklanır
→ Engelin konacağı koridor her kare için bilinir; klip klasörü başka makinede de açılır
Etiket gerektirmeyen kalite testi: ego hat kareyi alttan ortada terk etmek zorunda olduğundan koridorun alt bandının merkezi 0,35–0,65 aralığında kalmalıdır; bu aralığın dışında kalan kare oranı %5 sınırını aşan klip reddedilir
→ Komşu hatta oturmuş maske veriye girmez. Aynı klibin 1672 karesinde bant dışı kare: klasik CV %62,6, ego-path %0
Zemindeki izlenebilir noktalar KLT ile takip edilir; kat edilen yol, ufuk çizgisine uzaklığın tersi (1/q) üzerinden ölçülür
→ Kamera odak uzaklığı, kamera yüksekliği ya da tren hızı gerekmez; kalibrasyonsuz videoda çalışır
Engel "trenin ona ulaşacağı kare" ile tanımlanır; boyutu ve yanal konumu ray açıklığı biriminde verilir, ışık uyumu yerleştirme anında bir kez hesaplanır
→ Engel sahnede sabit kalır ve tren yaklaştıkça büyür; 8 engelde 1/yükseklik–zaman R² 0,985–0,996
Etiket, engelin görünen alfasından YOLO-Seg poligonu olarak çıkar; yakındaki engelin örttüğü kısım etikete girmez, kadraj dışına taşma etiketi düşürmez
→ Aynı doğrulama sahnesinde kadrajdan çıkarken etiketsiz kalan engel örneği: 96 → 11. Kalanlar, engelin kadrajı tamamen terk etmeden önceki son bir-iki karesi; görünen parça 10 pikselin altında
Model bir sınıfta ya da mesafede zayıfsa politika senaryoyu önerir (hat üzerinde, uzak ve küçük 10–40 px, hat kenarı); üretim talebi sınıf-dengeli yürütülür
→ Sentetik veri rastgele değil, ölçülen zayıflığa göre üretilir
İnceleme sayfalarında hatalı görüntüler reddedilir; yalnızca onaylılar eğitime taşınır. Sentetik görüntü doğrulama/test setine giremez; sentetik oran %25 sınırını aşınca uyarı verilir, %33 sınırının üstünde arayüz eğitimi başlatmaz
→ Model başarısı sentetik veriyle şişirilmez; her görüntünün kaynağı ve onaylayanı kayıtlıdır
05Denenen Yöntem → Seçilen Yöntem
Sentetik veri üretimi ve otomatik etiketleme
Bu video, demiryolu engel tespiti için ikinci üretim yolunu gösteriyor: sahnenin tamamı Blender'da üretiliyor. Bu sayfada anlatılan gerçek kabin videosu yolundan ayrıdır. Sahneye yerleştirilen nesnelerin sınırlayıcı kutuları elle çizilmiyor, render sırasında otomatik olarak çıkarılıyor. Videodaki kutular bu otomatik etiketlemenin çıktısıdır.
Görüntüler sentetiktir; sahadan çekilmiş denetim kaydı değildir. Amaç, gerçek veri toplamanın pahalı ve tehlikeli olduğu senaryolar için etiketli eğitim kümesi üretmektir.
06Bu Altyapıyla Neler Yapabiliyoruz
Kabin önü videosu olan bir demiryolu projesinde, engel tespit modelinin ihtiyaç duyduğu nadir senaryo verisini üretebilir, gerçek veriyi etiketleyebilir ve sentetik verinin katkısını gerçek bir test setiyle ölçülebilir hale getirebiliriz. Aşağıdaki yetenekler bu çalışmada kurulu ve çalışır durumdadır; müşteri projesinde kapsam, sınıflar ve video kaynağı projeye göre belirlenir.
- 01Video kullanılabilirlik analizi: kabin videonuzdan hat alanını kare kare çıkarır, hangi kliplerin engel üretimine uygun olduğunu etiket gerektirmeyen bir testle raporlarız
- 02İstediğiniz engel sınıflarında, sınıf-dengeli ve YOLO-Seg poligon etiketli sentetik eğitim verisi: hat üzerinde, uzak ve küçük (10–40 px) ve hat kenarı senaryoları
- 03Gerçek veri etiketleme ve aktif öğrenme döngüsü: GroundingDINO + SAM ile ön etiket, insan incelemesi, YOLO-Seg eğitimi, sınıf bazında iterasyon raporu
- 04Sim-to-real değerlendirme tasarımı: sentetik üretimden ayrılmış gerçek test klipleri, sentetik oranı sınırları ve izlenebilir onay kaydı
- 05Yeni engel sınıfı için saha seferi gerekmez: sınıf, GPU'da üretilen yeni bir asset kümesiyle eklenir; kompozit adımı CPU'da çalışır
- 06Aynı etiketleme ve aktif öğrenme altyapısı hava sahası (kuş / drone) veri setlerinde de kullanılıyor; eğitilen dedektörün kenar donanımına taşınması Edge AI hattı yeteneğimizin konusudur
Sentetik Veri Üretimi & Computer Vision ihtiyacınızı kendi platformunuzda değerlendirmek için gömülü sistem mimari denetimi planlayabilir ya da sistem gereksinim hesaplayıcısı ile platform sınıfınızı belirleyebilirsiniz.
Sık Sorulan Sorular
07Sık Sorulan Sorular
Demiryolu engel tespiti için neden sentetik veri gerekir?
Çünkü rayda engel olayları nadir ve tehlikelidir; bir modeli eğitecek kadar çok, etiketli ve sınıf-dengeli gerçek örnek sahada toplanamaz. Sentetik veri bu eksik dağılımı doldurur: istenen sınıfta, istenen mesafede ve istenen hat konumunda engel içeren kareler üretilir. Gerçek verinin yerini almaz; katkısı gerçek bir test setiyle ölçülmelidir.
Dünyaya sabit yerleşim nedir, neden önemlidir?
Dünyaya sabit yerleşim, sentetik engelin ekrana değil sahneye bağlanmasıdır. Engel görünen rayın belli bir oranına konduğunda tren yaklaştıkça yerinde kalmaz ve büyümez; model gerçekte olmayan bir hareket öğrenir. Biz engelin derinliğini tek bir değişkenle izliyoruz: engel sahnede sabit kalır, tren yaklaştıkça büyür ve kadrajın altından çıkar. Doğrulamada 8 engelde 1/yükseklik–zaman doğrusallığının R² değeri 0,985–0,996 aralığında çıktı.
Kamera kalibrasyonu gerekir mi?
Hayır. İki ray arası mesafe karede satıra göre doğrusal değiştiği için ufuk çizgisi ve ölçek doğrudan raylardan çıkar. Trenin kat ettiği yol, zemindeki noktaların KLT ile takibinden hesaplanır; bu hesapta kamera odak uzaklığı, kamera yüksekliği ve tren hızı sadeleşir. Bu yüzden kalibrasyon bilgisi olmayan kabin videolarında da çalışır. Hesap düz bir yer düzlemi varsayar; sert eğim değişimlerinde doğruluğu düşer.
Etiketler nasıl üretiliyor, elle çizim var mı?
Etiketler elle çizilmez; engel yerleştirildiği anda geometriden YOLO-Seg poligonu olarak çıkar. Poligon engelin görünen kısmından alınır: yakındaki bir engelin örttüğü parça etikete girmez, kadrajdan taşan kısım etiketi düşürmez. İnsan emeği çizimde değil onaydadır: inceleme sayfalarında hatalı görüntüler reddedilir ve onaylayan kişi kayda geçer.
Sentetik veri model başarısını olduğundan yüksek gösterebilir mi?
Doğru kurulmazsa gösterir; bu yüzden üç kural kodda zorlanıyor. Sentetik görüntüler yalnızca eğitim setine girer, doğrulama ve test setine giremez. Gerçek test için ayrılan klipler sentetik üretimde kullanılmaz. Eğitim setinde sentetik oran %25 sınırını aşınca uyarı verilir, %33 sınırının üstünde arayüz eğitimi başlatmaz.
Hangi engel sınıfları var, yeni sınıf eklenebilir mi?
Bu çalışmada 8 sınıf var: kaya, düşmüş ağaç dalı, bisiklet/scooter, metal parçası, tahta/kalas, plastik atık, bakım ekipmanı ve hayvan; kütüphanede toplam 657 görsel. Yeni sınıf için saha seferi gerekmez: SDXL ile görseller üretilir, BiRefNet ile arka plan ayrılır, otomatik kalite kontrolünden geçenler kütüphaneye girer. Bu adım GPU ister; kompozit ve etiketleme CPU'da çalışır.
Sahada ne kadar başarılı?
Bunu henüz ölçmedik ve ölçmeden sayı vermiyoruz. Şu ana kadar ölçtüklerimiz üretim hattının doğruluğuyla ilgili: hat alanının doğru hatta oturması, engelin dünyaya sabit kalması ve etiketin görünen kısmı izlemesi. Sentetik verinin tespit başarısına katkısı, sentetik üretimden ayrılmış ve elle etiketlenmiş gerçek test klipleriyle ölçülecek.
Bu konudaki görüntüler
Metodoloji, Ölçüm Koşulları ve Sınırlar
- Bu bir Ar-Ge / yetenek vakasıdır; teslim edilmiş bir müşteri projesi değildir. Sayfadaki bütün sayılar aşağıdaki koşullarda Spikedge tarafından ölçülmüştür.
- Hat alanı karşılaştırması: komşu hat ve paralel çakıl yol içeren bir kabin önü klibinin 1672 karesi (3600×2338, H.264). Ölçüt: koridorun alt %10 bandının yatay merkezinin 0,35–0,65 dışında kaldığı kare oranı. Ağustos 2026; 26 Eylül 2026'da aynı sonuçla tekrarlandı.
- Dünyaya sabitleme: ikinci bir klipte 960 karelik, 8 engelli doğrulama sahnesi. Engel yüksekliği 10 px ve üzerindeki karelerde 1/yükseklik'in kare numarasına doğrusal uyumunun R² değeri. Sabit hızda yaklaşan bir cisimde bu ilişki doğrusal olmalıdır. Engel boyutu ölçülen ego-hareketten hesaplandığı için bu bir iç tutarlılık testidir: engelin durağan bir cisim gibi büyüdüğünü gösterir, gerçek bir cisimle konum karşılaştırması değildir.
- Kadrajdan çıkan engel: aynı sahnede, yüksekliği 10 px ve üzerinde olduğu hâlde etiketsiz kalan engel örnekleri (engel × kare) sayıldı; eski kuralda 96, yeni kuralda 11. Kalanların hepsi engelin kadrajı tamamen terk etmeden önceki son bir-iki karesidir; görünen parça 10 pikselin altında olduğu için bilerek etiketlenmez.
- Süre: 60 etiketli görüntü, 10 sahne; Apple M5 Pro (24 GB), yalnızca CPU, ego-hareket önceden ölçülmüş; duvar saati süresi. 4K kaynak ile 720p kopya aynı talepte karşılaştırıldı; iki kaynaktan ölçülen ego-hareket arasındaki fark en fazla %0,9.
- Asset sayısı: otomatik kalite kontrolünden geçmiş kütüphane klasörünün sayımı; 657 görsel, sınıf başına 57–109 (26 Eylül 2026).
- Sentetik verinin sahadaki tespit başarısına katkısı henüz ölçülmedi. Ölçüm için gerçek test klipleri sentetik üretimden ayrılır ve etiketlenir; bu yapılmadan doğruluk iddiası yayınlanmaz.
- Sınırlar: ego-path modeli rayları görmeden koridor çıkaramaz (tamamen kar altında ray, tünel içi); bu klipler kalite testinde elenir. Ego-hareket hesabı düz yer düzlemi varsayar; sert eğim değişimi doğrusallığı bozar. Gece ve termal kamera bu çalışmanın kapsamı dışındadır.
- Kullanılan açık modeller: ego-path için TEP-Net (Railenium; kod MIT, ağırlıklar CC BY-NC-SA 4.0, ticari kullanımda lisansa uygun yeniden eğitim gerekir), engel görselleri için SDXL ve BiRefNet. Tam sentetik Blender sahnesi ayrı bir üretim yoludur.
Kaynaklar
- 1.Laurent, T. (2024). Train Ego-Path Detection on Railway Tracks Using End-to-End Deep Learning. arXiv:2403.13094
- 2.TEP-Net kodu (MIT) ve ego-path ağırlıkları (CC BY-NC-SA 4.0)
- 3.Zendel ve ark. (2019). RailSem19: A Dataset for Semantic Rail Scene Understanding. CVPR Workshops
- 4.Podell ve ark. (2023). SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis. arXiv:2307.01952
- 5.Zheng ve ark. (2024). Bilateral Reference for High-Resolution Dichotomous Image Segmentation (BiRefNet). arXiv:2401.03407
Kabin önü videonuz var ve engel tespit modeliniz nadir senaryolarda veri sıkıntısı mı çekiyor?
Ücretsiz teknik değerlendirmede kabin önü videonuzu, hedef engel sınıflarınızı ve modelinizin zayıf kaldığı senaryoları birlikte inceleyelim.
* Ar-Ge / yetenek vakası. Sayılar belirtilen klip ve donanımda Spikedge tarafından ölçülmüştür; sahada doğrulanmış tespit doğruluğu değildir. Sentetik verinin gerçek test setindeki katkısı henüz ölçülmemiştir.