AD-07 — Sensor Fusion: Erken, Geç ve Derin Füzyon Mimarileri

FACT — AD-05’te kameranın ters güneşte, radarın çok-yollu yayılımda, LiDAR’ın yoğun yağmurda tek başına nasıl başarısız olabildiğini gördük. AD-06’da her sensörün kendi algı boru hattından (perception pipeline) 3D kutu, sınıf etiketi, track ID ve serbest alan çıktısı ürettiğini işledik. Bu derste sorulacak soru şu: bu bağımsız çıktılar (ya da bağımsız çıktılara dönüşmeden önceki ham veriler) hangi işlem aşamasında birleştirilmeli? Cevap tek bir mimari değil; her biri farklı bir bilgi-zenginliği/maliyet/dayanıklılık dengesinde oturan üç temel yaklaşımdır.

Bu derste şunları inceleyeceğiz:

1. Neden Sensör Füzyonu? — Tamamlayıcılık İlkesi
2. Geç Füzyon (Late Fusion): Nesne Listelerinin Birleşimi
3. Erken Füzyon (Early Fusion): Ham Veri Seviyesinde Ortak Akıl Yürütme
4. Kalibrasyon ve Senkronizasyon: Erken Füzyonun Gizli Mühendislik Bedeli
5. Orta/Derin Füzyon (Mid-Level / BEV Fusion): Modern Sanayi Standardı
6. Sensör Çiftleri: Kamera+Radar, Kamera+LiDAR, GNSS+IMU
7. Karşılaştırma Tablosu: Füzyon Seviyesi × Bilgi Zenginliği × Maliyet × Dayanıklılık
8. SSS, Özet ve Kaynaklar

---

1. Neden Sensör Füzyonu? — Tamamlayıcılık İlkesi

FACT — Hiçbir tekil sensör otonom sürüş için yeterli değildir. Kamera açısal çözünürlük ve semantik sınıflandırmada üstünken doğrudan radyal hız ölçemez ve sis/karanlıkta zayıflar; radar sis, yağmur ve doğrudan Doppler hızında üstünken açısal çözünürlükte zayıftır; LiDAR yoğun 3D geometride üstünken maliyet ve yoğun yağış/kar altında zayıflar (bkz. AD-05).

Sensör füzyonunun temel mantığı istatistikseldir: bağımsız gürültü kaynaklarına sahip iki ölçüm birleştirildiğinde, sonuç tahminin varyansı (belirsizliği) her iki tekil ölçümden de küçük olur. İki bağımsız Gauss dağılımlı ölçümün ($\sigma_1^2$, $\sigma_2^2$ varyanslı) optimal ağırlıklı birleşimi:

$\hat{x}_{fused} = \frac{\sigma_2^2}{\sigma_1^2 + \sigma_2^2} x_1 + \frac{\sigma_1^2}{\sigma_1^2 + \sigma_2^2} x_2, \qquad \frac{1}{\sigma_{fused}^2} = \frac{1}{\sigma_1^2} + \frac{1}{\sigma_2^2}$

Bu basit bağıntı bile füzyonun neden işe yaradığını gösterir: $\sigma_{fused}^2$ her zaman $\min(\sigma_1^2, \sigma_2^2)$‘den küçüktür. Gerçek soru, bu birleştirmenin hangi işlem katmanında yapılacağıdır — ve cevap, füzyon mimarisinin üç ana ailesini tanımlar.

---

2. Geç Füzyon (Late Fusion): Nesne Listelerinin Birleşimi

Geç füzyonda (Late / Object-Level Fusion) her sensör modalitesi kendi bağımsız algı boru hattını uçtan uca çalıştırır: kamera kendi nesne listesini üretir (2D/3D kutu + sınıf), radar kendi hedef listesini üretir (mesafe + Doppler hız + zayıf sınıf bilgisi), LiDAR kendi 3D kutu listesini üretir. Yalnızca bu bitmiş nesne listeleri merkezi bir füzyon modülüne iletilir.

Geç Füzyon Veri Akışı:

  Kamera ──▶ [CNN Detektör] ──▶ Nesne Listesi_cam  ─┐
  Radar  ──▶ [CFAR + İzleyici] ──▶ Nesne Listesi_rad ─┼──▶ [Track-to-Track Eşleme] ──▶ Birleşik Dünya Modeli
  LiDAR  ──▶ [PointNet++ vb.] ──▶ Nesne Listesi_lid ─┘         (Association + EKF)

  Her sensörün kendi ECU'su/işlemci çekirdeği bağımsız çalışır.

Birleştirme adımı iki alt problemden oluşur:

1. İlişkilendirme (Association / Track-to-Track Matching): Hangi kamera nesnesi, hangi radar hedefiyle “aynı fiziksel araç”tır? Bu genellikle konum + boyut + zaman uyumuna dayalı bir maliyet matrisi üzerinden Macar Algoritması (Hungarian Algorithm) ile çözülür.
2. Birleştirme (Fusion): Eşleşen nesnelerin durum tahminleri Genişletilmiş Kalman Filtresi (EKF) veya Kovaryans Kesişimi (Covariance Intersection — sensörler arası korelasyon bilinmediğinde kullanılan, aşırı-güvenli/conservative bir birleştirme yöntemi) ile tek bir izlenen nesneye (track) indirgenir.

FACT — Geç füzyonun avantajları: modülerlik (her sensörün algoritması bağımsız geliştirilip test edilebilir, bir tedarikçi değişse diğer boru hatları etkilenmez), düşük veri yolu yükü (ham veri değil, seyrek nesne listeleri taşınır — CAN/Ethernet bant genişliği sorun olmaz) ve arıza izolasyonu kolaylığı (bir sensör boru hattı çökerse, diğerleri bağımsız çalışmaya devam eder).

WARNING — Geç füzyonun temel zayıflığı bilgi kaybıdır. Her sensör kendi eşik değerinin (detection confidence threshold) altında kalan zayıf/belirsiz adayları kendi boru hattında eler — bu elemeden SONRA füzyona hiçbir iz kalmaz. Örneğin kamera, sisli havada belirsiz bir siluet gördüğü için o adayı “nesne” olarak raporlamamışsa, radarın o bölgede net bir Doppler dönüşü olsa bile artık kamera tarafında birleştirilecek hiçbir şey yoktur — iki sensörün ham belirsizlikleri birbirini tamamlayamaz, çünkü karar zaten her biri kendi başına, izole şekilde verilmiştir.

---

3. Erken Füzyon (Early Fusion): Ham Veri Seviyesinde Ortak Akıl Yürütme

Erken füzyonda (Early / Raw-Level Fusion) hiçbir sensör kendi başına “karar” vermez. Ham veya ham-yakını veriler — örneğin LiDAR 3D nokta bulutunun kamera piksel düzlemine projekte edilmesiyle oluşan RGB + derinlik matrisi — tespit adımından ÖNCE birleştirilir ve tek bir model bu birleşik temsil üzerinden akıl yürütür.

Erken Füzyon Veri Akışı:

  LiDAR nokta bulutu ──▶ [Kalibre projeksiyon: 3D → 2D piksel] ──┐
                                                                    ├──▶ [Ortak RGB-D Girdi] ──▶ [Tek Model] ──▶ Nesne Listesi
  Kamera piksel matrisi ─────────────────────────────────────────┘

  Karar noktası, geç füzyondan farklı olarak veri birleştikten SONRA, tek seferde verilir.

Bunun avantajı, tek bir sensörün kendi başına güvenle tespit edemeyeceği nesneleri de yakalayabilmesidir: kamerada zayıf kontrastlı ama LiDAR’da net geometrik sınırları olan bir nesne, ayrı ayrı iki eşik testinden geçemeyebilir, ama birleşik temsilde model her iki ipucunu birlikte değerlendirip güvenle tespit edebilir. Bilgi kaybı geç füzyona göre çok daha azdır çünkü hiçbir modalite erken aşamada “eleniyor” değildir.

Bedeli ise hassas kalibrasyon ve senkronizasyon zorunluluğudur — bir sonraki bölümün konusu.

---

4. Kalibrasyon ve Senkronizasyon: Erken Füzyonun Gizli Mühendislik Bedeli

Erken füzyonun matematiksel olarak doğru çalışabilmesi için üç ayrı mühendislik probleminin çözülmüş olması gerekir:

A. Ekstrinsik Kalibrasyon (Extrinsic Calibration)

Her sensörün araç gövdesine göre TAM konumu ($x, y, z$) ve yönelimi ($\phi, \theta, \psi$ — roll/pitch/yaw) bilinmelidir. Bu, bir sensörün koordinat çerçevesinden diğerine (örn. LiDAR çerçevesinden kamera çerçevesine) geçişi tanımlayan $4\times4$ homojen dönüşüm matrisini ($T = [R | t]$) verir:

$P_{camera} = T_{lidar}^{camera} \cdot P_{lidar}$

Bu matris milimetre/miliradyan hassasiyetinde yanlışsa, LiDAR’ın gördüğü bir nokta kamera görüntüsünde birkaç piksel kaymış yere projekte olur — yakın nesnelerde bu kayma küçük görünse de, uzak nesnelerde (>50m) birkaç derecelik açısal hata metrelerce konum hatasına dönüşür.

B. İntrinsik Kalibrasyon (Intrinsic Calibration)

Her sensörün KENDİ iç parametreleri — kamera için odak uzaklığı, optik merkez, lens distorsiyon katsayıları (fish-eye/geniş açı lenslerde özellikle belirgin); LiDAR için lazer kanal açı ofsetleri. Bu düzeltilmeden ham piksel koordinatları gerçek açısal yöne doğru çevrilemez.

C. Zaman Senkronizasyonu (Time Synchronization)

CRITICAL — Farklı sensörlerin kare hızları farklıdır (kamera ~30-60 Hz, LiDAR dönüş hızına bağlı ~10-20 Hz, radar ~15-20 Hz) ve her birinin veri yakalama anı (capture timestamp) mikrosaniye düzeyinde farklıdır. Saatler ortak bir referansa hizalanmazsa, 100 km/s hızla giden bir aracın konumu iki sensör arasında sadece 10 ms’lik zaman farkıyla bile ~28 cm kayar ($v \cdot \Delta t = 27.8 \text{ m/s} \times 0.01 \text{ s} \approx 0.28 \text{ m}$). Bu kayma, erken füzyonda doğrudan yanlış RGB-D eşleşmesine, geç füzyonda ise yanlış track-to-track ilişkilendirmesine yol açar.

Sanayide bu, donanımsal tetikleme (hardware triggering — bir “master” sinyal tüm sensörlere aynı anda yakalama komutu verir) ve PTP (Precision Time Protocol, IEEE 1588 / otomotivde IEEE 802.1AS varyantı) ile çözülür: tüm ECU’lar ortak bir ağ saatine mikrosaniye hassasiyetinde senkronize edilir, her veri paketi bu ortak saatle zaman damgalanır.

INTERPRETATION — Kalibrasyon/senkronizasyon yükü, erken füzyonun neden pratikte geç füzyondan daha az yaygın olarak “saf” haliyle kullanıldığını açıklar — çoğu üretim sistemi bunun yerine bir sonraki bölümdeki orta-seviye füzyona yönelir, çünkü öğrenilmiş öznitelik uzayı kalibrasyon hatalarına ham piksel/nokta eşleşmesinden biraz daha toleranslı olabilir (model, hizalamadaki küçük tutarsızlıkları eğitim sırasında kısmen telafi etmeyi öğrenebilir).

---

5. Orta/Derin Füzyon (Mid-Level / BEV Fusion): Modern Sanayi Standardı

Orta seviye (mid-level / feature-level) füzyon, erken ve geç füzyon arasında bir orta yoldur ve günümüz derin öğrenme tabanlı algı yığınlarının çoğunda ana Ar-Ge odağıdır. Her modalite HAM veriden değil, ama bitmiş nesne listesinden de değil — kendi kısmi sinir ağı üzerinden geçerek bir ara öğrenilmiş öznitelik temsiline (feature space) dönüştürülür. Karar, bu ortak öznitelik uzayında, ortak bir alt-ağ tarafından verilir.

Orta/BEV Füzyon Veri Akışı:

  Kamera ──▶ [Backbone CNN] ──▶ Kamera öznitelik haritası ─┐
  Radar  ──▶ [Backbone]     ──▶ Radar öznitelik tensörü   ─┼──▶ [BEV Izgarasına Projeksiyon] ──▶ [Ortak Gövde Ağ] ──▶ Nesne Listesi
  LiDAR  ──▶ [Voxel/Backbone] ──▶ LiDAR voksel öznitelikleri ─┘        (Cross-Attention / Transformer)

  Karar, ne çiğ veride ne de bitmiş nesne listesinde; ARA öznitelik katmanında verilir.

Modern mimarilerde bu, sıklıkla BEV (Bird’s-Eye View / Kuş Bakışı) ortak ızgarası üzerinden yapılır: her modalitenin öznitelikleri, aracın etrafındaki sabit bir üstten-görünüm ızgarasına (örn. her hücre 0.5m × 0.5m) projekte edilir, sonra bu ortak uzaysal ızgara üzerinde bir Transformer Cross-Attention ağı ya da konvolüsyonel gövde, tüm modaliteleri birlikte değerlendirerek nihai tespitleri üretir.

INTERPRETATION — BEV öznitelik füzyonunun sanayide bu kadar hızlı yaygınlaşmasının nedeni, erken füzyonun bilgi zenginliğine yakın bir performans sunarken, kalibrasyon/senkronizasyon toleransını öğrenilmiş ağırlıklar üzerinden kısmen “yumuşatabilmesidir” — ağ, eğitim verisinde gördüğü küçük hizalama tutarsızlıklarını bir dereceye kadar telafi etmeyi öğrenir. Bu, geç füzyonun modülerliğini tamamen korumaz ama erken füzyonun kırılganlığını da taşımaz; günümüzde çoğu yeni L3/L4 algı yığını Ar-Ge’sinin (Tesla’nın kamera-BEV yaklaşımından, birçok LiDAR-merkezli L4 şirketinin BEV-transformer mimarilerine kadar) bu bölgede yoğunlaştığı kabul edilir.

---

6. Sensör Çiftleri: Kamera+Radar, Kamera+LiDAR, GNSS+IMU

A. Kamera + Radar (Seri Üretim ADAS’ın Omurgası)

Kamera nesnenin NE olduğunu (sınıf: araç/yaya/bisikletli) ve yanal sınırlarını (açısal çözünürlük yüksek) söyler; radar ise tam mesafeyi ve anlık bağıl hızı (Doppler etkisiyle doğrudan ölçülür, türetilmesi gerekmez) verir. Bu ikisi birbirini tamamlar çünkü kamera radyal hızı doğrudan ölçemez (yalnızca art arda karelerden optik akışla kaba bir tahmin çıkarabilir), radar ise nesnenin sınıfını güvenle ayırt edemez.

B. Kamera + LiDAR (Yüksek Seviye Otonomi L3/L4)

LiDAR hassas 3D kutuyu ve mesafeyi çizer; kamera trafik ışığı rengini, tabela metnini ve ince sınıflandırma ayrımlarını (örn. otobüs vs kamyon) sağlar. Erken füzyonda LiDAR noktaları kamera pikseline projekte edilip RGB-D matrisi oluşturulabilir (bkz. Bölüm 3); orta füzyonda ikisi ayrı BEV öznitelik katmanlarında birleşir.

C. GNSS + IMU (Lokalizasyon Füzyonu — AD-08’in Temeli)

• Gevşek Kuplaj (Loose Coupling): GNSS alıcısının KENDİ İÇİNDE zaten hesapladığı $(x,y,z)$ pozisyon çözümü, IMU integrasyon çıktısıyla bir dış Kalman filtresinde birleştirilir. Basit ama GNSS’in kendi iç hata modlarına (uydu sayısı azaldığında GNSS çözümünün aniden bozulması gibi) karşı kırılgandır.
• Sıkı Kuplaj (Tight Coupling): GNSS alıcısının HENÜZ pozisyona çözülmemiş ham ölçümleri — sözde-menzil (pseudorange) ve taşıyıcı faz — doğrudan IMU ivme/açısal hız verileriyle TEK bir EKF durum vektöründe birleştirilir. Uydu sayısı 4’ün (3D pozisyon çözümü için minimum gereksinim) altına düşse bile, kalan uydulardan gelen kısmi bilgi IMU tahminini düzeltmeye devam edebilir — gevşek kuplajda bu mümkün değildir çünkü GNSS alıcısı zaten “çözüm yok” der ve dışarıya hiçbir şey vermez.

Bu ayrım, geç füzyon (gevşek kuplaj, bitmiş GNSS çözümü kullanılır) ile erken/sıkı füzyon (ham pseudorange kullanılır) arasındaki genel ilkenin lokalizasyon alanındaki doğrudan yansımasıdır — AD-08’de bu konuyu GNSS-RTK ve dead reckoning bağlamında derinleştireceğiz.

---

7. Karşılaştırma Tablosu

Füzyon Seviyesi	Bilgi Zenginliği	Hesaplama Maliyeti	Kalibrasyon Hassasiyeti	Arıza Dayanıklılığı	Tipik Kullanım
Geç (Object-Level)	Düşük — her sensör kendi eşiğinin altını atar	Düşük — seyrek nesne listeleri taşınır	Gevşek — konum/zaman kaba uyumu yeterli	Yüksek — bir sensör çökse diğerleri bağımsız çalışır	Seri üretim L2 ADAS, düşük maliyetli sistemler
Orta/BEV (Feature-Level)	Yüksek — öğrenilmiş temsil, kısmi tolerans	Yüksek — büyük sinir ağları, GPU/NPU gerektirir	Orta — ağ küçük hataları kısmen telafi edebilir	Orta — paylaşılan gövde ağı bir modalite bozulursa etkilenebilir	Modern L3/L4 algı yığınları (BEV-Transformer)
Erken (Raw-Level)	En yüksek — hiçbir modalite erken elenmez	Orta-Yüksek — ama tek geçişli, tekrarsız işlem	Çok sıkı — piksel/nokta düzeyinde hizalama şart	Düşük — kalibrasyon/senkron hatası tüm boru hattını bozar	Araştırma sistemleri, RGB-D özel donanımlı platformlar

---

Sıkça Sorulan Sorular (FAQ)

S: Bir sensörün arızalanması ya da kirlenmesi tüm füzyonu bozar mı?

FACT — İyi tasarlanmış bir füzyon mimarisinde her sensör çıktısına bir güven skoru (kovaryans/confidence) eşlik eder. Sensör kirlendiğinde (örn. kamera lensine çamur sıçraması, radar antenine buz tutması) o modalitenin kovaryansı büyütülür; Kalman filtresi veya öznitelik ağırlıklandırma mekanizması o sensörün etkisini dinamik olarak sıfıra yaklaştırır. Bu, hiçbir sensörün “kör güvenle” kullanılmadığı anlamına gelir.

S: Erken füzyon her zaman en doğru sonucu mu verir?

INTERPRETATION — Teoride bilgi kaybı en az olduğu için evet, ama pratikte kalibrasyon/senkronizasyon hatası erken füzyonda telafisiz şekilde tüm sonucu bozabilirken, geç füzyonda hatalı bir sensör izole kalabilir. Bu yüzden “en doğru mimari” sorusunun cevabı donanım kalitesine, hesaplama bütçesine ve güvenlik gereksinimine bağlıdır — tek bir evrensel cevap yoktur.

S: Orta seviye BEV füzyonu geç füzyonun yerini tamamen alacak mı?

ASSUMPTION — Sanayi trendi bu yönde ağırlıklı olarak ilerliyor gibi görünüyor (özellikle yeni L3/L4 platformlarında), ancak düşük maliyetli seri üretim L2 sistemlerinde geç füzyonun modülerlik/maliyet avantajı hâlâ geçerli olduğundan tam bir yer değiştirme değil, kademeli bir kayma bekleniyor. Bu, şirket stratejilerine göre değişebilecek bir tahmindir.

---

Özet

• Sensör füzyonu, bağımsız gürültü kaynaklarına sahip ölçümleri birleştirerek tekil sensörlerden daha düşük varyanslı bir dünya modeli üretir.
• Geç füzyon (nesne listesi seviyesi) modüler ve düşük maliyetlidir ama erken elenen belirsiz adaylar füzyona hiç ulaşamaz.
• Erken füzyon (ham veri seviyesi) en zengin bilgiyi taşır ama hassas ekstrinsik/intrinsik kalibrasyon ve mikrosaniye düzeyinde zaman senkronizasyonu (PTP) gerektirir.
• Orta/BEV öznitelik füzyonu, modern derin öğrenme yığınlarının odaklandığı orta yoldur: zengin bilgi + kısmi kalibrasyon toleransı.
• Kamera+radar, kamera+LiDAR ve GNSS+IMU çiftleri, tamamlayıcılık ilkesinin somut sanayi uygulamalarıdır; GNSS+IMU’daki gevşek/sıkı kuplaj ayrımı, geç/erken füzyon ilkesinin lokalizasyon alanındaki yansımasıdır.

Kaynaklar ve Doğrulama Notu

Bu derste sunulan füzyon taksonomisi ve matematiksel çerçeve şu kaynaklara dayanır: Thrun, Burgard & Fox — Probabilistic Robotics (Bayes filtreleme ve Kalman füzyonu temelleri); Bar-Shalom, Li & Kirubarajan — Estimation with Applications to Tracking and Navigation (track-to-track ilişkilendirme, kovaryans kesişimi); Szeliski — Computer Vision: Algorithms and Applications (kamera kalibrasyonu, projeksiyon geometrisi); Chen et al. — MV3D (erken/orta seviye çok-modaliteli füzyon mimarisi örneği). Zaman senkronizasyonu ve PTP standardı bölümü IEEE 1588 / IEEE 802.1AS genel prensiplerine dayanır; şirket-özel mimari detayları (örn. hangi üreticinin tam olarak hangi füzyon seviyesini kullandığı) kamuya açık teknik sunumlara dayanır ve zamanla değişebilir, bu yüzden ASSUMPTION olarak işaretlenmiştir.

Sıradaki Ders

• AD-08 — Localization: GNSS/RTK, Dead Reckoning, HD Maps ve SLAM: Bu derste GNSS+IMU füzyonunun gevşek/sıkı kuplaj ayrımını gördük — AD-08’de bu temeli GNSS-RTK santimetrik düzeltme, IMU sürüklenme dinamiği, HD harita eşleme ve SLAM ile derinleştireceğiz.