AD-06 — Perception: Nesne Tespiti, Sınıflandırma, İzleme ve Serbest Alan

FACT — AD-04 ve AD-05’te incelediğimiz kamera, radar ve LiDAR’ın her biri, kendi fiziksel prensibiyle sınırlı, kısmen bozuk, saniyede onlarca kez tekrar eden ham veri akışları üretir. Perception (Algılama) katmanının görevi, bu heterojen ve gürültülü ham verileri — planlama ve karar katmanlarının doğrudan tüketebileceği — temiz, yapılandırılmış, zaman içinde tutarlı bir Dünya Modeline (World Model) dönüştürmektir. Bu, otonom sürüş yazılım yığınının hesaplama açısından en yoğun katmanıdır.

Bu derste şunları öğreneceksin:

1. Perception Katmanının 4 Çıktısı — 3D kutu, sınıf, track, serbest alan.
2. Nesne Tespiti: Klasikten Derin Öğrenmeye — HOG+SVM’den CNN tabanlı dedektörlere, 2D’den 3D/BEV’e.
3. Sınıflandırma — semantik etiketleme ve güven skorları.
4. Çoklu Nesne Takibi (MOT) — Kalman Filtresi, veri ilişkilendirme, Macar Algoritması.
5. Serbest Alan ve Occupancy Grid — ayrık nesne tespitinin tamamlayıcısı.
6. Perception-Seviyesi Füzyon — erken/geç füzyon önizlemesi (AD-07’ye köprü).
7. Uygulamalı Örnek — kalabalık bir kavşak karesinin perception çıktısı.

---

1. Perception Katmanının Görevi ve 4 Temel Çıktısı

FACT — Perception katmanının çıktısı, planlama katmanının girdisi olarak kullanılabilecek, sayısal olarak kesin tanımlı 4 bileşenden oluşur:

1. 3D Sınırlayıcı Kutular (3D Bounding Boxes): Her tespit edilen nesne için metrik uzayda $[x, y, z, w, l, h, \theta]$ — merkez koordinatları, boyutları (genişlik/uzunluk/yükseklik) ve yaw açısı (oryantasyon).
2. Semantik Sınıflandırma: Araç (otomobil, kamyon, otobüs), Savunmasız Yol Kullanıcısı — VRU (yaya, bisikletli, motosikletli), statik engel veya hayvan; her sınıfa bir güven skoru (confidence) eşlik eder.
3. Zamansal İzleme (Tracking ID & Hız): Her nesneye atanan kalıcı kimlik (Track ID) ve türetilen anlık hız/ivme vektörleri $[v_x, v_y, a_x, a_y]$.
4. Yol Yapısı ve Serbest Alan: Şerit çizgisi polinomları, yol sınırları ve sürüşe uygun (drivable) serbest alan grid haritası.

Bu dört çıktı birbirinden bağımsız değildir — track ID ve hız vektörü, ardışık karelerdeki 3D kutuların ilişkilendirilmesinden türetilir (§4); serbest alan haritası ise ayrık nesne listesinden tamamen farklı bir temsil biçimidir (§5). Planlama katmanı (ileri derslerde) her ikisini de aynı anda tüketir: “şu nesneden kaçın” (ayrık liste) ve “şu bölgede sürülebilir” (sürekli alan).

---

2. Nesne Tespiti: Klasikten Derin Öğrenmeye

2.1 Klasik Bilgisayarla Görü Yaklaşımı

2012 öncesi otomotiv görü sistemleri, elle tasarlanmış (hand-crafted) özellik çıkarıcılara dayanıyordu. En yaygın örneklerden biri HOG (Histogram of Oriented Gradients) + SVM (Support Vector Machine) boru hattıdır: görüntü küçük hücrelere bölünür, her hücredeki kenar yönelim histogramı çıkarılır, bu özellik vektörü önceden eğitilmiş bir SVM sınıflandırıcısına verilir. Bu yaklaşım hesaplama açısından ucuzdur ve gömülü donanımda gerçek-zamanlı çalışabilir, ama temel bir zayıflığı vardır: özellikler insan tarafından tasarlanmıştır — hangi kenar deseninin “yaya” olduğuna dair varsayımlar koda gömülüdür. Aydınlatma değişimi, kısmi oklüzyon veya alışılmadık bir poz (örneğin eğilmiş bir yaya) bu varsayımları geçersiz kılabilir ve tespit başarısız olur.

2.2 Derin Öğrenme Devrimi: Uçtan Uca Öğrenilen Özellikler

INTERPRETATION — 2012’den itibaren evrişimli sinir ağları (CNN), özellik çıkarımını elle tasarlamak yerine veriden öğrenilebilir hale getirdi. Bir CNN tabanlı dedektör (Faster R-CNN gibi bölge-öneri tabanlı iki-aşamalı mimariler, ya da YOLO/SSD gibi tek-aşamalı anchor-tabanlı mimariler), milyonlarca etiketli görüntü üzerinde eğitilerek “yaya” kavramını binlerce varyasyonuyla (farklı poz, aydınlatma, kısmi oklüzyon) örtük biçimde öğrenir. Bu, klasik yaklaşımın elle kodlanmış varsayım sınırını ortadan kaldırır — ama bedeli, çok daha fazla hesaplama gücü (GPU/NPU) ve çok büyük, dikkatlice etiketlenmiş veri kümeleri gerektirmesidir.

Modern dedektörler iki ailede toplanır: iki-aşamalı (önce “burada bir nesne olabilir” bölge önerileri üretilir, sonra her bölge sınıflandırılır — daha doğru, daha yavaş) ve tek-aşamalı (bölge önerisi ve sınıflandırma tek bir ağ geçişinde birleştirilir — daha hızlı, üretim ADAS’ın gerçek-zamanlı gereksinimine daha uygun). Tespit kalitesinin ölçümünde standart metrik IoU (Intersection over Union)‘dur:

$\text{IoU} = \frac{\text{Alan}(A \cap B)}{\text{Alan}(A \cup B)}$

Burada $A$ tahmin edilen kutu, $B$ gerçek (ground-truth) kutudur. IoU belirli bir eşiği (tipik 0.5-0.7) aştığında tespit “doğru” sayılır; bu metrik hem eğitim sırasında hem de §4’teki veri ilişkilendirme adımında kullanılır.

2.3 2D’den 3D’ye: Kamera Geometrisi ve BEV Dönüşümü

Geleneksel 2D nesne tespiti piksel düzleminde kalır — ama bir aracın fren yapabilmesi için nesnenin kaç metre uzakta olduğunu (metrik 3D uzay) bilmesi gerekir. Piksel koordinatları $(u, v)$, kameranın intrinsik matrisi (odak uzaklığı $f_x, f_y$ ve optik merkez $c_x, c_y$) ve ekstrinsik matrisi (kameranın araç gövdesine göre konumu/oryantasyonu) kullanılarak 3D ışınlara dönüştürülür; LiDAR/stereo derinlik bilgisiyle birleştirildiğinde bu ışın üzerindeki gerçek 3D nokta çözülür.

Modern mimariler (BEVDet, BEVFormer gibi) bu dönüşümü tek tek nesneler için değil, tüm sahne için yapar: birden fazla kameranın görüntü özellik haritaları, uzaysal çapraz-dikkat (cross-attention) mekanizmalarıyla doğrudan tepeden bakış (Bird’s Eye View — BEV) düzlemine projekte edilir. BEV temsilinin avantajı, farklı kameraların (ve hatta radar/LiDAR’ın) çıktısını ortak bir metrik koordinat sisteminde birleştirmeyi doğal hale getirmesidir — bu da §6’da ele alacağımız perception-seviyesi füzyonun teknik temelidir.

---

3. Sınıflandırma: Semantik Etiketleme

Tespit edilen her sınırlayıcı kutu, bir sınıflandırma başlığından (classification head) geçirilerek bir sınıf etiketine ve bir güven skoruna eşlenir. Ağın çıktı katmanı tipik olarak bir softmax fonksiyonuyla her aday sınıf için bir olasılık üretir:

$P(c_i \mid x) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$

Burada $z_i$ sınıf $i$ için ağın ham çıktısı (logit) ve $K$ toplam sınıf sayısıdır. En yüksek olasılıklı sınıf nihai etiket olarak atanır, ama olasılık değerinin kendisi de (güven skoru) planlama katmanına aktarılır — düşük güvenli bir tespit (örn. “%55 yaya, %40 bisikletli”) planlama tarafında daha muhafazakâr bir tepkiyi (örn. daha erken yavaşlama) tetikleyebilir.

WARNING — Sınıflandırıcı, eğitim veri kümesinde temsil edilmeyen bir nesneyle (out-of-distribution — OOD) karşılaştığında güvenilir bir sonuç üretemez: yolda devrilmiş bir buzdolabı ya da alışılmadık bir yük hiçbir eğitilmiş sınıfa net biçimde uymayabilir. Bu, §5’te ele alacağımız Occupancy Grid yaklaşımının var olma nedenidir — sınıflandırmadan bağımsız bir güvenlik ağı.

---

4. Çoklu Nesne Takibi (Multi-Object Tracking — MOT)

FACT — Nesneleri sadece her karede ayrı ayrı tespit etmek yetmez; bir önceki karedeki tespitle şu anki karedeki tespitin aynı fiziksel nesne olduğunu bilmek (veri ilişkilendirme) ve bu ilişkiden hız/ivme kestirmek gerekir. Bu iki alt-problemden oluşur: durum kestirimi ve veri ilişkilendirme.

4.1 Durum Kestirimi: Kalman Filtresi

Bir nesnenin durumu (konum + hız) klasik olarak bir Kalman Filtresi ile izlenir — doğrusal Gauss gürültülü sistemler için optimal, hesaplama açısından ucuz bir yinelemeli kestirimci. İki adımdan oluşur:

Tahmin (Prediction): Bir önceki durum, fiziksel hareket modeliyle (tipik olarak sabit hız — constant velocity, ya da sabit ivme) bir sonraki zaman adımına taşınır:

$\hat{x}_{k|k-1} = F \hat{x}_{k-1|k-1}, \qquad P_{k|k-1} = F P_{k-1|k-1} F^T + Q$

Burada $\hat{x}$ durum vektörü (konum, hız), $F$ hareket modeli matrisi, $P$ durum kovaryansı (belirsizlik) ve $Q$ süreç gürültüsüdür.

Güncelleme (Update): Yeni bir sensör ölçümü ($z_k$) geldiğinde, tahmin ile ölçüm arasındaki fark (yenilik/innovation) Kalman kazancı ($K_k$) ile ağırlıklandırılarak durum güncellenir:

$K_k = P_{k|k-1} H^T (H P_{k|k-1} H^T + R)^{-1}$ $\hat{x}_{k|k} = \hat{x}_{k|k-1} + K_k (z_k - H\hat{x}_{k|k-1})$

Burada $H$ ölçüm matrisi, $R$ ölçüm gürültü kovaryansıdır. Kalman kazancı, ölçüm daha güvenilirse (düşük $R$) ölçüme daha fazla, tahmin daha güvenilirse tahmine daha fazla ağırlık verir — bu, iki belirsiz bilgi kaynağını istatistiksel olarak optimum biçimde birleştirmenin matematiksel yoludur.

4.2 Veri İlişkilendirme: Macar (Hungarian) Algoritması

Bir karede $N$ mevcut track ve $M$ yeni tespit varsa, hangi track’in hangi tespitle eşleştiği bilinmez — bu veri ilişkilendirme (data association) problemidir. Her track-tespit çifti için bir maliyet (benzerlik) hesaplanır; yaygın iki metrik:

• 3D IoU: §2.2’deki IoU formülünün 3D kutulara genellemesi.
• Mahalanobis Mesafesi: Kalman filtresinin durum belirsizliğini hesaba katan istatistiksel mesafe:

$d = \sqrt{(z_k - H\hat{x}_{k|k-1})^T S^{-1} (z_k - H\hat{x}_{k|k-1})}$

Burada $S = H P_{k|k-1} H^T + R$ yenilik kovaryansıdır. Öklid mesafesinden farkı, belirsizliği yüksek bir track için daha büyük bir eşleşme “toleransı” tanımasıdır.

Bu maliyetlerden oluşan $N \times M$ boyutlu bir maliyet matrisi üzerinde Macar Algoritması, toplam maliyeti minimize eden global-optimum eşleştirmeyi polinom zamanda ($O(n^3)$) çözer — açgözlü (greedy) bir eşleştirmenin (her track’i sırayla en yakın tespitle eşleştirmek) yerel-optimuma takılıp yanlış eşleşmeler üretebileceği durumlarda bile doğru sonucu garanti eder.

CRITICAL — Eşleşmeyen bir tespit yeni bir track başlatır (nesne sahneye yeni giriyor); eşleşmeyen bir track ise birkaç kare boyunca “kayıp” (coasting) olarak işaretlenir ve sadece tahmin adımıyla (ölçüm olmadan) yaşatılır — eğer belirli bir kare sayısı boyunca hiç eşleşme gelmezse track silinir. Bu mekanizma, kısa süreli oklüzyonlarda (AD-05 §1.4) bir nesnenin track ID’sini kaybetmemesini sağlar.

---

5. Serbest Alan (Free-Space) ve Occupancy Grid

EXAMPLE — Yolda devrilmiş bir buzdolabı veya dökülmüş bir yük hiçbir sınıflandırıcının eğitim kümesinde tam karşılığı olmayabilir (out-of-distribution nesne, §3’teki uyarı). Otonom araç bu nesneyi “araç” veya “yaya” olarak tanımasa bile ona çarpmamalıdır.

Bu, serbest alan (free-space) / sürülebilir alan (drivable area) tahmininin ayrık nesne tespitinden kavramsal olarak farklı olmasının nedenidir: nesne tespiti “burada bilinen bir X sınıfı nesne var” der, serbest alan tahmini ise “bu bölge sürüşe güvenli mi” sorusuna, hiçbir ayrık nesne sınıflandırmasına ihtiyaç duymadan cevap verir. Bu, tipik olarak yol yüzeyinin semantik segmentasyonu ile yapılır — her piksel/hücreye “sürülebilir yol”, “bordür”, “inşaat bariyeri”, “diğer araç” gibi bir sınıf atanır; segmentasyon, sınırlayıcı kutulardan farklı olarak sürekli bir mekansal temsildir ve kavşak kenarları, inşaat şeritleme konileri gibi belirli bir “nesne” olmayan ama planlamayı doğrudan etkileyen yapıları da kapsar.

Occupancy Grid (Doluluk Izgarası) bu fikri olasılıksal bir çerçeveye taşır:

• Aracın çevresi tipik $20\text{cm} \times 20\text{cm}$ hücrelere bölünür.
• LiDAR nokta bulutu ve stereo derinlik ışınları her hücreye bir doluluk olasılığı $P(\text{occupied})$ atar.
• Olasılığı belirli bir eşiği aşan hücreler “sürüşe yasak alan” ilan edilir — nesnenin ne olduğu bilinmese bile.

INTERPRETATION — Occupancy Grid, sınıflandırma başarısız olsa bile devreye giren bir güvenlik ağıdır (safety net): nesne tespiti + sınıflandırma boru hattı “bu bir OOD nesne, güvenle yok sayılabilir” diye yanlış karar verse dahi, aynı bölgedeki yüksek doluluk olasılığı planlama katmanına “buradan geçme” sinyalini bağımsız olarak verir. İki temsil (ayrık nesne listesi + sürekli occupancy grid) birlikte çalışır, biri diğerinin yerini tutmaz.

---

6. Perception-Seviyesi Füzyon: Neden Sadece Nesne-Listesi Seviyesinde Değil

INTERPRETATION — AD-07’de tam taksonomisini işleyeceğimiz sensör füzyonunun üç seviyesini burada önizlemek gerekir, çünkü modern perception mimarisi bu seçimle doğrudan şekillenir:

• Geç Füzyon (Late/Object-Level Fusion): Her sensör bağımsız olarak kendi nesne listesini üretir (kamera kendi tespitlerini, radar kendi tespitlerini), bu listeler daha sonra birleştirilir. Basit ve modüler, ama bir sınırı vardır.
• Erken/Orta Füzyon (Early/Mid, Feature-Level Fusion): Ham veya ara-katman özellik haritaları (örn. §2.3’teki BEV özellik haritaları), nesne tespiti tamamlanmadan önce, ortak bir temsilde birleştirilir.

Neden bu fark önemli? Çünkü geç füzyonda, örneğin bir radar dönüşü eşik-altı zayıf (düşük güven skoruyla elenmiş) ve aynı anda bir kamera tespiti de kısmi oklüzyon nedeniyle eşik-altı zayıfsa, her iki sensör de o nesneyi “yok” sayıp raporlar — birleştirilecek hiçbir şey kalmaz. Erken/orta füzyonda ise bu iki ayrı ayrı zayıf sinyal, nesne tespiti tamamlanmadan önce ortak özellik uzayında toplanabilir ve birleşik sinyal eşiği aşarak geçerli bir tespit üretebilir. Bu yüzden modern üretim mimarileri (özellikle BEV tabanlı ağlar), sensör verisini yalnızca son nesne listesi seviyesinde değil, özellik seviyesinde birleştirmeye giderek daha fazla yöneliyor — AD-07’nin ana konusu tam olarak budur.

---

7. Uygulamalı Örnek: Kalabalık Bir Şehir İçi Kavşak Karesi

EXAMPLE — Aşağıdaki tablo, kamera + LiDAR + radar füzyonlu bir perception boru hattının tek bir kareden (frame) ürettiği tipik bir çıktıyı gösterir (basitleştirilmiş, kavramsal amaçlı):

Track ID	Sınıf (güven)	Konum $(x, y)$ [m, araca göre]	Hız $(v_x, v_y)$ [m/s]	Belirsizlik ($\sigma$)
1042	Yaya (0.94)	(3.2, 8.1)	(0.0, -1.1)	Düşük
1043	Bisikletli (0.81)	(-2.5, 15.0)	(2.8, 0.3)	Orta
1044	Otomobil (0.97)	(1.0, 32.4)	(-0.5, 8.9)	Düşük
1046	Araç (0.62) — kısmi oklüzyon	(18.0, 40.0)	(0.1, 7.5)	Yüksek (coasting, 2 kare)
—	Bilinmeyen (OOD)	Occupancy grid: (5,5) hücresinde $P(\text{occupied})=0.88$	—	Sınıflandırma yok, sadece doluluk

Buna paralel olarak sahne için bir sürülebilir alan maskesi üretilir: kavşağın orta bölümü ve karşı şerit “sürülebilir”, kaldırım/bordür şeridi ve 1046 numaralı track’in etrafındaki hücreler (kısmi görünürlük nedeniyle belirsizlik payıyla genişletilmiş) “sürüşe kapalı” olarak işaretlenir.

INTERPRETATION — Bu tek kare, dersin tüm bulgularını somutlaştırır: 1042 ve 1044 yüksek güvenle takip edilirken, 1046 §4.1’deki “coasting” mekanizmasıyla (kısa süreli oklüzyon, AD-05 §1.4) hâlâ izleniyor ama yüksek belirsizlikle işaretli; sınıflandırılamayan bir bölge ise ayrı bir nesne olarak değil, §5’teki occupancy grid’in bağımsız güvenlik ağı sayesinde doğrudan “kaçınılacak alan” olarak planlamaya iletiliyor.

---

Sıkça Sorulan Sorular (FAQ)

S: Neden kamera 3D mesafeyi LiDAR kadar kusursuz ölçemez?

FACT — Kamera 3D dünyayı 2D düzleme izdüşürür (perspektif projeksiyon); bu izdüşüm sırasında derinlik bilgisi fiziksel olarak kaybolur ve §2.3’te açıklandığı gibi yapay zekayla tahmin edilir. LiDAR ise AD-04 §4’te gördüğümüz gibi doğrudan fotonun gidiş-dönüş süresini ölçtüğü için mesafeyi milimetrik hassasiyette, tahmine değil ölçüme dayalı olarak verir.

S: Kalman Filtresi doğrusal olmayan hareket modellerinde (örn. keskin viraj alan bir araç) neden yetersiz kalabilir?

WARNING — Standart Kalman Filtresi doğrusal sistem varsayımına dayanır; keskin dönüş gibi doğrusal olmayan dinamiklerde durum geçiş modeli artık doğrusal değildir. Üretim sistemleri bu durumda genellikle Genişletilmiş Kalman Filtresi (EKF) veya Unscented Kalman Filtresi (UKF) gibi doğrusal-olmayan varyantlara geçer (AD-04 §6.3’te GNSS-IMU füzyonunda gördüğümüz EKF ile aynı aile).

S: Occupancy Grid varken neden hâlâ ayrı bir nesne sınıflandırma katmanına ihtiyaç var?

INTERPRETATION — Occupancy grid sadece “burada bir şey var/yok” der, hız veya niyet (intent) bilgisi taşımaz. Bir yayanın kavşağa girip girmeyeceğini tahmin etmek için sınıf bilgisi (VRU mu, araç mı) ve track geçmişi (hız/ivme eğilimi) gerekir — bu ikisi (occupancy + nesne listesi) birbirini tamamlar, biri diğerinin yerini almaz.

---

Özet

• Perception, ham heterojen sensör girdilerini 3D sınırlayıcı kutulara, sınıf etiketlerine, kalıcı track’lere ve serbest alana dönüştüren, hesaplama açısından en yoğun katmandır.
• Klasik özellik-tabanlı tespit (HOG+SVM) elle tasarlanmış varsayımlarla sınırlıyken, derin öğrenme tabanlı CNN dedektörleri özellikleri veriden uçtan uca öğrenir; IoU standart doğruluk metriğidir.
• BEV mimarisi, kamera intrinsik/ekstrinsik geometrisini kullanarak çoklu kamera (ve sensör) verisini ortak bir tepeden-bakış metrik düzleminde birleştirir.
• MOT iki alt problemden oluşur: Kalman Filtresi ile durum kestirimi (tahmin + güncelleme) ve Macar Algoritması ile global-optimum veri ilişkilendirme (IoU veya Mahalanobis mesafesiyle).
• Occupancy Grid, sınıflandırılamayan (OOD) nesnelere karşı sınıflandırmadan bağımsız bir güvenlik ağıdır; serbest alan segmentasyonu ayrık nesne tespitini tamamlar, yerini almaz.
• Modern mimariler, geç (nesne-listesi) füzyon yerine giderek erken/orta (özellik-seviyesi) füzyona yöneliyor — çünkü ayrı ayrı eşik-altı kalan zayıf sinyaller, birleşik özellik uzayında geçerli bir tespide dönüşebilir (AD-07’nin konusu).

Kaynaklar ve Doğrulama Notu

Bu derste sunulan matematiksel çerçeve (Kalman Filtresi, veri ilişkilendirme) Thrun et al. (Probabilistic Robotics) ve Bar-Shalom, Li & Kirubarajan’ın (Estimation with Applications to Tracking and Navigation) klasik takip literatürüne, kamera geometrisi ve BEV dönüşümü Szeliski’nin (Computer Vision: Algorithms and Applications) temel çalışmasına dayanmaktadır. Modern derin öğrenme mimarilerine (BEVDet, BEVFormer gibi) yapılan atıflar kavramsal referans amaçlıdır ve mimari detaylar hızla değiştiğinden ASSUMPTION olarak değerlendirilmelidir; güncel mimari kıyaslamaları için ilgili akademik literatür doğrulanmalıdır.

Sıradaki Ders

• AD-07 — Sensör Füzyonu: Erken, Geç ve Orta Seviye Füzyon Mimarileri: Bu derste önizlediğimiz erken/geç/orta füzyon taksonomisini tam olarak işleyeceğiz — AD-05’teki tamamlayıcı sensör zayıflıkları ile AD-06’daki perception mimarisini birleştirerek, üretim sistemlerinin gerçek füzyon mimarilerini (kamera-radar erken füzyonu, LiDAR-kamera orta füzyonu) inceleyeceğiz.