AD-22 — Doğrulama ve Onaylama: MIL, SIL, HIL, VIL, Pist ve Simülasyon

FACT — Bir otonom sürüş yazılımının, üzerinde çalıştığı gerçek ECU’ya, gerçek sensörlere ve gerçek bir araca hiç dokunmadan test edilebilecek versiyonu vardır; aynı yazılımın, tam donanımla laboratuvarda test edilen versiyonu vardır; ve nihayet gerçek bir aracın gerçek bir yolda sürdüğü versiyonu vardır. Bu üç versiyon arasındaki fark saf mühendislik ekonomisidir: bulutta bir gecede bir milyon senaryo koşmanın maliyeti sıfıra yakınken, gerçek bir aracı gerçek trafikte bir milyon kilometre sürmenin maliyeti yıllarca sürer ve gerçek insanları riske atar. Bu ders, bu iki uç arasındaki doğrulama piramidini — MIL, SIL, HIL, VIL, pist ve açık yol — adım adım inceler.

Bu derste şunları öğreneceksin:

1. V&V Kavramları ve Test Piramidinin Ekonomik Mantığı — maliyet/risk her katmanda neden katlanarak artar.
2. MIL (Model-in-the-Loop) — saf matematiksel modelle en erken, en ucuz doğrulama.
3. SIL (Software-in-the-Loop) — gerçek üretim kodu, simüle sensör girdisi.
4. HIL (Hardware-in-the-Loop) — gerçek ECU, simüle sinyal, gerçek zamanlı hata enjeksiyonu.
5. VIL (Vehicle-in-the-Loop) — gerçek araç, kısmen simüle sahne.
6. Kapalı Pist (Proving Ground) Testleri — tam gerçek, ama kontrollü ve tehlikeli senaryolara izin veren ortam.
7. Açık Yol Testi — piramidin en gerçekçi, en pahalı ve en yavaş son katmanı.
8. Katmanlar Arası Karşılaştırma ve Vaka İncelemesi — her katman neyi yakalar, neyi kaçırır.

---

1. V&V Kavramları ve Test Piramidinin Ekonomik Mantığı

Sistem mühendisliğinde iki kavram kesin olarak ayrılır:

• Doğrulama (Verification): “Sistemi doğru mu inşa ettik?” — çıktının şartnameye (spesifikasyona) uygunluğunu kontrol eder.
• Onaylama (Validation): “Doğru sistemi mi inşa ettik?” — çıktının gerçek dünyadaki güvenlik ve kullanıcı ihtiyaçlarını karşıladığını kontrol eder.

Bir kontrol algoritması şartnamesine göre doğru çalışabilir (verified) ama yine de gerçek bir yayanın davranışını yanlış tahmin edebilir (invalidated). Bu iki soruyu da yanıtlamak için endüstri, ucuz/hızlı/erken katmanlardan pahalı/yavaş/geç katmanlara doğru ilerleyen bir X-in-the-Loop (XiL) piramidi kullanır:

Test Piramidi — Maliyet, Risk ve Gerçekçilik Ekseni:

                    [ AÇIK YOL FİLOSU ]
                    En gerçekçi, en pahalı, en yavaş
                   /                              \
                  /        10^5 - 10^6 km          \
                 /----------------------------------\
                [ KAPALI PİST (PROVING GROUND) ]
                Gerçek araç, kontrollü tehlike
               /                                    \
              /          10^4 - 10^5 senaryo         \
             /--------------------------------------- \
            [ VIL — Vehicle-in-the-Loop ]
            Gerçek araç, kısmen simüle sahne
           /                                          \
          /             10^4 senaryo                   \
         /------------------------------------------- --\
        [ HIL — Hardware-in-the-Loop ]
        Gerçek ECU, simüle sinyal, gerçek zaman
       /                                                \
      /                10^5 - 10^6 senaryo               \
     /-------------------------------------------------- -\
    [ SIL — Software-in-the-Loop ]
    Üretim kodu, sanal host, bulutta paralel
   /                                                       \
  /                   10^7 - 10^8 senaryo                   \
 /---------------------------------------------------------- \
[ MIL — Model-in-the-Loop ]
Saf matematiksel model — en ucuz, en hızlı, en erken
                10^8 - 10^9+ senaryo varyasyonu

CRITICAL — Piramidin var olma nedeni tek cümlede özetlenebilir: her bir üst katmana çıkıldığında maliyet ve risk yaklaşık bir ila iki büyüklük mertebesi (order of magnitude) artar, buna karşılık koşulabilen senaryo sayısı aynı oranda azalır. Bu yüzden endüstri mümkün olan en fazla doğrulamayı piramidin en altına — MIL ve SIL’e — sıkıştırmaya çalışır; bulut hesaplama gücüyle bir gecede milyonlarca senaryo varyasyonu koşmak fiziksel olarak imkansız olan “bir gecede bir milyon araçla test sürüşü” senaryosunun ucuz bir ikamesidir.

Ama bu piramit tek yönlü bir hiyerarşi değildir — her katman, bir alttaki katmanın yapısal olarak kaçırdığı bir hata sınıfını yakalar. Bu ders boyunca her katmanı incelerken hem “ne kadar ucuz/hızlı” hem “neyi asla yakalayamaz” sorusunu birlikte soracağız.

---

2. MIL — Model-in-the-Loop

Ortam: MATLAB/Simulink veya benzeri sembolik modelleme araçları; hedef mikroişlemci, derleyici veya bellek modeli yoktur.

Ne test edilir: Kontrol algoritmasının saf matematiği — örneğin bir MPC (Model Predictive Control) yörünge takipçisinin, bir Kalman filtresinin veya bir PID hız kontrolcüsünün sürekli-zaman diferansiyel denklemleri doğru çözüp çözmediği.

Neden en ucuz katman: Kod derlemesi, hedef donanım veya gerçek zamanlı kısıtlar yoktur; bir dizüstü bilgisayarda saniyeler içinde binlerce parametre varyasyonu koşulabilir. Bulutta paralelleştirildiğinde bir gecede yüz milyonlarca senaryo varyasyonu taranabilir — bu ölçek fiziksel bir test sahasında asla mümkün değildir.

Neyi yakalayamaz: MIL, algoritmanın matematiksel olarak doğru olduğunu kanıtlar ama gerçek dünyanın gürültüsünü, sensör yanlılığını (bias), zamanlama gecikmelerini veya hedef işlemcinin sayısal kuantalama (fixed-point/floating-point) hatalarını hiç görmez. Kâğıt üzerinde mükemmel çalışan bir algoritma, gerçek donanımda saat döngüsü kısıtları yüzünden farklı davranabilir.

---

3. SIL — Software-in-the-Loop

Ortam: Modelden üretilen veya doğrudan elle yazılan gerçek üretim C/C++ kodu, sanal bir ana bilgisayarda (x86_64 host) derlenip çalıştırılır.

Ne test edilir: MIL’in aksine artık soyut bir model değil, fabrikaya gidecek gerçek kod test edilir — bellek yönetimi, durum makineleri, tamsayı taşmaları, işaretçi hataları, döngü zamanlama varsayımları. Simüle sensör girdileri (kaydedilmiş veya sentetik) ve simüle araç dinamiği modeli koda beslenir.

Neden bir üst katman gerekli: MIL’de test edilen matematiksel model ile gerçekte derlenen kod arasında her zaman bir fark vardır — kod üretim araçlarındaki (code generation) hatalar, elle eklenen optimize edilmiş rutinler veya sayısal hassasiyet farkları MIL’in soyut modelinde asla görünmez. SIL bu implementasyon hatalarını yakalar.

Ölçek: Hedef işlemcinin saat döngüsüne bağlı olmadığı için SIL de bulutta yüksek paralellikle koşulabilir — tipik olarak gerçek zamandan 5-50 kat daha hızlı, binlerce CPU çekirdeğinde eşzamanlı.

Neyi yakalayamaz: SIL yine de gerçek donanımın I/O zamanlamasını, veri yolu (CAN/Ethernet) gecikmelerini, kesme (interrupt) önceliklerini veya gerçek bir sensörün analog/dijital dönüştürücüsündeki gürültü karakteristiğini modellemez.

---

4. HIL — Hardware-in-the-Loop

Ortam: Gerçek üretim ECU’su (örneğin bir ADAS Domain Controller) fiziksel bir test kabinine (dSPACE, Speedgoat, ETAS gibi gerçek-zamanlı simülatörlere) bağlanır. Artık kod bir sanal host’ta değil, hedef donanımın kendi işlemcisinde, kendi saat hızında çalışır.

Alt bileşenler:

• Sensör Emülasyonu: Gerçek kamera/radar/LiDAR yerine, sensörün fiziksel arayüzüne (FPD-Link/GMSL deserializer, radar RF önyükleme portu) doğrudan sentetik sinyal enjekte edilir — örneğin bir Radar Target Simulator, 77 GHz’lik gecikmeli bir mikrodalga yansıması üretir.
• Veri Yolu Simülasyonu: Gerçek zamanlı simülatör, CAN-FD/FlexRay/Otomotiv Ethernet mesajlarını mikrosaniye hassasiyetinde, gerçek trafik yoğunluğuyla basar.
• Hata Enjeksiyonu (Fault Injection): Kablo kopması (open-circuit), kısa devre (şasiye veya beslemeye), veri yolu paket kaybı ve bellek bit bozulmaları donanımsal olarak tetiklenerek ECU’nun emniyetli duruma (safe state) geçiş süresi ölçülür.

Neden bir üst katman gerekli: SIL, hedef donanımın gerçek zamanlı davranışını asla modelleyemez — bir kesme rutininin gerçekte kaç mikrosaniye sürdüğü, bir CAN veri yolunun gerçekte ne zaman tıkandığı (bus load), veya bir kısa devrenin ECU’nun güç kaynağını gerçekte nasıl etkilediği ancak gerçek silikonla ölçülebilir.

WARNING — HIL’de “açık çevrim” (open-loop) ile “kapalı çevrim” (closed-loop) testi karıştırılmamalıdır. Açık çevrimde kaydedilmiş sensör verisi ECU’ya oynatılır ama ECU’nun verdiği fren/direksiyon komutu sanal dünyayı etkilemez — bu yalnızca tepki doğruluğunu ölçer. Kapalı çevrimde ise ECU fren komutu verdiğinde, HIL kabinindeki araç dinamiği modeli gerçekten yavaşlar ve sensör simülatörüne beslenen hedef mesafesi bu yavaşlamaya göre milisaniyeler içinde güncellenir — yalnızca bu ikinci mod, gerçek bir kapalı-çevrim kontrol döngüsünü doğrular.

Neyi yakalayamaz: HIL, gerçek lastik-yol sürtünmesini, gerçek süspansiyon esnekliğini, gerçek fren hidroliğinin basınç oluşturma gecikmesini veya gerçek bir kameranın lensindeki mikroskobik kir/tuz lekesini simüle edemez — çünkü fiziksel bir araç gövdesi hâlâ döngüde değildir.

---

5. VIL — Vehicle-in-the-Loop

Ortam: Tam donanımlı, fiziksel bir araç bir dinamometre üzerinde veya boş bir test pistinde gerçekten sürülürken, bazı unsurlar hâlâ simüle edilir — örneğin boş bir pistin üzerine sanal bir yaya, sanal bir öndeki araç veya sanal bir kavşak trafiği bindirilerek aracın algı katmanına gerçek zamanlı olarak beslenir.

Neden bu katman özel: VIL, HIL ile pist testi arasında bir köprüdür. Aracın gerçek süspansiyon tepkisi, gerçek fren hidroliği gecikmesi ve gerçek direksiyon aktüatörü dinamiği artık döngüdedir — ama tehlikeli bir senaryo (örneğin bir yayanın aniden yola fırlaması) gerçek bir insanı riske atmadan test edilebilir, çünkü “yaya” sadece algı sensörlerine enjekte edilen bir sanal nesnedir.

EXAMPLE — Bir VIL kurulumunda araç boş bir pistte gerçek 50 km/s hızla ilerlerken, kameranın gördüğü görüntüye ve/veya radarın aldığı yansımaya sanal bir çocuk figürü 30 metre önden yola giriyormuş gibi enjekte edilir. Araç gerçekten fren yapar, gerçekten yavaşlar — ama ortada hiçbir zaman gerçek bir insan yoktur. Bu, “gerçek fiziksel tepki + sıfır insan riski” kombinasyonunu sağlayan tek test katmanıdır.

Neyi yakalayamaz: VIL hâlâ kontrollü bir pist ortamındadır; gerçek trafiğin öngörülemezliğini, gerçek sürücülerin davranış çeşitliliğini veya haritalanmamış bir kavşağın gerçek geometrik tuhaflıklarını içermez.

---

6. Kapalı Pist (Proving Ground) Testleri

Pist testinde artık hiçbir şey simüle edilmez — araç da, çevre de, diğer aktörler de gerçektir; tek fark ortamın özel ve kontrollü olmasıdır. Bu, tehlikeli senaryoları eğitimli test sürücüleri ve “yumuşak hedefler” ile güvenle koşmayı mümkün kılar.

Yer Gerçeği (Ground Truth) Altyapısı:

1. Diferansiyel RTK-GNSS + Taktiksel IMU: Test aracı ve hedef platformlar çift antenli RTK-GNSS ve fiber-optik jiroskoplu (FOG) IMU ile donatılır; konum doğruluğu 2 cm’nin, yönelim doğruluğu $0.05^\circ$‘nin altındadır.
2. Yumuşak Hedefler (Soft Targets): GVT (Global Vehicle Target) — radar/LiDAR yansıtıcılığı gerçek bir araçla eşleşen, çarpışma anında zarar vermeden dağılan köpük araç modeli. UFO (Ultra-Flat Overrunable Robot) — yüksekliği 5 cm’nin altında, üzerinden geçildiğinde lastiğe zarar vermeyen, RTK ile senkronize hareket eden robotik taşıyıcı.

FACT — Euro NCAP protokolleri, yer gerçeği veri toplama frekansının en az 100 Hz olmasını ve test aracı ile hedef arasındaki bağıl mesafe ölçüm hatasının 5 santimetrenin altında tutulmasını şart koşar — bu hassasiyet olmadan, sistemin AEB’yi “doğru anda” tetikleyip tetiklemediği objektif olarak kanıtlanamaz.

Neyi yakalayamaz: Pist, tanım gereği kontrollüdür — beklenmedik bir yayanın, beklenmedik bir sürücünün veya haritalanmamış bir yol işaretinin ürettiği gerçek dünya çeşitliliğini asla tam olarak taklit edemez.

---

7. Açık Yol Testi — Piramidin Zirvesi

Piramidin son ve en gerçekçi katmanı, gerçek trafikte, gerçek hava koşullarında, gerçek insan sürücüler ve yayalarla paylaşılan yollarda yapılan testtir. Bu katman aynı zamanda en pahalı, en yavaş ve en riskli katmandır — bu yüzden bir sisteme açık yol testi izni genellikle piramidin altındaki tüm katmanlarda belirli bir olgunluk (maturity) seviyesine ulaşıldıktan sonra verilir.

INTERPRETATION — Açık yol testinin gerekçesi, simülasyonun ne kadar iyi olursa olsun asla tam olarak yakalayamayacağı iki şey vardır: gerçek sensör donanımının kendine özgü, tam olarak modellenmemiş gürültü karakteristiği (her kameranın/radarın kendine özgü üretim toleransları vardır) ve gerçek dünyanın kestirilemez çeşitliliği (hiçbir senaryo kütüphanesi, gerçek trafikte olabilecek her kombinasyonu önceden tahmin edemez). Bu iki gerçek, milyarlarca simüle kilometreye rağmen neden hâlâ gerçek kilometrenin vazgeçilmez olduğunu açıklar — bu ders AD-24’te “uzun kuyruk” (long-tail) problemi olarak tekrar karşımıza çıkacak.

ASSUMPTION — Büyük otonom sürüş geliştiricilerinin kamuya açık raporları, gerçek dünya test kilometrelerinin yanında milyarlarca kilometre mertebesinde simülasyon koştuklarını belirtir (ör. Waymo’nun yıllık güvenlik raporlarında kamuya açıkladığı simülasyon-kilometresi rakamları); bu, endüstride iyi belgelenmiş genel bir pratiktir. Ancak tam rakamlar, metodoloji ve model yılına göre değişir — güncel ve kesin sayılar için ilgili şirketin en son yayımladığı güvenlik raporuna bakılmalıdır.

---

8. Katmanlar Arası Karşılaştırma

Katman	Donanım	Yazılım Hedefi	Hız Faktörü	Göreli Maliyet	Ana Odak	Yapısal Olarak Kaçırdığı
MIL	Yok (PC)	Matematiksel model	10x–100x gerçek zaman	Çok düşük	Algoritma matematiği	Kod implementasyonu, donanım zamanlaması
SIL	Yok (x86_64 host)	Üretim kodu (C/C++)	5x–50x gerçek zaman	Düşük	Yazılım mantığı, bellek güvenliği	Gerçek zamanlı I/O, donanım hataları
HIL	Gerçek üretim ECU	Hedef ikili kod	1.0x (sert gerçek zaman)	Yüksek	I/O zamanlaması, hata enjeksiyonu	Gerçek araç dinamiği, lastik-yol teması
VIL	Tam fiziksel araç	Tam entegre sistem	1.0x gerçek zaman	Çok yüksek	Aktüatör/süspansiyon dinamiği	Gerçek trafik öngörülemezliği
Pist	Tam fiziksel araç + gerçek hedefler	Tam entegre sistem	1.0x gerçek zaman	Çok yüksek	Kontrollü tehlikeli senaryo	Gerçek trafik çeşitliliği
Açık Yol	Tam fiziksel araç	Tam entegre sistem	1.0x gerçek zaman	En yüksek	Nihai gerçek dünya onayı	Ölçeklenebilirlik (istatistiksel güven için yıllar gerekir)

---

Sıkça Sorulan Sorular (FAQ)

S: Eğer bulut simülasyonu bu kadar ucuz ve hızlıysa, neden hâlâ pahalı pist ve açık yol testine ihtiyaç var?

WARNING — Simülasyon modelleri her zaman bir soyutlamadır. Lastik-yol temasındaki mikro kaymalar, lens üzerindeki mikroskobik kir/tuz birikimi, gerçek bir GPU’nun ısınma altında zamanlama davranışı gibi ayrıntılar tam olarak modellenemez. Bu farka sim-to-real gap (simülasyondan gerçeğe boşluk) denir: simülasyonda %99.99 doğruluk gösteren bir algı modeli, gerçek dünyada beklenmedik yanlış-pozitif (ör. hayalet frenleme) üretebilir. Bu yüzden sensör gürültü modelleri düzenli olarak gerçek pist verisiyle yeniden kalibre edilmelidir.

S: HIL testinde hata enjeksiyonu (fault injection) neden ISO 26262 için zorunlu kabul edilir? C: ASIL-D seviyesinde bir sistemin arıza anında güvenli duruma geçebildiğini kanıtlamanın tek yolu, arızayı bilerek üretmektir. Örneğin CAN hattının şasiye kısa devre olması durumunda sistemin belirlenen süre içinde (Fault Handling Time Interval) yedek kontrolcüye veya emniyetli duruma geçtiği HIL üzerinde ölçülerek kanıtlanmalıdır.

S: Piramidin her katmanı sırayla mı kullanılır, yoksa paralel mi?

INTERPRETATION — Pratikte doğrusal değildir. Bir özellik ilk geliştirildiğinde MIL/SIL’de yoğun biçimde test edilir; olgunlaştıkça HIL’e taşınır; ama SIL/MIL testleri asla durmaz — her yeni kod değişikliği önce en ucuz katmanlardan geçer (regresyon testi), yalnızca kritik değişiklikler pist/açık yol testine kadar yükselir.

---

Özet

• Doğrulama (verification — şartnameye uygunluk) ve onaylama (validation — gerçek dünya güvenliğine uygunluk) farklı sorulardır ve piramidin farklı katmanlarında farklı ağırlıkla ele alınır.
• Piramidin ekonomik mantığı basittir: her üst katmana çıkıldığında maliyet/risk büyük ölçekte artar, koşulabilen senaryo sayısı düşer — bu yüzden mümkün olan en fazla doğrulama en ucuz katmanlara (MIL/SIL) itilir.
• MIL saf matematiği, SIL üretim kodunun implementasyon doğruluğunu, HIL gerçek donanımın zamanlama/hata davranışını, VIL gerçek aktüatör dinamiklerini insan riski olmadan test eder.
• Pist testi kontrollü ama tam fiziksel gerçekliktir; açık yol testi nihai ama en pahalı/yavaş/riskli katmandır ve simülasyonun asla tam olarak taklit edemediği sensör gürültüsü ve dünya çeşitliliğini yakalar.
• Sim-to-real gap, büyük ölçekli simülasyon yatırımına rağmen gerçek dünya testinin neden hâlâ vazgeçilmez olduğunun teknik köküdür.

Kaynaklar ve Doğrulama Notu

Bu derste sunulan V&V piramidi yapısı ISO 26262-4 (sistem seviyesi ürün geliştirme), ISO 21448 (SOTIF) ve ASAM OpenX ekosistemindeki (bkz. AD-23) test altyapısı standartlarına dayanır; yer gerçeği hassasiyet gereksinimleri Euro NCAP test protokollerinden alınmıştır. Waymo’nun kamuya açık simülasyon-kilometresi açıklamaları ASSUMPTION olarak işaretlenmiştir — kesin güncel rakamlar için ilgili şirketin en son güvenlik raporu doğrulanmalıdır.

Sıradaki Ders

• AD-23 — Senaryo Tabanlı Test Metodolojisi ve Güvenlik Metrikleri: Bu derste piramidin özellikle MIL/SIL katmanlarında neyin koşulduğunu — yapılandırılmış senaryo kütüphanelerini, ASAM OpenSCENARIO/OpenDRIVE standartlarını ve TTC/PET/DRAC/RSS gibi nesnel güvenlik metriklerini — inceleyeceğiz.