Ang mga kamera ay nagbibigay ng mataas-na-resolusyon na imahe na mahalaga para sa pagkilala sa mga palatandaan sa kalsada, pagdetect sa mga guhit sa daan, at klasipikasyon ng kahulugan ng mga bagay—ngunit ang pagganap nito ay malaki ang bumababa sa madilim na kondisyon, pagsilaw, o panahong hindi mainam. Ang radar ay nagbibigay ng matatag na operasyon sa anumang panahon kasama ang tumpak na pagsukat ng bilis at deteksyon sa malayo (hanggang 200 metro), ngunit ang kanyang mababang resolusyon sa anggulo ay naglilimita sa pagkakaiba ng mga bagay sa malapit na distansya. Ang lidar ay nagpapadali ng 3D na pagmamapa ng kapaligiran na may katiyakan sa sentimetro—na kritikal para sa pagpaplano ng ruta at lokalisasyon ng mga tao, ngunit ang kanyang paggamit ng laser ay nababawasan ng usok, malakas na ulan, o niyebe. Ang ultrasoniko ay nag-aalok ng murang, presisyong millimetro na deteksyon sa maikling distansya—na perpekto para sa tulong sa pagparada at maniobra sa mababang bilis—ngunit hindi epektibo sa labas ng ~5 metro at lubhang sensitibo sa absorpsyon ng ibabaw at cross-talk. Ang estratehikong pag-deploy ay gumagamit ng pangunahing lakas ng bawat sensor: radar para sa maaasahang pagsubaybay sa galaw sa mahinang visibility, mga kamera para sa kontekstwal na interpretasyon sa mainam na ilaw, lidar para sa katiyakan ng heometriya kung ang kondisyon ay paborable, at ultrasoniko para sa fail-safe na kamalayan sa kalapitan.
Ang mga Inertial Measurement Unit (IMU) ay kumukuha ng akselerasyon at angular velocity sa bawat milisegundo—na nagbibigay ng tuloy-tuloy na konteksto ng galaw habang wala ang signal ng GNSS sa loob ng mga tunnel, urbanong canyon, o sa ilalim ng makapal na dahon. Ang Global Navigation Satellite Systems (GNSS) ay nagbibigay ng tiyak na heograpikong posisyon, ngunit nahihirapan ito sa multipath errors malapit sa mataas na gusali at sa pagkawala ng signal sa mga nakakapagpabagal na kapaligiran. Kapag pinagsama gamit ang Kalman filtering o katulad na mga algorithm, ang dead reckoning mula sa IMU ay sumasaklaw sa mga puwang ng GNSS, samantalang ang mga update mula sa satellite ay kumokorekto sa piling drift ng IMU. Ang ganitong pagkakaisa ay nagbibigay ng matatag na katiyakan sa lokalisasyon na nasa antas ng sentimetro—na mahalaga para sa lane-keeping assist, pag-align sa HD map, at predictive collision modeling.
Multi-Sensor Fusion nagpapakumbini ng mga heterogeneous na input upang labanan ang mga indibidwal na kahinaan—hindi lamang sa pamamagitan ng redundansya, kundi sa pamamagitan ng functional na complementarity. Ang radar ay nag-aambag ng maaasahang velocity vectors at deteksyon ng pagkakaroon sa lahat ng panahon; ang lidar ay nagdaragdag ng heometrikong katiyakan para sa hugis at distansya ng bagay; ang mga camera ay nagbibigay ng semantic na yaman para sa klasipikasyon at konteksto; ang ultrasound naman ay nagpapatatag ng spatial na kamalayan sa mababang bilis. Ang mga fusion pipeline ay pinagsasama ang mga modality na ito sa espasyo at oras, na nagpapahintulot sa cross-validation—halimbawa, ang pagpapatunay sa isang pedestrian na nakilala ng camera gamit ang lidar point-cloud clustering at radar Doppler signature. Ayon sa pananaliksik tungkol sa embedded systems noong 2023 na inilathala sa IEEE Transactions on Vehicular Technology , ang pagsasama-samang pamamaraang ito ay binabawasan ang false positives ng 40% kumpara sa mga single-sensor baseline habang pinabubuti ang pagkakasunod-sunod ng obstacle tracking sa iba’t ibang kondisyon ng pagmamaneho.
Ang maaasahang pagsasama ng sensor ay umaasa sa dalawang pangunahing kailangan: kalibrasyon ng espasyo na may presisyon na mas maliit sa isang sentimetro at pagkakasunod-sunod ng panahon na may presisyon na mikrosegundo. Ang distorsyon ng lens dulot ng temperatura, vibrasyon ng mekanikal, at pagtanda ng sensor ay nagdudulot ng pagkaligaw sa kalibrasyon—kaya kinakailangan ang mga awtomatikong proseso ng real-time na self-calibration na gumagamit ng mga marka sa kalsada, istatikong imprastraktura, o dinamika ng sasakyan. Ang hindi pagkakasunod-sunod ng panahon na lumalampas sa 50 ms ay nagdudulot ng malalaking pagkakamali sa yugto ng dynamic tracking, na binabawasan ang katiyakan ng paghuhula ng mga hadlang hanggang 30% sa mga ekstremong sitwasyon tulad ng mabilis na pagsasama sa daan. Dagdag pa rito, ang pagpoproseso sa loob ng sasakyan ay nagpapahirap pa sa disenyo: ang mga algorithm sa pagsasama ay kailangang gumana sa loob ng mahigpit na badyet sa kapangyarihan (10–30 W bawat domain controller), pamahalaan ang mga data stream na lumalampas sa 10 GB/kada minuto, at panatilihin ang kabuuang latency mula simula hanggang dulo sa ilalim ng 100 ms. Hindi na isinasaalang-alang ang sentralisadong pagpoproseso sa cloud para sa mga kritikal na tungkulin sa kaligtasan dahil sa latensiya at mga alalang katiyakan ng network—kaya ang mga arkitekturang optimizado para sa edge processing na may hardware-accelerated inference (halimbawa: mga processor para sa paningin na may dedikadong CNN engine) ay hindi pwedeng balewalain para sa produksyon ng ADAS.
Ang mga onboard na sensor ng paningin ay nagpapagana sa mga sistema ng pagsusuri sa motorista (DMS) na nagbabago ng hilaw na video ng mukha sa makabuluhang impormasyon para sa kaligtasan. Gamit ang real-time na pagsusuri ng higit sa 60 na landmark ng mukha sa bilis na 30 frames kada segundo, ang mga sistemang ito ay nakakakilala ng mga indikador ng pagkaubos—kabilang ang tagal ng pagsarado ng mata na ≥1.5 segundo—at mga pagkawala ng atensyon na tinutukoy bilang paglihis ng paningin nang 2 segundo mula sa harap na axis ng daanan. Na-verify sa mga peer-reviewed na pag-aaral, ang ganitong uri ng DMS ay nakakamit ng 92% na katumpakan sa pagkakilala ng mga insidente ng kawalan ng atensyon. Journal of Safety Research , 2023). Ang mga protokol sa pagtugon ay sumusunod sa isang nakakalagong hierarkiya: ang mahinang feedback na haptic (halimbawa, ang pagvibrate ng upuan) ay una bago ang mga panlabas na babala, na nagsisiguro ng pinakamababang pagkagambala habang pinapanatili ang kahusayan ng interbensyon. Ang datos sa kaligtasan ng fleet ay nagpapakita ng pare-parehong 34% na pagbaba sa mga insidente na may kaugnayan sa pagkaubos kung saan aktibo ang DMS—na nagpapakita kung paano binabago ng optical sensing ang pasibong obserbasyon sa proaktibong mitigasyon ng panganib.
Ang pinagsamang persepsyon ay nagpapagkaisa ng datos ng paggalaw mula sa radar sa malawak na distansya, kahusayan ng espasyo mula sa lidar, at mga kahulugan mula sa kamera upang makabuo ng mga pananaw tungkol sa kapaligiran na may kamalayan sa konteksto. Ang radar ay nakakakita ng mga bagay sa buong saklaw ng operasyon nito anuman ang ilaw; ang lidar ay nagpapahusay ng mga kontur upang magkakaiba ang mga tao mula sa mga stationary na poste sa distansiyang 40 metro; ang mga kamera naman ay nag-iinterpret ng mga pampublikong palatandaan—na nagpapagana ng awtomatikong pag-aadjust ng limitasyon sa bilis kapag pumasok sa mga lugar na malapit sa paaralan o konstruksyon. Ang sistema ay nangunguna sa mga tugon na may antas-antas na naaayon sa antas ng banta: mga paunang visual na babala para sa mga posibleng pagkakalapat ng landas, agad na haptic na resistensya sa paghawak sa steering habang hindi sinasadyang umalis sa lane, at awtomatikong emergency braking kapag ang posibilidad ng collision ay lumampas sa 90%. Ayon sa ulat sa IEEE Transactions on Intelligent Transportation Systems (2024), ang estratehiyang ito na may antas-antas na tugon ay binabawasan ang rate ng false positive ng 47% kumpara sa mga implementasyon na gumagamit lamang ng radar o kamera lamang—na nagpapatibay sa konsepto ng fusion bilang pundasyon ng adaptive at sentro-sa-tao na logic para sa kaligtasan.
Ang mga modernong sensor sa sasakyan ay gumagawa ng napakalaking dami at magkakaibang uri ng datos—ang mataas na resolusyon na mga kamera lamang ay maaaring mag-produce ng 1–2 GB/katumbas ng segundo. Gayunpaman, ang mga onboard na computing platform ay nakakaranas ng mahigpit na mga limitasyon: ang mga budget sa kapangyarihan ay karaniwang limitado sa 10–30 W bawat domain controller, ang mga tiyak na limitasyon sa latency (<100 ms para sa pag-iwas sa collision), at ang mga hamon sa pamamahala ng init sa mga compact na layout ng chassis. Ang mga katotohanang ito ay pumipilit sa mga inhinyero na gawin ang mga balanseng kompromiso:
Ang pangunahing prinsipyo ay ang matalinong paglalaan ng mga yaman: tinutuon ang kapangyarihan ng pagpoproseso sa mga bagay at landas ng paggalaw na may kaugnayan sa pagkabangga, habang binabawasan ang priyoridad sa mga istatikong elemento ng background. Ang mga quantum-inspired na algorithm sa maagang yugto ng optimisasyon ay nagpapakita ng pangako—na nagbibigay ng hanggang 40% na pagtaas sa kahusayan ng inference sa ilalim ng tunay na kondisyon ng init at limitasyon sa kapangyarihan—na nagpapahintulot ng mas mataas na kalidad na perception nang hindi kinakailangang baguhin ang hardware. Para sa mga tagagawa ng sasakyan, nananatili itong sentral na balanse: ang pag-unlad ng kakayahan ng sensor ay dapat tumungo kasabay ng kahusayan ng embedded AI, na laging nakabase sa mga resulta ng kaligtasan na maaaring patunayan.
Ang mga kamera ay nagbibigay ng mataas-na-resolusyon na imahe para sa detalyadong impormasyon sa konteksto. Ang radar ay nag-aalok ng matatag na operasyon sa lahat ng panahon kasama ang pagkakakilanlan sa malawak na saklaw. Ang lidar ay nagpapahintulot ng tumpak na 3D na pagmamapa, at ang ultrasonics ay epektibo para sa maikling saklaw na tumpak na pag-iisip.
Ang mga IMU ay nagbibigay ng patuloy na datos tungkol sa galaw, samantalang ang GNSS ay nagbibigay ng tiyak na posisyon. Gumagana sila nang sabay, lalo na noong may outage sa GNSS, gamit ang mga algorithm tulad ng Kalman filtering upang magbigay ng tumpak na lokalisaon para sa mga pagpapaandar ng sasakyan.
Ito ay nagkakasama ng iba’t ibang lakas ng sensor upang mabawasan ang mga indibidwal na kahinaan, na nagpapabuti sa kabuuang katumpakan at katiwalian ng pag-unawa, na mahalaga para sa ligtas na operasyon ng sasakyan sa iba’t ibang kondisyon.
Ang mga onboard na sistema ay limitado ng kapangyarihan, kakayahang pangproseso, at mga kondisyon ng init. Kasali sa mga solusyon ang pagbawas ng katumpakan, paunang pagproseso sa gilid (edge preprocessing), at pabalik-balik na pagkuha ng sample (adaptive sampling) upang malampasan ang mga limitasyong ito habang pinapanatili ang kaligtasan at kahusayan.
EN