Smart Vehicle. Od kamere do komandi.

Projekat

Smart Vehicle, prvobitno Pametno Vozilo, nastao je kroz praktičan rad na robotici u ETŠ Nikola Tesla u Nišu. Platformu sam napravio da povežem ono što kamera vidi sa softverom koji upravlja fizičkim vozilom.

Projekat povezuje Raspberry Pi 5 edge računar sa Kotlin / Jetpack Compose Android kontrolnom stanicom. Kod je open source pod MIT licencom. Mentor projekta je Predrag Šubarević, uz zahvalnost bivšem mentoru Dejanu Batanjcu.

Problem: obrada slike ne sme da uspori upravljanje

Prvi prototip je povezao obradu slike i upravljanje motorima. Kada inference postane zahtevan, komande su morale da čekaju. Zato je razdvajanje odgovornosti postalo praktičan zahtev.

Snimanje kamerom, inference modela, prenos videa i komande za motore imaju različite zadatke. Treba da sarađuju bez čekanja da se svaki frejm obradi.

Šta sam napravio

1. Pi Camera v2 → snimanje
2. Raspberry Pi 5 → YOLO
3. Android → prikaz i upravljanje

Na vozilu

Raspberry Pi 5 sa 8 GB RAM-a pokreće Python servise za GPIO periferije, YOLO detekciju objekata i MJPEG video streaming. Četiri DC motora sa reduktorima i Mecanum točkovima omogućavaju kretanje u više pravaca, uz L298N H-bridge drajvere. XL4015 pretvarač obezbeđuje regulisano napajanje.

Android aplikacija za upravljanje

Native Android klijent spaja video uživo, komande i telemetriju u jednu kontrolnu stanicu. YOLO detekcija radi na Pi-ju. Google ML Kit OCR u Android klijentu izdvaja tekst iz videa.

Šta se dešava kada veza pukne

Smart Network prati vezu i pokreće lokalni rezervni hotspot kada spoljni Wi-Fi nestane. Model Pipeline obezbeđuje optimizaciju, kvantizaciju i izvoz modela u TFLite i ONNX formate.

Šta projekat pokazuje

Platforma je osvojila 4. mesto i posebnu nagradu na 10. Galaksija kupu. Javni dokazi uključuju vozilo, Android interfejs, šemu hardvera i open-source implementaciju.

Iz ovog projekta sam izvukao tri važne stvari: izdvoji zahtevnu obradu, sačuvaj odziv komandi i računaj na prekid veze. Isto važi i za aplikacije i povezane servise.

Daljinsko upravljanje i obrada slike na uređaju su osnova. LiDAR i SLAM, pristupačni alati za programiranje i jasnija uputstva za pravljenje kopije su budući pravci, ne isporučene mogućnosti.

Istraži implementaciju

• Zvanični sajt projekta Smart Vehicle
• Python server za Raspberry Pi
• Kotlin / Jetpack Compose Android klijent
• Smart Network servis za rezervnu vezu
• Model Pipeline

Planiraš Android aplikaciju ili povezani sistem? Reci mi šta treba da radi i sa kojim hardverom ili servisima treba da sarađuje.