Számítógépes látáson alapuló AR/VR megoldás generatív AI-val
2024-2025 ősz
Szoftver
Téma leírása
A téma célja egy olyan AR/VR alkalmazás kifejlesztése, amely képes tárgyak detektálására és azok részleteinek megjelenítésére, valamint generatív mesterséges intelligencia segítségével válaszokat ad a felhasználó által feltett kérdésekre. A megoldás különböző iparágakban, például logisztikában, gyártásban és szórakoztatóiparban alkalmazható.
Feldolgozáshoz szükséges előismeretek
- Unreal vagy Unity motor
- Generatív AI modellek
- OpenCV és számítógépes látás
Terület bemutatása
Az AR/VR technológiák gyors ütemben fejlődnek, lehetőséget kínálva a felhasználók számára, hogy a valós és a virtuális világot egyesítsék. A számítógépes látás, amely képes a valós világban lévő tárgyak felismerésére, és a generatív AI, amely intelligens válaszokat adhat a tárgyakról, új dimenziókat nyit az interaktív alkalmazások fejlesztésében. Az ilyen megoldások különösen hasznosak lehetnek a gyártásban és logisztikában, ahol az azonnali információelérés és a valós idejű döntéshozatal kulcsfontosságú. Szórakoztatóipari alkalmazásokban pedig új szintre emelhetik a felhasználói élményt.
Nyitott kérdések
Az egyik fő kihívás az, hogyan lehet a számítógépes látás és a generatív AI modellek kombinációját hatékonyan alkalmazni egy AR/VR környezetben úgy, hogy az alkalmazás valós idejű, pontos és hasznos információkat nyújtson a felhasználóknak. További kihívás a RAG (Retrieval-Augmented Generation) architektúra bevezetése, amely lehetővé teszi a finomhangolt, kontextusfüggő válaszok generálását. Emellett fontos kérdés a rendszer skálázhatósága és teljesítménye különböző hardverplatformokon, mint például a Hololens és mobil eszközök.
A hallgató feladata, hogy
- Fejlesszen ki egy AR/VR megoldást, amely képes a valós világban lévő tárgyak detektálására, és generatív AI segítségével válaszokat adni a tárgyakkal kapcsolatos kérdésekre.
- Implementálja a RAG architektúrát az alkalmazásban, hogy a felhasználók finomhangolt és releváns válaszokat kapjanak.
- Tesztelje a megoldást különböző iparági forgatókönyvekben, például gyártási folyamatokban vagy logisztikai műveletek során, valamint értékelje annak teljesítményét különböző eszközökön.
- Készítsen egy működő prototípust, amely demonstrálja a rendszer képességeit és alkalmazási lehetőségeit a megcélzott iparágakban, különös tekintettel a szórakoztatóiparra és gyártási folyamatokra.
Külső partner: Zenitech
Maximális létszám:
2 fő