Interaktív természetes nyelvi felhasználói interfész kialakítása robotkar vezérléshez
2025-2026 ősz
Szoftver
Téma leírása
A feladat egy olyan nagyobb projektbe illeszkedik be, ahol a feladat célja egy mesterséges intelligencia megoldásokat tartalmazó vezérlőrendszer fejlesztése, amely képes egy robotkar számára komplex és intelligens funkciókat biztosítani valós környezetben való működéshez. A robotkar munkaterét egy sztereo kamerával kell folyamatosan figyelni, és a különböző tárgyakat automatikusan detektálni.
Megvalósítandó funkciók:
- Ebben a kiírásban elsődleges:
- Interaktív természetes nyelvi felhasználói interfész (szöveges chat vagy hangalapú) kialakítása a robotkar vezérléséhez (Pl. "Milyen tárgyakat látsz?", "Kérlek, add ide a csavarhúzót!")
- További csapattagokkal együttműködve:
- A munkatérben lévő objektumok típusainak detektálása és 3D pozícióbecslése (annak megállapítása, hogy az egyes objektumok elérhetők-e a robotkar számára)
- Az elérhető objektumok megfogási pozícióinak becslése (Hová kell vezérelni a robot végberendezését ahhoz, hogy fel tudja emelni a kívánt tárgyat?)
- Robotkar mozgástervezésének és mozgatásának megvalósítása ROS2/MoveIt segítségével
A projekten egyszerre több hallgató is dolgozhat, a feladatok elosztása megbeszélés tárgya. A robotkar közvetlen vezérlését Robot Operating System (ROS2) keretrendszerben kell kialakítani, a többi funkciónak (detekció, természetes nyelvi interfész) is rendelkeznie kell ROS2 integrációval.
(A videó inspirációként szolgál, csak illusztráció.)
Maximális létszám:
2 fő