Ágens-keretrendszerek automatizált benchmarkingja és összehasonlító elemzése

Félév: 2026-2027 ősz

Kategória: Szoftver

Téma leírása

Az autonóm ágensek fejlesztésére szolgáló tudományos és nyílt forráskódú ökoszisztéma rendkívül gyors ütemben termeli az új keretrendszereket, eszközöket és módszertanokat. A különböző megoldások (mint a LangGraph, CrewAI, AutoGen) alapvetően eltérő belső architektúrákat, állapotkezelési mechanizmusokat, memóriakezelési megoldásokat és vezérlési absztrakciókat alkalmaznak, amelyek valós teljesítménye jelentős szórást mutathat. A technológiai paletta átláthatatlansága megnehezíti a feladatspecifikusan optimális technológiai választást az ipari projektekben. A forráskódok és tudományos publikációk manuális áttekintése rengeteg mérnöki kapacitást emészt fel, és önmagában nem ad választ a valós futási hatékonyságra, a kódminőségre, az állapotkonzisztenciára, valamint a hibajavítási képességre. A munka motivációja egy olyan objektív mérnöki szempontrendszer és egy end-to-end, automatizált benchmarking pipeline létrehozása, amely izolált környezetben validálja a keretrendszereket, és támogatja a fejlesztőket az ipari célokhoz leginkább illeszkedő technológia kiválasztásában.

A hallgató feladatai

• Vezető ágens-keretrendszerek mélyreható elemzése és tesztelése: A piacon elérhető legfontosabb frameworkök (LangGraph, CrewAI, AutoGen) és módszertanok strukturált vizsgálata, architektúrális sajátosságaik, állapotkezelésük, integrációs és skálázhatósági korlátaik feltárása standardizált környezetben.

• Autonóm adatgyűjtő és monitorozó pipeline megépítése: Egy olyan automatizált rendszer kifejlesztése, amely web scraping és API-k segítségével folyamatosan figyeli a releváns szakmai forrásokat (pl. GitHub repók, arXiv publikációk, közösségi platformok), és felderíti a legújabb ágens-mérnöki projekteket.

• Izolált futtatási és tesztelési infrastruktúra (Docker): A felderített keretrendszerek automatikus kicsomagolása, függőségeik feloldása, valamint izolált Docker konténerekben történő hibamentes futtatása.

• Átfogó metrikarendszer és valós esettanulmányok definiálása: Standardizált tesztcsomagok és benchmarkok (pl. BMAD, Harness) megvalósítása, amelyek valós mérnöki feladattípusokon szimulálják a többágenses együttműködést. A pipeline-nak mérnie kell a komplex feladatmegoldási hatékonyságot, a robusztusságot, az állapotkonzisztenciát, az időbeli rendszerviselkedést, a kódminőséget és az erőforrás-kihasználást.

• LLM-alapú telemetria-feldolgozás és riportgenerálás: A futás során rögzített profilozási és monitorozási adatok feldolgozása egy integrált LLM segítségével, strukturált, a fejlesztők számára azonnal hasznosítható összehasonlító riportok és dokumentáció automatikus előállítása céljából.

• Reprodukálható kiértékelés: A félév végére egy működő, teljesen autonóm benchmarking pipeline átadása, valamint egy részletes összehasonlító tanulmány összeállítása, amely objektíven bemutatja az egyes keretrendszerek erősségeit és korlátait.

Ez a külső téma a Siemens Mobility csapatával valósul meg.

Külső partner: Siemens Mobility

Maximális létszám: 2 fő