Privát szféra a zsebben: On-device RAG architektúra megvalósítása és mérése mobil környezetben

Félév: 2025-2026 tavasz

Kategória: Szoftver

Téma leírása

A projekt célja egy teljesen offline működő, Android alapú intelligens asszisztens létrehozása, amely a legújabb "Small Language Model" (SLM) technológiákat és eszközön futó vektoradatbázisokat ötvözi a maximális adatbiztonság érdekében.

Kontextus: A felhőalapú AI megoldások használata során a személyes adatok kikerülnek a felhasználó ellenőrzése alól, ami adatvédelmi kockázatot jelent. Emellett instabil internetkapcsolat esetén a szolgáltatás elérhetetlenné válik. A kihívást az jelenti, hogyan futtassunk erőforrás-igényes RAG (keresés és generálás) folyamatokat a telefon korlátozott hardverén.

A feladat részletes kifejtése: A hallgatónak a következő technikai kihívásokat kell megoldania:

1. Lokális Modell Integráció: Egy nyílt forráskódú, kisméretű modell (pl. Gemma 2B, Phi-3 vagy Llama-3-8B quantized verzió) futtatása Android környezetben (pl. MediaPipe LLM Inference vagy MLC LLM segítségével).

2. On-device Vektoradatbázis: A felhasználó dokumentumainak (pl. jegyzetek, letöltött cikkek) darabolása (chunking) és beágyazása (embedding) helyi erőforrásokkal, majd tárolása egy mobilra optimalizált vektoros tárolóban (pl. SQLite-vec).

3. RAG Pipeline: A keresési és válaszgenerálási folyamat összehangolása, biztosítva a memóriakezelés stabilitását.

4. Mérési keretrendszer: Modul fejlesztése, amely naplózza az energiafogyasztást, a memóriahasználatot, a Token/másodperc sebességet és a válaszidőt (latency) különböző hardveres beállítások mellett.

Végeredmény: Egy natív Android alkalmazás, amely internetkapcsolat nélkül képes kérdésekre válaszolni a telefonon tárolt saját dokumentumok alapján, valamint egy beépített diagnosztikai nézet, amely megjeleníti a teljesítményadatokat.

Javasolt technológiák:

• Mobil: Android (Kotlin) natív fejlesztés.

• AI Engine: MediaPipe, TensorFlow Lite vagy ONNX Runtime.

• Adatbázis: SQLite (vektoros kiegészítéssel) vagy objektum doboz.

Szükséges saját eszköz: Modern, nagy teljesítményű Android okostelefon, minimum 8GB (de inkább 12GB+) RAM-mal a lokális modellek memóriatigénye miatt (pl. Google Pixel, Samsung S-széria, Xiaomi csúcsmodellek).

A téma TDK dolgozatra is alkalmas, valamint több féléves projekt laborként is továbbvihető.

Maximális létszám: 1 fő