Adapted

Adaptív alkalmazások és a felhasználó interaktív monitorozása mobil platformon


Mobilkörnyezetben kifejlesztettünk egy általánosan alkalmazható szoftver csomagot Android platformon, amely fiziológiai jeleket és mobil markereket (eredmény, reakcióidő, érintés események stb.) alkalmaz a felhasználó monitorozására. Emellett ezekből a jelekből képes dinamikus nehézségi szintet kikövetkeztetni, hogy fenntartsa a figyelmet és javítsa a felhasználói- és játékélményt.

 

 

Kapcsolat:

Dr. Forstner Bertalan projektvezető

Szegletes Luca kutató


 

Adaptív

A szoftvercsomag képes arra, hogy például oktatószoftverek kapcsán a játékélményt növelje dinamikus nehézségszint állításon keresztül. A nehézségi szint egy olyan fogalom, ami szinten minden játékban megjelenik, oktatójátékokban pedig specifikusan szakértők definiálják ezt. Ezért választottuk a keretrendszerhez a nehézségi szintet, mint egységet, amit a játékokban változtatunk. Ezt a nehézségi szintet különböző mérési egységekből érkező jelekből állítjuk elő egy döntéshozó algoritmuson keresztül.

Szenzorok

Első körben fiziológiai szenzorokat használunk az úgynevezett mentális megterhelés mérésére. Szempont volt, hogy olyan mérőeszközöket válasszunk, amik amellett, hogy megfelelő tudományos háttérrel alá vannak támasztva, gazdaságos eszközök és vezeték nélkül csatlakoztathatóak a tablethez. Ezek az EEG, EKG és szemmozgáskövető szenzorok, melyekből különböző markereket nyerünk a mentális megterhelés becslésére real-time (vagyis 1 másodperces időablakokban képesek vagyunk mondani valamit arról, hogy az adott feladat mennyire terheli meg a felhasználót).

A másik oldalról a szenzorunk maga a mobil készülék, ahol különböző értékeket figyelhetünk meg, ilyeneket a játékban elért pontszám, reakcióidő, válaszidő, illetve maguk az érintésesemények, melyek kivételesen jól prediktálják a felhasználó eredményességét, illetve csalásdetektálásra is használható (a készülék authentikációjára).

Oktatás

A szoftvercsomag fel van készítve a tantermi használatra. Egy úgynevezett felügyelő alkalmazás teszi lehetővé, hogy a tanár kövesse a tanulók munkáját. Ezt úgy kell elképzelni, hogy minden gyereknél van egy tablet, ezen a keretrendszert elindítva feladatokat old meg (oktatójátékkal játszik), amennyiben a mérést kiegészítik a fenn említett szenzorok, akkor az azokból nyert mentális megterhelés mutatókat (hogy unatkozik-e, frusztrált, fáradt vagy éppen élvezi a játékot) és a képernyőképet is nyomon tudja követni az oktató a saját tabletjén, minden tanulóét egyszerre. Ezen kívül még vezérelni is tudja a keretrendszeren keresztül, hogy milyen játék fusson a gyerekek tabletjén.

Kutatás

A hosszabb kutatást és a felhasználó interaktív monitorozását az adminisztrációs felület teszi lehetővé, ami a szerveren tárolt adatokat jeleníti meg. Ugyanis minden játékmenetet tárolunk a szerveren, ezek egyszerűen lekérdezhetőek (iskolákra, tanárokra és kutatókra bontva a hozzáférést). Egy vizuális storyboard jelleggel tekintetőek meg a játékmenetek, ahol az egyes képernyőképeket lehet visszanézni, illetve idő függvényben a szenzorok kimeneteit (mentális megterhelés értékeket, illetve az egyes érintéseseményeket). Bármely alkalmazás monitorozható ezzel az eszközzel, így akár piaci alkalmazás felhasználói élményének finomhangolására is használható.

Oktatójátékok

Végül több játékot fejlesztettünk szakértők közreműködésével és ezeket illesztettük a keretrendszerhez. Nagyon fontosnak tartottuk a  tervezésnél, hogy egy egyszerű interfészen keresztül lehessen a játékokat csatlakoztatni.

A kifejlesztett fejlesztőalkalmazások skálája széles: Készült diszlexiások, diszgráfiások, diszkalkuliások számára oktatójáték, zenei képzést megalapozó szoftver, érdeklődési területeket felmérő, kognitív képességeket és területek azonosító szoftverek.

Az alkalmazásokat pedagógusokkal, szakértői műhellyel (pl. Meixner Alapítvány), illetve az MTA Pedagógia és Pszichológia Intézetével dolgoztuk ki.