Piaci adatgyűjtő rendszer: Heterogén adatforrások feldolgozása és integrálása egy központi platformo

A digitális gazdaságban az adatok stratégiai erőforrássá váltak: a szolgáltatók, hivatalok és szervezetek által publikált nyilvános piaci információk kulcsszerepet játszanak a vállalatok döntéshozatalában és versenyképességük megőrzésében. Az adatok felhasználhatók a piaci trendek előrejelzésére, folyamatoptimalizálásra, erőforrás-gazdálkodásra és profitnövelésre. A kihívást ugyanakkor az jelenti, hogy ezek az adatok sokféle formátumban, eltérő struktúrában és különböző forrásokból állnak rendelkezésre, így integrált feldolgozásuk és egységes keretrendszerben való kezelésük komoly technológiai feladat.

A téma célja egy olyan alkalmazás prototípusának megvalósítása, amely képes több, heterogén internetes adatforrásból (pl. weboldalak, nyilvános API-k, adatszolgáltatói portálok) strukturált és félig strukturált adatokat gyűjteni. Az alkalmazásnak támogatnia kell az adatforrások paraméterezhetőségét és egyszerű bővíthetőségét, valamint biztosítania kell egy rugalmas adattárolási megoldást, amely nem kötődik merev relációs séma-struktúrához. Ezt a célt egy NoSQL alapú tároló segítségével lehet megvalósítani, amely később lehetővé teszi adatelemzési és vizualizációs modulok ráépítését.

A munka során a hallgató betekintést nyerhet a vállalati környezetben használt robusztus adatkezelési és integrációs megoldásokba, valamint gyakorlatot szerezhet olyan technológiákban, amelyek túlmutatnak a hagyományos relációs adatbázis-modelleken.

A téma a Navitasoft Zrt. által meghirdetett külsős téma, melyben rengeteg lehetőség van. A témakiírás tájékoztató jellegű, természetesen ezeket a technológiákat, eszközöket a téma keretein belül is meg lehet tanulni, nem elvárás ezek magas szintű ismerete.