Többszintű prediktív nyelvmodellek

Félév: 2022-2023 tavasz

Kategória: Nincs megadva

Téma leírása

Egyszerűen szólva, a nyelvtanmodellezés célja a szavak helyes sorrendjének megbecslése egy mondatban. Ez a feltevés a modern prediktív nyelvi modellek, például a USE, BERT, InferSent, GPT-3 alapvető mechanizmusa. Az ilyen modelleket jellemzően transfer learning bevonásával képezik, és kiváló minőségű nyelvi modelleket is biztosítanak. További információkért lásd: https://huggingface.co/

Az említett technikák azonban jellemzően unimodálisak a nyelv atomi egységeit illetően. A legtöbb modell szóalapú ábrázolást tartalmaz. Egyes megközelítések azonban karaktereken és kötőjeleken alapulnak. Ennek a projektnek az a célja, hogy kiszélesítse ezt a hatókört, és különböző módozatokat vonjon be, például karaktereket, kötőjeleket, szavakat, összetett szavakat, mondatokat, POS-címkéket stb. A cél, hogy megtanuljuk helyesen kombinálni az említett módokat. A hallgató a mesterséges neurális hálózatok újszerű architektúráján fog dolgozni, és összehasonlítja annak teljesítményét a legkorszerűbb technikákkal.

Maximális létszám: 5 fő