Termékek kategorizálása a BERT modell segítségével
Elmentve itt :
| Szerző: | |
|---|---|
| További közreműködők: | |
| Dokumentumtípus: | TDK dolgozat |
| Kulcsszavak: | adatfeldolgozás BERT modell HuBERT kategorizálás mesterséges intelligencia Python |
| Online Access: | http://dolgozattar.uni-bge.hu/57963 |
MARC
| LEADER | 00000nta a2200000 i 4500 | ||
|---|---|---|---|
| 001 | dolg57963 | ||
| 005 | 20250923115727.0 | ||
| 008 | 250923suuuu hu o 000 hun d | ||
| 040 | |a BGE Dolgozattár Repozitórium |b hun | ||
| 041 | |a hu | ||
| 100 | 1 | |a Füri Erika Rebeka | |
| 245 | 1 | 0 | |a Termékek kategorizálása a BERT modell segítségével |c Füri Erika Rebeka |h [elektronikus dokumentum] |
| 516 | |a Students_Scientific_Association_paper | ||
| 520 | 3 | |a A kategorizálás szerepe napjainkban nagyon fontos tényező, különösen egy online áruházat vezető cég számára, amely rengeteg termék árusításával foglalkozik. Fontos, hogy vevői szempontból a kategorizálás egyszerű, áttekinthető legyen, hogy gyorsan meg lehessen találni a megfelelő terméket. Ami a kategorizálás felépítésén kívül is fontosabb tényező az az, hogy a termékek jól legyenek besorolva, hiszen ha a vevő megtalálja a megfelelő kategóriát, akkor azt egyértelműen úgy kezeli, hogy csak azok a termékek vannak készleten, amik ott találhatóak. A dolgozat témája is ehhez köthető, hogy miként lehet bekategorizálni egy több ezer termékből álló adathalmazt a megfelelő csoportba kategorizálni, mindezt úgy, hogy több mint ezer kategória van. Ezt a feladatot egy webáruház egészen eddig manuálisan kezelte, viszont egy olyan megoldást szerettek volna, amely ezt automatizálni tudja. Célom az volt, hogy ez megvalósuljon, mindezt úgy, hogy a kategorizálási hiba arány csökkenjen a manuális megvalósítással szemben. A feladat lényege tehát az volt, hogy olyan programot készítsek, amely feldolgozza és értelmezi a termékek neveit és a rendelkezésemre álló adatbázisnak megfelelően kategóriákba sorolja őket. Ehhez a feladathoz mesterséges intelligencia használata tűnt a legoptimálisabbnak, ezért ezen a területen kezdtem el kutatni, hogy mely modell lenne megfelelő a feladatra. Így találtam rá a BERT modellre, amelyet a Google fejlesztett ki, és már sok más nagyobb cég is használ termékek kategorizálására. Ennél a projektnél egy BERT-Base modellt alkalmaztam, mivel ez az a modell, amely képes úgy tanulni, hogy figyelembe veszi a szavak közötti kapcsolatot, ami által könnyebben és gyorsabban tudja kezelni a kategorizálási folyamatot. Ehhez a kutatáshoz az adatokat megkaptam, mint primer adatforrás, secunder forrásként pedig az irodalmi kutatásokhoz fordultam. Mivel fontos volt a megbízhatóság és a korszerűség, az utóbbi területen e szerint próbáltam összegyűjteni a szükséges információkat. A kutatásaim során azt állapítottam meg, hogy ehhez a feladathoz elég csak egy finomhangolást végeznem egy már előre betanított modellen. Rengeteg BERT típust hoztak már létre különféle célokra, ezek közül én a HUBERT modellt (Hungarian Language modell) tartottam a legcélszerűbbnek választani, mivel az adatbázisom magyar nyelvű volt. Több tesztelés után végül megállapítottam, hogy bár nem tudtam kizárni a hibás bekategorizálás lehetőségét, azonban nagyon jól teljesített a feladat automatizálásában, mivel sokkal gyorsabban tudta megtalálni az adott kategóriát, mint a manuális megoldás esetében, illetve az átlagos manuális hibázási rátánál így is jobb eredményeket ért el. Továbbá a modell segítségével sikerült felfedezni olyan termékeket is, amelyek hibásan voltak bekategorizálva a manuális munkafolyamat során. | |
| 695 | |a adatfeldolgozás | ||
| 695 | |a BERT modell | ||
| 695 | |a HuBERT | ||
| 695 | |a kategorizálás | ||
| 695 | |a mesterséges intelligencia | ||
| 695 | |a Python | ||
| 700 | 1 | |a Kovács Dr. Endre László |e ths | |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/57963/1/F%C3%BCri_Erika_Rebeka_PSZK.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/57963/2/F%C3%BCri_Erika_Rebeka_PSZK_BGE_TDK_Szerz%C5%91i%20hozz%C3%A1j%C3%A1rul%C3%A1s%20nyilatkozat%202024.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/57963/3/F%C3%BCri_Erika_Rebeka_PSZK.docx |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/57963/4/Mell%C3%A9kletek%20-%20notebookok.zip |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/57963/5/F%C3%BCri_Erika_Rebeka%20B%C3%ADr%C3%A1lat.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/57963/6/F%C3%BCri%20Erika%20Rebeka_TDK_Dolgozat_biralati_lap_2024_HU.pdf |z Dokumentum-elérés |