Az információ-visszakeresés az ügyvédek kezében


{ dr. Homoki Péter / 2026.11.15 }

A keresés és információ-visszakeresés

A korábbi blogbejegyzésben megismerkedtünk azzal, hogy miért és hogyan kell a letöltött bírósági és hatósági döntéseket, adatainkat mindig átalakítanunk, előfeldolgoznunk ahhoz, hogy alkalmassá tegyük, felkészítsük őket a jogi munkálatainkra.

Most végre eljutottunk az egyik legnyilvánvalóbb jogászi célú felhasználáshoz, a jogászi célú kereséshez, és annak buktatóihoz. Nézzük, hogy mit jelent számunkra a keresés, és milyen módszerek állnak a rendelkezésünkre.

‘grep’ és a kézi keresés

A legősibb gépi módszer, hogy megnyitunk egy szöveges állományt, azt a gép memóriájába olvassuk, majd a memória egyes rekeszeit egymás után sorban elküldjük a központi feldolgozó egységnek, és az összehasonlítja a beolvasott értéket a keresett értékkel. Ezt ma is ugyanúgy használjuk, mint az ötvenes években, csak a működés sokkal gyorsabb. Mind a beolvasás, mind a memória, mind a CPU annyira gyors, hogy a legtöbb esetben nincs is szükségünk más módszerre: nem kell külön dedikált adatbázis, tárgymutató. A dolog szépséghibája, hogy az operációs rendszerek és a felhasználói felületek “fejlődésének” hála a legtöbb felhasználó ma már nem igazán fér hozzá ehhez az egyszerű módszerhez, nem is feltétlenül tud róla, vagy az operációs rendszer (pl. Windows vagy Android) éppen nem kínál alapból olyan megoldást, ami erre a megközelítésre volna optimalizálva.

Ezért érdemes megismerkednünk a “grep” nevű programmal (programcsaláddal), ami segít abban, hogy valós képet kapjunk arról, hogy mit is jelent ma a keresés “ősi”, nyers ereje. Sajnos, a Windows telepítéseknek alapból nem része ez a program, de a Linux disztribúcióknak és a macOS-nek igen. Ha valaki ilyen nyers formában, szövegesen keresni szeretné a BHGY-t, mindenképpen javasolom, hogy ezt próbálja ki, pl. az ingyenes ripgrep-et. Windows esetén a parancssorban használhatjuk a DOS-ból örökölt FIND parancsot (ne tegyük, nem érdemes), vagy a szintén húsz éve már elérhető, a grephez hasonlóan működő “findstr” parancsot, vagy a PowerShell esetén elérhető “Select-String” parancsot.

Tegyük fel, hogy szeretnénk a teljes BHGY-ban (225.407 fájl 2.907 mappában, 6,5 GB szöveg) rákeresni valamire. Próbáljunk meg rákeresni a BHGY-ben egy olyan szóra, ami sokszor előfordul (legyen jelen esetben az, hogy “elektronikus”, 37.196 találat), és egy kétszavas pontos kifejezésre, ami ritkán ad találatot (jelen esetben a saját nevem lesz ez, csak öt találat.):1

eszköz nevekeresés: “elektronikus”keresés: “Homoki Péter”
ripgrep -F8,8 másodperc14 mp
GNU grep 3.028 mp63 mp
findstr /s /m /l21 mp23 mp
find.exe537 mp693 mp
PowerShell Select-String287 mp301 mp

Nem véletlen, hogy az agentikus keretrendszerek is a grep programot használják alapértelmezetten keresésre, mert sok esetben nincsen szükség arra, hogy tárgymutatókat építsenek, vagy ennél bármiben bonyolultabb keresőmunkafolyamatot alakítsanak ki: a kereséssel kapcsolatos instrukcióból a nagy nyelvi modell kitalálja, hogy milyen kulcsszavakat érdemes keresnie a grep segítségével, majd az eredményeket összesíti, szükség esetén tovább szűri.

Professzionális felhasználás esetén ennek a módszernek azonban sok olyan hátránya is van, amiről nem szabad megfeledkezni: ha túl sok találatot kapunk, vagy ha egy-egy szóváltozatra keresünk, de más, hasonló szóváltozatokra is szeretnénk találatot kapni (pl. szerződések esetén megállapodásra is).

A tárgymutatózás

A tárgymutatózás egy papír alapon is működő ősi módszer, ami segít a keresések gyorsításában. Ugyanez elektronikusan is megvalósítható, sőt asztali operációs rendszerek esetén (azaz nem mobil- és tableteknél) ma már alapfunkció: a Windows esetén a Windows Search, macOS esetén a Spotlight, Linux esetén pedig a használt disztribúciótól függő alkalmazás (pl. LocalSearch, Baloo stb.). Arra figyeljünk, hogy Windows esetén a Settings/Gépház menüponton belül a keresni kívánt tartalom valóban tárgymutatózott legyen, ami az elhelyezkedésétől függ (lásd a “Privacy & security/Adatvédelem és biztonság”, “Search/Keresés”, “Find my files/Saját fájlok keresése” menüpont: Klasszikus beállítás esetén a tárgymutatózni kívánt tartalom legyen a megadott útvonalon belül, pl. a Dokumentumokon belül, vagy adjuk meg kézzel azt a mappát is).

Ezek a tárgymutatózók úgy működnek, hogy az operációs rendszer az első elindításakor felépít magának egy könyvtárszerkezetet, amin végigmenve kigyűjti az egyes fájlokat, és azokból a típusuknak (formátumuknak) megfelelően kigyűjti a fájlok keresésre használt jellemzőit, beleértve szöveges fájlok esetén azok tartalmát is (zenefájloknál pl. a szerzőket, albumneveket stb). Egy-egy új fájl létrehozásakor (átmásolásakor) a tárgymutatózó program kap egy jelzést az új fájlról, hogy azokat is majd alkalomadtán vizsgálja meg, és tárgymutatózza. A program bonyolultságától függően itt is gyakran alkalmaznak olyan előfeldolgozási lépéseket, amelyekkel az előző posztban megismerkedtünk (szavakra bontás, szótövezés, normalizáció, a leggyakrabban ismétlődő szavak, pl. a névelők kiszűrése). A tényleges keresés természetesen egy fordított tárgymutatóból fog dolgozni, mivel a gyors keresés végett azt keressük, hogy egy-egy szó mely fájlokban van jelen (és nem azt, hogy egy-egy fájl mely szavakat tartalmazza).

Ha azonban a Windows Search funkciót kipróbáljuk a BHGY mappában (ha tárgymutatózott mappáról van szó), jó eséllyel 30 perc keresés után nem kapunk egy találatot sem. Persze újra lehetne építeni a tárgymutatót, és biztos, hogy minden esetben ki lehetne nyomozni a hiba valódi okát, de őszintén szólva az operációs rendszerek beépített tárgymutatói nem mindig működnek kellő megbízhatósággal. A professzionális munkához ezért használnak gyakran olyan dedikált alkalmazásokat és az azok által épített tárgymutatókat, amelyeket külön adatbázisok tárolnak, mert ezek működését nem befolyásolja száz másik folyamat esetlegesen hibás működése.

Például a mi esetünkben az SQLite adatbáziskezelő 959 másodperc alatt felépítette a BHGY 4 GB méretet kitevő tárgymutatóját, és ezt követően a következő értékeket kaptuk:2

eszköz nevekeresés: “elektronikus”keresés: “Homoki Péter”
SQLite FTS50,011 másodperc0,0001 másodperc

Az SQLite tehát kb. ezerszer gyorsabb a ripgrep-nél az egy szavas keresésre, és kb. százezerszer gyorsabb a kétszavas kifejezésnél.

A magyar nyelvű döntések jogászi munkában szokásos keresése esetén soha nincs szükség ilyen sebességre. Mikor van értelme mégis a tárgymutatózásnak, mikor éri meg az erre fordított idő és energia?

Egyrészről akkor, ha az adatkészletben nagyon gyakran szeretnénk keresni, akár úgy, ha nem egy ember használja a tárgymutatót, hanem több felhasználó is.

A másik, ha nemcsak pontosan az adott szót vagy kifejezést kívánjuk találatként viszontlátni, hanem annak toldalék nélküli formáját is, például a “tó” szóra keresés esetén a “tavat” szó is legyen a találatok között, “Törvényszék” esetén a “Törvényszékkel”, “szuverén” esetén a “szuverenista” is, vagy a “húsz” esetén a “20”, “huszat” és “huszad” alakok is. Ez nem triviális feladat, mert annak meg senki nem örül, ha számunkra indokolatlan találatokat is kap, az ún. “hamis pozitív” találatok ugyanúgy megnehezítik a keresést. Például, ha a “lehet” szóra keresünk, ne kapjuk meg találatként az összes olyan szót, ahol a létige bármilyen formában szerepel (pl. “van”), vagy a “vádlott” szóra keresés esetén (4.714.322 találat) ne legyen a “vádli” találat (plusz 164 találat).

Ha ilyen esetben nem csak a pontos találatokat szeretnénk megkapni, akkor az egyik lehetőség, hogy a nyers (pl. grep) keresés elé beillesztünk egy intelligens lépést, azaz minden lehetséges szóváltozatot tételesen felsorolunk (vagy ezt megteszi helyettünk a kereső ügynök, mert felismeri, hogy itt erre van szükség). A másik lehetőség, hogy tárgymutatót használunk, és a tárgymutató építésekor, a szavak begyűjtésekor szótövezést vagy lemmatizálást alkalmazunk. A szótövezés az egyszerűbb és gyorsabb megoldás, ami viszont sok hamis pozitív találatot eredményezhet, a szótövezésre használt megoldástól függően.

Az egyik leghatékonyabb megoldás a Németh László által fejlesztett “Hunspell” használata3. Ezt a magyar fejlesztésű kiváló helyesírásellenőrzésre írt programot használja például a LibreOffice vagy a Firefox is (és nem csak a magyar nyelvre), a nagy szótára és szabályrendszere szótövezésre is alkalmassá teszi. Azonban a szótövezésre nem hibátlan, pl. a fent említett “van”-“lehet” gonddal küszködik, vagy a “perbeli” szótöveként a “perbelibeli” szót jelöli. Jóval erőforrásigényesebb a lemmatizálás, ilyen lehet például a népszerű spaCy, nyelvi feldolgozásra használt ingyenes neurális háló könyvtár 4 magyar nyelvű modellje, az Orosz György által közzétett huspaCy 5. Azonban tapasztalhatjuk, hogy ez utóbbi sem hibátlan a korpuszunk esetén, pl. az “Ítélőtáblához” esetén az “Ítélőtáblá” lesz a szótő. A Hunspell hibái főleg igéket érintenek, a huspaCy-é tulajdonneveket, így adja magát a gondolat, hogy a leggyorsabb megoldás, ha a huspaCy válaszain lefuttatjuk a Hunspell javaslatait, és eltérés esetén az utóbbit rögzítjük.

Nézzük egy táblázatban az egyes megoldások (becsült) költség-haszon elemzését (a saját konfigurációmmal mérve, kis GPU-val):

megoldáshibaaránymegvalósítás időigénye
Hunspell3,3%35 perc
huspaCy0,8%20,5 óra
Hunspell+huspaCy0,4%21 óra

A találati sorrend (reranking) és a BM-25

Néha túl sok a találat ahhoz, hogy mindet végigolvassuk. Ha pedig végig is tudjuk azokat olvasni, az összes találatot a nyers forrásszöveg vagy a tárgymutató építésének sorrendjében kapjunk vissza, ami nagyon ritkán kívánatos. Nem árt ezért, ha van egy jobb módszerünk is arra, hogy a találatokat miként tegyük sorrendbe, miként jelenítsük meg.

A sorrendbe tételt a BHGY esetén segítheti, ha például a bíróságok szintje vagy a döntés éve szerint csoportosítjuk a találatokat, tehát a Kúria későbbi találatai megelőzik a Kúria korábbi találatait vagy a járásbíróságok találatait. Ezek kézzel megadható, a konkrét korpusz jellegéhez kötött, szakmai sorrendek.

Vannak nyelvi-statisztikai alapon kialakított, a konkrét adatkészlettől független, általánosan használható módszerek is. Röviden, tanulás végett térjünk ki az egyik legnépszerűbb módszer (a BM-25) működésének alapjára. Ha a keresett szó többször fordul elő egy adott döntésben, akkor az előrébb szerepel a találatok között (“Term Frequency” vagy “TF”). Önmagában e megoldás hátránya, hogy gyakori szavak esetén a hosszabb dokumentumok mindig előrébb fognak kerülni a sorban, ezért gyakran nem azt hasonlítják össze, hogy konkrétan hányszor szerepel az a szó (pl. 5 db.), hanem azt, hogy az adott dokumentum teljes szószámát tekintve mi ennek a szónak az aránya (pl. 0,0005), és így rangsorolják a találatokat. Van azonban a módszernek egy másik eleme, ami több szavas keresés esetén azt igyekszik biztosítani, hogy a ritkább, de gyakran fontosabb szó nagyobb súlyt kapjon a találatok közül. Vegyük példaként azt az esetet, amikor a felperes által használt elektronikus aláírással kapcsolatos találatokat szeretnénk megkeresni – és nem egy konkrét pontos kifejezésre vagyunk kíváncsiak (pl. nem a “felperesi elektronikus aláírás” kifejezést keressük), de az egyes szavak a kifejezésben pontosan kell, hogy szerepeljenek. A felperes kifejezés a BHGY döntések 80%-ában jelen van, az elektronikus a döntések 16%-ában, az aláírás viszont csak a döntések 4%-ában; a három szó közül bármelyik a döntések mintegy 84%-ában megjelenik, mind a három pedig a döntések 1%-ában van jelen. Ha a 84%-os listát nézzük (bármelyik három szó), akkor az első ötven találatban azok a döntések fognak dominálni, ahol általában leggyakoribb szó, a felperes a legtöbbször jelenik meg. A legjobb találat az lesz, amiben a döntés relatív hosszához képest aránytalanul sokszor szerepel a szóhármas leggyakoribbika, a “felperes”. Az első ötven találatban egyszer sem fog szerepelni sem az elektronikus, sem az aláírás. Ha bevetjük az “inverz dokumentumgyakoriság” (“IDF”) mérőjét, akkor a ritkább szavak nagyobb súlyt fognak kapni a találatok között. A példánkat nézve a felperes IDF-értéke 0,22 lesz, míg az aláírásé 3,14, és ennek köszönhetően az a döntés lesz a legjobb találat, amelyben 44-szer szerepel az “elektronikus”, és hétszer az “aláírás” kifejezés. Ezt a besorolási módszert a két elem alapján TF-IDF-nek hívják, mert a sorrendet eldöntő pontszámot a két mérőszám szorzata adja. A ma leggyakrabban használt BM-25 módszer ezt a viszonylag egyszerű módszert pontosítja két szempontból (kiigazítva az egy szövegen belüli “túl gyakori” szavak, illetve az aránytalanul hosszú szövegek okozta egyes torzításokat).

Ezt a fajta sorrendiségi módszertant azért valljuk be, nehéz a tipikus jogászi gyomornak befogadnia. Nehéz volna egy-egy keresés előtt mérlegelni, hogy az adott jogi problémát nézve, mi volna a helyes keresési stratégia, és milyen paraméterekkel is szeretnénk a legjobb találatokat megkapni, pl. mi legyen a BM-25 optimális k1 és b-értéke. Ezért a részleteket figyelmen kívül hagyjuk, és vakon rábízzuk magunkat az algoritmusra, a kereső fejlesztőjének beállításaira. Éppen ezért legtöbbször az a tipikus keresési stratégia, hogy a túl sok találatot próbáljuk tovább szűkíteni egy-két újabb szóval vagy olyan jogilag érthető szűrési feltétellel, mint a döntéshozó bíróság vagy a döntés időpontja.

A sűrű és ritka szövegbeágyazások és keresési hasznuk

A sorrendbe tételnél láthattuk azt a statisztikai módszert, hogy az egyes szavakat és dokumentumokat valamilyen “számmá” alakítják, és ezek alapján döntik el, hogy mi a legjobb találat. Ezt a matematikai megközelítést úgy is megfogalmazzák, hogy egy-egy dokumentum valójában egy olyan, sokdimenziós vektor, amelyikben minden egyes dimenzió az összes (az adott tárgymutatóban vagy korpuszban) szóba jöhető szó egy-egy gyakoriságát jelzi. A dokumentumvektor mellett a keresést is egy ilyen vektornak tekintik, így a BM25 érték a keresővektor és a dokumentumvektor skaláris szorzata lesz. Azt, amikor egy-egy szöveget egy ilyen vektorra vetítenek, beágyazásnak (angolul embedding) hívnak.

Ezt a fajta, a BM-25-nél is használt beágyazási módszert ritka beágyazásnak hívják, mert ugye sok szó van, a dimenziók száma nagy, és a legtöbb dimenzió értéke a vektorban nulla (ami nem szerepel a dokumentumban). Minden egyes dimenzió egy szó, a dimenziók mindegyike kiolvasható (milyen gyakori az adott szó), és a dimenziók nem kapcsolódnak egymáshoz. Ez egy igen gyors módszer, ami kiszámított vektorokra épül, mert nem kell hosszú és költséges gépi tanulási folyamatokat elvégezni, hogy a végeredményt megkapjuk.

Ez azonban nem jó módszer arra, hogy a találatok között figyelembe vegye a rokon értelmű szavakat, a szinonimákat, vagy általában az olyan jelentésbeli kapcsolatokat, hogy a terhelt a döntésben jelenthet vádlottat is vagy gyanúsítottat is. Tehát ha pl. a “szerződésre” keresünk, akkor még lemmatizálás esetén sem fogunk olyan döntést kapni, ami a “megállapodás” szót használta csak, vagy ha elektronikusra keresünk, akkor nem kapjuk meg a digitális szót tartalmazó döntéseket.

Vannak olyan módszerek, amelyek ezt a szempontot is igyekeznek figyelembe venni. Az egyik legkézenfekvőbb megoldás az ún. “sűrű beágyazások” használata (magyarul inkább a szemantikus beágyazást használják, de egyelőre maradok a tükörfordításnál). A ritka beágyazás esetén a szöveg vektorra alakításakor 1, illetve 2 millió dimenzióval számoltunk a BHGY esetén (1 millió lemmatizálás esetén, 2 millió anélkül), a nullákat nem tárolják, és az összes 1 milliós dimenzió közül csak 0,079%-ban van bármi érték. Ezt pedig azért hívjuk sűrűnek, mert itt minden dimenzióban van érték; ezért (konkrét recepttől függően) csak néhány száz vagy legfeljebb néhány ezer dimenziót használnak. De ezek a számok nem konkrét szavakra vagy fogalmakra utalnak, semmi ember által értelmezhető jelentése nincsen, ez igazából csak egy koordináta, amit felhasználnak adott szövegek jelentésének kiértékelésére.

Az ilyen sűrű beágyazást kizárólag egy gépi tanulási folyamat útján jön létre. Nem reális, hogy mi magunk kezdjünk hozzá egy ilyen tanításhoz a nulláról, mert ez igencsak idő- és pénzigényes volna - a BHGY korpusznál legalább százszor nagyobb szöveggel lenne esélyünk csak olyan előtanításba kezdenünk, ami akár csak megközelíthetné a beágyazások esetén vezető modellek képességeit. Ez a fázis akár azonos is lehet a tipikus nagy nyelvi modelleknél használt hasonló előtanítási fázissal (a legjobb beágyazási modellek, pl. Gemini Embedding, Qwen Embedding, éppen azt jelzik, hogy ez a fázis közös volt a “chatnél” is használt modellekkel). Utána azonban néhány tucat millió egyszerűbb kérdés-felelet jellegű szövegpárra lesz szükségünk, amely azt mutatja meg, hogy a valódi szövegek esetén milyen szövegek állnak egymáshoz közel.

Mivel a beágyazási modellt itt információ-visszakeresésre használjuk, így a végén célszerű a beágyazási modellt konkrét információ-visszakeresési feladatra is finomhangolni: azaz megtanítani neki, hogy milyen kérdések esetén tipikusan milyen válaszokat várnak el az ügyvédek, milyen válasznak örülünk.

A gyakorlatban ez azt jelenti, hogy nem mi tanítunk ilyen beágyazási modellt, hanem csak letöltjük azt a végeredményt, amit más tanítással létrehozott. Végső soron reménykedünk abban, hogy a mi feladatunkra, magyar nyelvű bírósági döntések keresgélésére, ez közel optimális megoldás lesz.

A sűrű beágyazási modell használata konkrétan úgy történik, hogy a kiválasztott modell által elvárt módon szétdaraboljuk a keresni kívánt szöveganyagot, a BHGY tisztított adatkészletét, és a szövegdarabokat vektorokká alakítjuk, azaz “beágyazzuk” a szöveget egy jól kereshető vektor formára. Kereséskor a kérdést is beágyazzuk ugyanezzel a modellel, és megnézzük, hogy az BHGY átalakított szövegének vektorai közül melyik vektor áll a legközelebb a kérdést jelentő vektorhoz. Ezt úgy találjuk meg, hogy a kérdésvektornak a skaláris szorzatát (normalizált vektorok esetén ez a koszinusz-hasonlóság) vesszük az összes eltárolt vektorral, és a végén kiválasztjuk a legnagyobb szorzatokat (pl. az 50 legjobb találatot). Az a szövegdarab lesz a legjobb találat, amelyiké a legnagyobb szorzat. A legjobb találatok alapján visszakeressük az eredeti szövegdarabokat, amelyek a legjobb vektorokhoz tartoznak. Mivel a BHGY esetén igen sok döntésről van szó, a kívánatos sebesség miatt a vektorokat egy gyors vektor adatbázisban (vektor tárgymutatóval) tároljuk.

Mint látjuk lentebb, a módszer hátránya, hogy a szövegdarabkák viszonylag kicsik, pl. tipikusan 512 szótöredékből (tokenből) állnak, ami szövegdarabonként egy oldalnál rövidebb szöveget jelent. Ez a megoldás még nem fog mélyebb jogi összefüggéseket átlátni, nem fogja helyettünk a jogi következtetéseket levonni. Azaz nem fog tudni a keresési műveletek mögé olyan mély jogi intelligenciát tenni, mint amire sokszor szükségünk lenne. Ehhez más, jóval több gondolkodást, kísérletezést igénylő módszerekre lesz szükségünk, pl. bővebb szemantikai információra, a bírósági szövegek mélyebb elemzésére, szemantikai gazdagítására, jogi ontológiákra és érvelési modellezésekre, illetve az ezeket használó LLM-ügynökökre.

Kiértékelés

A befejezés előtt térjünk ki röviden arra, hogy miként tudjuk eldönteni, hogy a letölthető sok beágyazási modell közül mely modellt is használjuk erre a feladatra? Itt is vissza kell térnünk a már többször említett kiértékelés (angolul: evaluation) műveletére.

Az egyik lehetőségünk, hogy mások által lefuttatott ilyen kiértékeléseket veszünk alapul, például megnézzük, hogy a Hugging Face egyik közzétett dicsőségtábláját (leaderboard) vesszük alapul, azt, amelyik az egyes beágyazási modellek teljesítményeit hasonlítja össze (MTEB: Massive Text Embedding Benchmark).6 De melyiket? Kifejezetten magyar nyelvű összehasonlító tábla nincsen közzétéve, de van angol nyelvű, európainak nevezett (28 nyelvvel) és úgy általában is többnyelvű. Úgy is rászűrhetünk a táblázatokra, hogy pl. a jogi területen milyen mérési eredmények vannak az egyes modellek szerint. A jelen esetben persze csak a szöveggel dolgozni képes modellek érdekelnek minket, de azt is el kell dönteni, hogy melyik kiértékelési módszer szerinti eredmények érdekelnek minket: csak az európai tábla 73 eltérő feladatbeli eredményt tesz közzé, amit átlagolhatunk. Van itt pl. kétszáz darab német jogi kérdés német nyelven,7 vagy görög törvények osztályozása stb. Nem könnyű eldönteni, hogy vajon a magyar ügyvéd keresési céljára valóban melyik kiértékelés a leginkább megfelelő, ahogy a 73 feladat kiértékelésének az átlaga sem feltétlenül informatív.

A kísérlet kedvéért két külön kiértékelő készletet állítottam össze. Egyszer leírtam 14 magyar, általam nehéznek ítélt jogi kérdést, plusz egy nagyobb jogszabály- és jogirodalmi szöveggyűjteményt, amelyből ezeket jó eséllyel (és remélhetőleg azonos módon) meg lehet válaszolni. A kiértékelés része az volt, hogy az adott kérdésekre a modell a szöveggyűjtemény legjobb forrásanyagát fogja-e előre rendezni. A célom az volt, hogy az ügyvédi munkában felmerülő olyan kérdések legyenek ezek, amelyeket egy gyakorló ügyvéd megválaszolna, pl. kérdés: “a szerzői mű létrehozására irányuló, jövőben megalkotandó műre vonatkozó felhasználási szerződés esetén kifejezett rendelkezés hiányában érvényesíthetőek-e a Ptk. szerinti szavatossági igények?”; válasz: “nem, mert a szerzői jogi törvény szerint a Ptk. szabályai csak másodlagosan irányadóak, azaz a szerzői jogi törvényben nem szabályozott kérdésekben, míg a jövőben megalkotandó művek kijavítására a szerzői jogi törvény sajátos eljárásrendet határoz meg”. A kézi példák és a jogirodalmi szövegek alapján aztán egy nagy nyelvi modell segítségével legyártattam még hasonló bonyolultságú kérdéseket (még 243-at). (Szerzői jogi okokból a kiértékelési szövegeket és a példákat sajnos nem oszthatom meg.)

A másik tesztkészlet esetén a feladat az volt, hogy az OBH által a BHGY esetén közzétett (és gépi tanulásos modellek által készített) összefoglaló szövegek alapján találja meg az összefoglalóhoz tartozó BHGY döntést, pl. “Az esetlegesen jogszabálysértő ténymegállapításokból, vagy az indokolási kötelezettség esetleges elmulasztásából önmagában - az anyagi jogi jogszabályhely megjelölésének hiányában - nem vonható le következtetés arra, hogy az eljárt bíróságok miért jártak el jogszabálysértően. 1952. III. Tv. 206. § (1)” esetén az Mfv.10165/2019/7 ítéletről van szó. Ebből is 500 kérdés készült. A keresés itt nem a teljes BHGY-n, hanem 5.000 döntésen futott (az 500 helyes döntés mellett véletlenszerűen választott további döntéseken), és minden döntésnek csak az első 4.000 karakterét használtam.

A lenti összehasonlítás mérőszáma az ún. “hit” értékek: a kérdések hány százalékánál szerepelt a helyes válasz az első, az első három, illetve első tíz helyen. A “módszer” azt mutatja, hogy milyen modelleket, illetve rangsorolási módszert használtam (a BM25 kivételével a többi mind sűrű beágyazású modell). Van hibrid módszer is (pl. BM25+Gemini), amikor sorrendbe tesszük a találatokat a hagyományos (nem gépi tanulásos, ritka beágyazású) módszerekkel, és a sűrű, szemantikus beágyazású modellekkel is, majd a két találati listát összesíti, és ez alapján adja meg a végső pontszámot. A másik újdonság az újrarangsorolás, amikor a hibrid megoldás eredményeit nem mechanikusan összesítjük, hanem egy újabb, speciális tanítású modell segítségével (jelen esetben a bge-reranker-v2-m3). Ennek a feladata az, hogy a megadott kérdés-válasz párokat pontozza, mennyire megfelelő az adott kérdésre adott konkrét válasz, és ez alapján újrapontozza az első huszat. Mint láthatjuk, ez sokat javított a kérdés-válasz feladat pontszámain, amelyekre a rövid kérdés volt a jellemző, de rontott a BHGY összefoglalók pontszámain, mert a kérdés-határozat párokat 512 tokenre kellett vágni, így a hosszú határozatoknak csak az elejét látta.

257 kérdés

Módszerhit@1hit@3hit@10
BM25 egyszerű38,5%59,9%73,2%
BM25 lemmatizált49,8%73,2%85,6%
bge-m349,8%73,2%87,5%
snowflake-arctic-embed-l-v260,3%79,4%91,4%
Qwen3-Embedding-8B47,5%75,5%90,3%
OpenAI large46,7%68,1%81,7%
Gemini54,5%82,5%94,6%
BM25 lemmatizált + Gemini57,2%82,9%94,6%
+ újrarangsorolás (első 20)76,3%92,6%96,9%

BHGY összefoglaló alapján határozat megkeresése

Módszerhit@1hit@3hit@10
BM25 egyszerű18,2%27,4%36,8%
BM25 lemmatizált21,2%31,2%42,2%
bge-m3 (1024 token)9,2%15,4%26,0%
snowflake (1024 token)12,2%19,4%30,2%
Qwen3-8B (1024 token)12,2%22,6%34,2%
OpenAI large15,0%24,8%34,8%
Gemini24,8%34,8%48,0%
BM25 lemmatizált + Gemini26,0%37,0%48,4%
+ újrarangsorolás (első 20)12,2%21,0%38,8%

Néhány más modellt is megvizsgáltam (Jina v3, E5, EmbeddingGemma, huBERT, OpenAI small), de ezek nem hoztak a fentiekhez képest jobb eredményt, ezért a táblázatokban csak a jellemző modelleket szerepeltetem. (A Jina v3 a BHGY-feladatban a legjobb nyílt modell volt, 41,0%-os hit@10 értékkel.) Az eredményeket áttekintve láthatjuk, hogy a BHGY összefoglalók keresése körében csak a Gemini ért el a lemmatizált BM25-nél jobb eredményt. A 257 kérdés esetén a két (ritka és sűrű beágyazási) módszer együttes használata jelentős javulást hozott a lemmatizált BM25-höz képest.

Összefoglaló

Remélem, hogy sikerült bemutatnom a nyers keresés erejét, az indexálás, tárgymutatózás, a rangsorolás és a szemantikus beágyazás használatának előnyeit, hogy mikor hasznosak ezek és mikor ne számítsunk rájuk. Ezzel a sorozat alapozó szakaszának a végéhez értünk, és néhány hét türelmet kérek a folytatáshoz, mert az évvégének köszönhetően minden szabad percet másoknak sürgős tennivalókra kell fordítanom.

  1. Az értékek három keresésből kiadott legkisebb értékét mutatják, kivéve a find és a Select-String esetén, ahol csak egy futásra volt türelmünk. Mivel a find.exe egy ősi maradvány, kézzel kell megadni neki, hogy milyen fájlokban keressen, ezért semmiképpen nem javasoljuk ilyen célra a használatát. ↩

  2. Ezek az értékek a második futásra vonatkoznak, amikor már be lett olvasva a teljes tárgymutató a gép memóriájába. ↩

  3. Hunspell ↩

  4. spaCy-modellek ↩

  5. huspaCy ↩

  6. MTEB-dicsőségtábla ↩

  7. LegalQuAD ↩

» Vissza