580 SQE1 próbavizsgakérdés és néhány tanulság

1. Bevezető

Tavaly elhatároztam, hogy hétvégeken és ünnepnapokon készülök az SQE1 vizsgára. A magyar jogi tanulmányaimat 1995-ben kezdtem, és már 22 éve szakvizsgázott magyar ügyvéd vagyok. Ideje valami egészen mással is foglalkozni - például angol joggal. Egészen más szellemiségű, és a különbséget nem nagyon lehet másként megérteni, mintha megtanuljuk a minimumot, amivel kint lehet praktizálni. Az Egyesült Királyság EU-ból való kilépése után is megmaradt, hogy az SQE2 típusú vizsgák alól mentességet kapunk (mind a szóbeli, mind az írásbeli-esszéírásos részek alól), így a szakvizsgához elég, ha egy kb. 60%-os eredményt érünk el egy feleletválasztós, “egyetlen lehetséges legjobb válasz” típusú teszten.¹

Mintegy 28 felkészülésre szánt szakkönyv elolvasása és kijegyzetelése után készen álltam a próbavizsgákra. Ehhez viszont szükségem volt néhány technikai eszközre, ami segít a próbavizsgák eredményeinek ellenőrzésében.

• Voltak vizsgakérdéseim (SRA/Kaplan ingyenes minták letölthetőek + vettem egy próbavizsga-könyvet a Revise sorozatból), magyarázattal együtt.
• Pünkösdhétfőnek is köszönhetően egy hét leforgása alatt körülbelül 18 óra alatt sikerült az összes 580 kérdést végigfutnom: ebben volt két, megszakítás nélküli, 153 perces ülés is (hogy lássam, mennyire vagyok gyors), de a többi tesztelést akkor csináltam, amikor csak az időm engedte. A fő célom nem a tökéletes próbavizsga kialakítása és leülése volt, hanem az, hogy megtaláljam a tudásom gyenge pontját, illetve hogy kiderüljön, mely területeket nem tudtam még gyakorolni. A tananyagokban és más könyvekben sok olyan témakör volt, ami nem állt össze teljesen. Ilyenkor vagy egy jogi adatbázisban kutakodtam (pl. Westlaw), de legalább ilyen hasznos módszer az, ha találunk rá példát, hogy az adott jogi témakört hogyan is értelmezik egy-egy tesztkérdésben.
• Nem is az eredményeim miatt készült ez a poszt. Néhány eszközt ki kellett tehát alakítanom azért, hogy egyrészről beazonosíthassam azokat a területeket, amelyeket az első próbálkozás során elhibáztam, valamint azokat is, amelyeket még egyetlen kérdéssel sem tettem próbára.
• És ha az embernek már megvannak ezek az eszközei, jó ötletnek tűnt összehasonlítani az eredményeimet néhány legújabb LLM eredményével, hiszen végre van egy emberi viszonyítási alapom. Ez jó kifogás arra is, hogy a) néhány, a gyakorlatban is fontos, a nagy nyelvi modellekkel (LLM) kapcsolatos jelenséget bemutassak ügyvédeknek, és b) az elemzés és blogírás közben se kelljen már tanulnom…
• Amit konkrétan csináltam: lefutattam az 580 tesztkérdést 19 alkalommal különféle nagy nyelvi modellekkel is: az Anthropic Opus/Sonnet/Haiku² és a DeepSeek Chat/Flash/Pro³ modelleken, “gondolkodás” (reasoning) és anélküli változatban is. Az első az ún. frontier, csúcsmodell, a második család pedig egy nyílt súlyú modellcsalád.

2. SQE1 ranglista

3. 1. tanulság - Mik a “gondolkodó” (érvelő) modellek, és miért olyan drágák?

Az eredmények megértéséhez tudni kell, hogy mindkét modellcsaládon belül kérhetünk a modelltől egy a) egyenes, “gyors” választ (ami nem támaszkodik az ún. chain-of-thought / gondolatláncnak nevezett képességekre), vagy b) egy “gondolkodó” választ. Ez utóbbi esetében előre meg kell adni, hogy mekkora legyen a “gondolkodási költségkeret” (thinking budget). Vagyis: maximum hány tokent használhat fel a modell a belső érvelésre, mielőtt a külvilág számára is látható választ is meg kell adja. Egy ilyen belső érvelés, mint látjuk, sokat segít az eredményen. Ez a költségkeret lehet 1024 token vagy akár 32768 token is. Az érvelés a modellek SQE-eredményeit is javítva, de meglátszik a költségeken is. Ugyanannak a kérdésnek a “gondolkodással” történő megválaszolása ugyanis akár az eredeti költség százszorosába is kerülhet (lásd alább).

Ugyanaz a modell, ugyanaz az 580 kérdés, csak a gondolkodási keret változott:

Az első 1024 gondolkodási token 27 százalékpontnyi pontosságot eredményezett, százalékpontonként 5 centért. A következő 1024 token költségkeret viszont már semmit.

Ez a $65 nyilván sok pénz egy ilyen posztra, és tényleg nem volt 1400 dollárom egy 580 kérdéses teszt lefuttatására, csak azért, hogy lássuk, a Claude Opus 32 ezer tokenes gondolkodási kerettel vajon milyen szuper eredményt érhet el.

Ahogy látható, a gondolkodás sokat tud javítani az eredményeken, de ez feladatfüggő, és semmi garancia nincsen arra, hogy minél többet költesz az érvelési költségkeretre, annál jobb teljesítményt kapsz. Tehát csak azért, mert egy kereskedelmi kommunikáció szerint valami érvelés alapú Opust használ, az még sok mindent jelenthet.

Továbbá, a nyílt súlyú modellek árazása nagyon különbözik a frontier modellek árazásától, akkor is, ha nem saját gépen futtatjuk őket, hanem távolról, felhőszolgáltatásként (API útján). Roppant olcsók, de meglepően jó teljesítményűek. A DeepSeek-kel sokkal több tesztfuttatást tudtam végezni, mert - modellpáronként összemérve - nagyjából egy nagyságrenddel olcsóbb volt, mint az Anthropic. A nyílt súlyú modellek nagyon fontosak a szakma számára, mert ezek esetén a felhasználó teljesen az irányítása alatt tarthatja az adataidat, és az inferencia a cég saját hardverén történhet, így az ügyféladatok nem is hagyják el az irodát.⁴ Persze a legnagyobb nyílt súlyú modellek otthoni futtatása elméletben lehetséges, gyakorlatban viszont igényes. Egy DeepSeek-V4-Pro méretű modell futtatásához háromfázisú betáplálás kell, a gép üresjáratban is kb. 2,5 kW-ot, kérdés-megválaszoláskor pedig 10 kW-ot fogyaszt, a hardver nagyjából $500 000 dollárba kerülne. Azonban a tesztek során a legjobb teljesítményt nyújtó DeepSeek-V4-Flash már elég kb. $100 000 dollárt szánni, és ez akár otthonról is futtatható, nem különösebben nagy az áramfelvétele sem. (Kis kompromisszumokkal és szerencsével akár $30 000 dollár alatt is megúszható, egy megfelelő memóriamennyiséggel bíró pl. Mac Studo M3 Ultrával, ha éppen kapható). A legtöbb jogi munkához pedig ennél is jóval kisebb nyílt súlyú modellek is bőven elegendőek, például a Qwen család 3.6 modellje (github.com/QwenLM/Qwen3.6 is elegendő.

4. 2. tanulság - Sebesség, költség, pontosság

A mérések szerint:

• DeepSeek Chat (=nem érvelő DeepSeek): 0,8 mp/kérdés, 66 %-os pontosság
• DeepSeek Flash: 10 mp/kérdés, 87 %
• DeepSeek Pro: 25 mp/kérdés, 85 %

A DeepSeek “gondolkodó” modelljei (Flash és Pro) 10–30×-szor lassabbak, mint a DeepSeek Chat (nem gondolkodó) modellje; a Pro 2,5×-szer több időt tölt egy kérdésen, mint a Flash, miközben a teszt szerint rosszabb a találati aránya. Viszonyítási pontként: én kb. 4×-szer több időt töltök egy kérdésen, mint a leglassúbb érvelő modell - és több mint százszor annyi időt, mint a DeepSeek gyors modellje. Ugyanazt a teljesítményt érem el, csak százszor lassabban, és több ezerszer drágábban.

5. 3. tanulság - Ugyanaz a modell legközelebb más választ fog adni

Láthatjuk, hogy ha ugyanazokat a kérdéseket ugyanazon a modellen többször is végigfuttatjuk, a modell nem mindenben fog mindig ugyanúgy válaszolni.

Öt modellt is újrafuttattam ugyanazon a 580 kérdésen, a futtatások között semmilyen beállítás változtatása nélkül:

A futtatásonkénti találat azt jelzi, hogy az adott számú kérdésből hány válasz volt helyes. A maximális eltérés a legjobb és a legrosszabb eredmény különbségét mutatja. A szórás azt mutatja, hogy az eredmények mennyire szóródnak az átlag körül. A hasonlóság (Jaccard) a futtatások rossz válaszainak halmazait hasonlítja össze: az 1,0 azt jelenti, hogy két futtatás pontosan ugyanazokat a kérdéseket rontotta el, 0,0 azt jelenti, hogy semmi nem volt közös a két futtatás közös rontásaiban.

Két dolgot érdemes kiemelni:

• A maximális eltérés mind az öt modellnél nagyjából azonos (~1 %pont). Ha ugyanazt a tesztet újrafuttatod, körülbelül egy százalékpontnyi eltérésre számíthatsz. Ez azt is jelenti, hogy bármely két százalékpont alatti különbség a ranglistán nem feltétlenül jelent érdemi eltérést.
• A hasonlóság modellenként eltérő. A Sonnet hibáinak 0,92-es “hasonlósága” nagyon magas - amikor a Sonnetnek különböző futtatásokon ugyanazt a kérdést tették fel, szinte mindig ugyanúgy döntött; az egy százalékpontos eltérés csak ugyanazokból a kérdésekből fakad. Eközben a Haiku és a DeepSeek Chat futtatásonként nagyjából ugyanazt a találati arányt érte el, mégis mindig más és más kérdéseket rontottak el. Az egyik Haiku-futtatásban elrontott 5 %-nyi hiba nem lesz átfedésben a következő futtatás során rontott 5%-nyi hibával.

Egy jobban kalibrált modell kiszámíthatóan ugyanazokon a kérdéseken hibázhat, más modell pedig minden futtatáskor más kérdéseket téveszthet. Ez utóbbi hiba sajnos az ügyvédi munka számára károsabb, mint az első, mert következetlen eredményeket okoz, amire nehezebb felkészülni. Tehát nem csak a százalékos hibaeredményt fontos látnunk, hanem a szórást, varianciát - és ideális esetben az alatta lévő hasonlóságot is.

6. 4. tanulság - Az ár nem mindig jelent jobb teljesítményt, és a rosszabb teljesítmény sem mindig olcsóbb

• DeepSeek V4 Flash (~$0,75/futtatás, 2 futtatás átlaga): 86,6 %
• Opus 4.8 (~$4,30/futtatás, ~6×-szer drágább): 85,0 %
• DeepSeek Chat (gondolkodás nélkül, ~$0,01/futtatás, az Opus 4.8-nál 430×-szer olcsóbb): 66,1 %

Nem feltétlenül igaz, hogy a legjobb eredményhez a legdrágább modelleket kell használni - ez mindig a feladattól függ.

Az érvelés nélküli Opus 4.8 ebben a benchmarkban a negyedik legpontosabb modell. Egy helyes válaszra jutó költség alapján rendezve a utolsó. A legolcsóbb modell, ami elfogadható szintű választ adott az a nem-érvelő DeepSeek Chat (Flash) - egy helyes válaszra jutó költségben nagyjából 290×-szer olcsóbb, mint az Opus, annak ellenére, noha az Opus 109-cel több kérdést válaszolt meg helyesen.

7. 5. tanulság - A különböző modellcsaládok különböző kérdéseken hibáznak

Az Anthropic és a DeepSeek nagyrészt eltérő kérdéseket hibázott el.

Az 580 kérdés közül 3 olyan volt, amit a mind a 19 futtatás során minden modell rosszul válaszolt meg, és további 15 kérdést a 19-ből 17 vagy 18 futtatás rontott el. Ezekben a modellek magabiztosan és egyformán hibáznak. Ha ugyanaz a kérdés két különböző modellcsaládhoz tartozó modellen is lefut, így olyan hibákat is beazonosíthatsz, amiket egy modell egyedül nem venne észre.

Táblázat - azonos modell közti hasonlóság vs. családok közötti hasonlóság:

Ugyanannak a gondolkodás nélküli modellnek két futtatása a rossz kérdéseinek 70–90 %-ában fedi át egymást. Ugyanannak a gondolkodó modellnek a két futtatása viszont csak körülbelül a felében. Két különböző családba tartozó modell pedig a rossz kérdéseinek kevesebb mint egyharmadában fedi át egymást.

Táblázat - konszenzusos hibák (kérdések, amelyekre több modell is tipikusan rossz választ adott):

580 kérdés közül három kérdésre minden modell minden futtatás során helytelen választ adott.

8. Kód és további részletek

Megosztható részletek: [https://github.com/peterhomoki/SQE_tests_share/tree/master](https://github.com/peterhomoki/SQE_tests_share/tree/master) Tartalmazza: a teljes SRA taxonómiát, a Flask UI-t, a saját rossz-QID CSV beolvasásához szükséges scripteket, az elemzőeszközöket. Nem tartalmazza: az általam használt kereskedelmi anyagokat, sem az SRA teszt kérdéseit.

A GitHub-on van egy részletesebb táblázat is a modellfuttatások eredményeiről, a tényleges válaszok bemutatása nélkül. A posztban szereplő minden szám újraszámolható ebből a CSV-ből:

• model_runs_anonymised.csv - soronként (modell, futtatás, kérdés) hármas, csak a kérdés azonosítójával és azzal, hogy a modell helyesen oldotta-e meg. Ezzel a fenti adatok újraszámolhatók, és további elemzések is végezhetők.

A CSV szándékosan nem tartalmazza a kérdések szövegét, a bevezető részt (lead-in), a lehetséges válaszokat, a helyes megoldást, valamint az egyes kérdésekre vonatkozó taxonómiát, kategóriákat. A CSV-ben szereplő QID-k a saját adatbázisomban használt belső egyedi azonosítók.

9. Záró gondolatok

Látható, hogy az LLM-ek értékelése és megértése nagyon fontos előfeltétele annak, hogy a modell kimenetének megfelelő minőségét kontrollálhassuk. Függetlenül attól, hogy mi lesz a tényleges SQE1-eredményem, legközelebb az agentikus harnessekről (keretrendszerekről) tervezek írni - arról, hogy mik ezek, hogyan kapcsolódnak az itt vizsgált LLM-ekhez, és hogy egy harness hogyan változtatja meg azt, ahogyan az ügyvédek valódi munkájukhoz használhatják az LLM-eket - nem csupán próbavizsgára tanuláshoz, mint itt.