A Google közzétett egy új kutatási tanulmányt, amely megállapította, hogy a határmenti LLM-ek a tesztelt tények 95–98%-át kódolják, de nem képesek közvetlenül felidézni a kérdésekre adott válaszok 26–34%-át. A probléma egy része az, hogy a felidézés nehezebbé válik, ha a kérdések megfordítják a tantárgy/objektum entitás sorrendjét, amelyben egy ténnyel találkoztak a képzés során.
Paraméteres információ
A paraméteres információ lényegében az az információ, amelyet az LLM-ek kódoltak a képzés során. Ezek az információk a weboldalakról, dalszövegekből, könyvekből, utasításokból, kódokból és minden másból származnak, amire az LLM-et képezték.
A kutatók a következő kérdésre kerestek választ: Miért nem emlékeznek vissza az LLM-ek bizonyos információkra, amelyekre képezték őket? Korábban úgy gondolták, hogy az LLM-ek talán nem kaptak elegendő információt, de a kutatók azt találták, hogy ez nem mindig igaz a határ menti LLM-ek esetében.
A kutatók kifejtik, hogy a kódolás telített, ami azt jelenti, hogy a kérdések megválaszolásához szükséges információk általában már megtalálhatók az LLM-ekben.
Azt írják:
„A kódolás telített, a visszahívás nem. Az olyan határmenti LLM-eknél, mint a Gemini-3-Pro és a GPT-5, a ténykódolás közel telített, a tények 95-98%-a kódolva van. Ezek a modellek azonban nem emlékeznek vissza közvetlenül a tények 26-34%-ára, vagy 11-12%-ára még gondolkodással sem.
Ennek megfelelően a visszahívási hibák okozzák a GPT-5.2 hibáinak több mint 70%-át, és az erősebb modelleknél nagyobb arányban, ami arra utal, hogy a visszahívás valóban szűk keresztmetszet.
Ez azt jelenti, hogy a szűk keresztmetszet nem az, hogy a határmenti LLM-ek nem rendelkeznek elég tényekkel és információval. A szűk keresztmetszet az információhoz való hozzáférésben rejlik.
Alany és objektum entitások
A kutatás érdekes felfedezése, hogy az LLM-ek egyik oka annak, hogy nem tudtak konkrét tényeket felidézni, az az, hogy a tényhez kapcsolódó alanyi entitást és tárgy entitást meghatározott sorrendben tanulták meg. Amikor egy fordított sorrendet tartalmazó lekérdezést küldenek az LLM-nek, az LLM-nek nehezebben tudja felidézni a tényt, mivel más sorrendben tanulta meg.
A kutatási cikk elmagyarázza, mik az alany és objektum entitások:
„Az alany és az objektum szerepét az a forrásszöveg határozza meg, amelyből a tényt kivonták (pl. Wikipédia-dokumentum): az alany az az entitás, amely először jelenik meg a szövegben, és az objektum ezt követően jelenik meg.”
Aztán elmagyarázza, mit jelent az alany és az objektum megfordítása:
„Azt a kérdést, amelynek válasza az objektum, közvetlen kérdésnek nevezzük, míg azt a kérdést, amelynek válasza az alany, fordított kérdésnek nevezzük.”
A Google magyarázója a következő példával illusztrálja az alany/objektum entitáspárt:
„Az Oasis az első fellépését a Boardwalk klubban játszotta.”
A fenti példában az „Oasis” az alanyi entitás, a „The Boardwalk club” pedig az objektum entitás.
Tehát az „Oasis” és a „The Boardwalk club” példájában, amikor ezek a párok következetesen először fordulnak elő az Oasisnál, az LLM képtelen felidézni azt a tényt, amikor a lekérdezés tárgya/tárgya megfordult.
Most egy újabb érdekes felfedezés következik. Az LLM képes felismerni azt a tényt, amikor egy feleletválasztós kérdésben alternatívák között szerepel a fordított alany és tárgy entitás.
A kutatók nem magyarázzák meg, hogy az LLM miért képes felismerni a választ, ha az egy feleletválasztós kérdés része. Bizonyítékként használják fel, hogy a válasz az LLM-ben van kódolva és felismerhető.
A kérdés megfogalmazása jelentéktelen hatással volt a visszahívásra
A kutatók azt tesztelték, hogy a kérdések újrafogalmazása megváltoztatta-e a határ menti LLM-ek azon képességét, hogy felidézzék a tényeket. Azt találták, hogy ez nem befolyásolta jelentősen a modell azon képességét, hogy felidézzen egy tényt. Ami számított, az az alany/objektum sorrendjének megfordítása.
A hosszú farkú tényeket nehéz felidézni
Egy másik érdekes megállapítás, hogy a határ menti LLM-ek nehézségeket tapasztaltak a hosszú farkú tényekkel kapcsolatban, amit a kutatók ritka tényeknek neveztek. A népszerű tények és a ritka tények kódolása között kicsi volt a különbség, de nagyobb volt az emlékezés szempontjából. A ritka tények felidézésének képtelensége gyakran nem annak tudható be, hogy az LLM-ek nem tanulták meg az információkat. Csak a visszahívási szakaszban szűk keresztmetszetek voltak.
Tesztelt megoldás: Több gondolkodás
A kutatók tesztelték a gondolkodást a tények felidézésére, és felfedezték, hogy az LLM-ek képesek voltak felidézni a kódolt tények 40-65%-át, amelyeket korábban nem lehetett közvetlenül felidézni. A továbbgondolás hátránya, hogy számításilag drága. A kutatók azt is megjegyzik, hogy további problémát jelent, hogy tudjuk, mikor kell több gondolkodást kiváltani.
Az LLM képzés méretezése nem megoldás
Végül a kutatók megjegyezték, hogy a határterületi LLM-ek méretezése nem jelent megoldást a visszahívási problémára.
SEO és tárgy/objektum entitás párok
Az alany és objektum entitás párok sorrendjével kapcsolatos megérzés az, hogy előnyös lehet azokat a legáltalánosabb módon rendezni, ahogy a lekérdezések rendezik őket. Ez nem derül ki a kutatási cikkből. Nem is olyan dolog, ami bizonyított. Intuitív módon azonban ésszerű lehet az alanyi entitásokat és az objektum entitásokat a leggyakoribb sorrendpárosításuk szerint rendezni.
Bár a kutatási cikk nem mondta ki, hogy ezeknek az entitásoknak a közös rendezése segít egy LLM-nek egy adott weboldal kiválasztásában, ez egy ésszerű hipotézis a SEO szempontjából.
