A Google kutatói „elegendő kontextus” jelzéssel javítják a rongyot

Peter

A Google kutatói bevezettek egy módszert az AI-keresés és az asszisztensek javítására azáltal, hogy javítják a visszakeresési generációs (RAG) modellek azon képességét, hogy felismerjék, amikor a visszakeresett információknak nincs elegendő kontextus a lekérdezés megválaszolásához. Ha megvalósítják, ezek az eredmények segíthetnek az AI által generált válaszok elkerülésében a hiányos információkra és a válasz megbízhatóságának javítására. Ez a váltás arra is ösztönözheti a kiadókat, hogy tartalmat hozzanak létre elegendő kontextusban, így az oldalak hasznosabbak az AI által generált válaszokhoz.

Kutatásuk szerint az olyan modellek, mint a Gemini és a GPT, gyakran megkísérelnek válaszolni a kérdésekre, amikor a letöltött adatok nem tartalmaznak elegendő kontextust, ami a tartózkodás helyett hallucinációkhoz vezet. Ennek kezelése érdekében kifejlesztettek egy rendszert a hallucinációk csökkentésére az LLMS meghatározásával, hogy a letöltött tartalom elegendő információt tartalmaz a válasz alátámasztásához.

A visszakereséssel ellátott generációs (RAG) rendszerek kiegészítik az LLM-eket a külső kontextusban a kérdés-válasz pontosság javítása érdekében, de hallucinációk továbbra is előfordulnak. Nem volt egyértelműen, hogy ezek a hallucinációk az LLM téves értelmezéséből vagy az elégtelen visszakeresési kontextusból származnak -e. A kutatási cikk bemutatja a megfelelő kontextus fogalmát, és leír egy módszert annak meghatározására, hogy mikor áll rendelkezésre elegendő információ egy kérdés megválaszolásához.

Elemzésük szerint a szabadalmaztatott modellek, mint például a Gemini, a GPT és a Claude, hajlamosak helyes válaszokat adni, ha elegendő kontextust kapnak. Ha azonban a kontextus nem elegendő, akkor a tartózkodás helyett néha hallucinálnak, de az idő 35–65% -át is helyesen válaszolják. Ez a legutóbbi felfedezés újabb kihívást jelent: annak ismerete, hogy mikor kell beavatkozni a tartózkodás kényszerítése érdekében (hogy ne válaszoljon), és mikor bízza meg a modellt, hogy helyes legyen.

A megfelelő kontextus meghatározása

A kutatók elegendő kontextust határoznak meg úgy, hogy azaz a visszakeresett információk (a RAG -ból) tartalmazzák az összes szükséges részletet a helyes válasz levezetéséhez. Az a besorolás, amelynek valami elegendő kontextust tartalmaz, nem követeli meg, hogy ellenőrzött válasz legyen. Csak annak felmérése, hogy a válasz valószínűleg származtatható -e a megadott tartalomból.

Ez azt jelenti, hogy az osztályozás nem igazolja a helyességet. Felbecsüli, hogy a lekérdezett információk ésszerű alapot nyújtanak -e a lekérdezés megválaszolásához.

Az elégtelen kontextus azt jelenti, hogy a visszakeresett információk hiányosak, félrevezetőek vagy hiányoznak a válasz felépítéséhez szükséges kritikus részletek.

Elegendő kontextus autorater

A megfelelő kontextusú autorater egy LLM-alapú rendszer, amely a lekérdezés-kontextuspárokat úgy osztályozza, mint elegendő vagy elégtelen kontextus. A legjobban teljesítő autorater modell a Gemini 1,5 Pro (1-Shot) volt, elérve a 93% -os pontossági arányt, felülmúlva más modelleket és módszereket.

A hallucinációk csökkentése szelektív generációval

A kutatók felfedezték, hogy a RAG-alapú LLM-válaszok képesek voltak helyesen megválaszolni a kérdéseket az idő 35–62% -ánál, amikor a visszakeresett adatok nem voltak elegendő kontextusban. Ez azt jelentette, hogy a pontosság javításához nem mindig volt szükség elegendő kontextusra, mivel a modellek az idő 35-62% -a nem tudták visszaadni a helyes választ.

Felfedezték ezt a viselkedést egy szelektív generációs módszer létrehozásához, amely megbízhatósági pontszámokat (önértékelési valószínűségeket alkalmazhat, hogy a válasz helyes lehet), és elegendő kontextusjelzéssel dönthet úgy, hogy mikor kell válaszolni, és mikor tartózkodik (hogy elkerüljük a helytelen nyilatkozatok és a hallucinálást). Ez eléri az egyensúlyt az LLM lehetővé tétele között, hogy válaszoljon egy kérdésre, ha erős bizonyosság van, hogy helyes, miközben lehetővé teszi a tartózkodást, ha elegendő vagy elégtelen kontextus van a kérdés megválaszolásához.

A kutatók leírják, hogyan működik:

„… Ezeket a jeleket egy egyszerű lineáris modell kiképzésére használjuk a hallucinációk előrejelzésére, majd a lefedettség-pontossági kompromisszumküszöbök beállításához.
Ez a mechanizmus különbözik a tartózkodás két kulcsfontosságú javításának más stratégiáitól. Először, mivel a nemzedéktől függetlenül működik, enyhíti a nem szándékos downstream effektusokat. Másodszor, ellenőrzhető mechanizmust kínál a tartózkodás hangolására, amely lehetővé teszi a különböző alkalmazások különböző működési beállításait, például a szigorú pontossági megfelelést az orvosi területeken vagy a kreatív generációs feladatok maximális lefedettségét. ”

Elvitel

Mielőtt bárki elkezdi azt állítani, hogy a kontextus-elégség rangsorolási tényező, fontos megjegyezni, hogy a kutatási cikk nem állítja, hogy az AI mindig prioritást élvez a jól strukturált oldalakon. A kontextus-elégség az egyik tényező, de ezzel a konkrét módszerrel a konfidencia pontszámok befolyásolják az AI által generált válaszokat is azáltal, hogy beavatkoznak a tartózkodási döntésekkel. A tartózkodás küszöbértékei dinamikusan beállítják ezen jelek alapján, ami azt jelenti, hogy a modell nem válaszolhat, ha a bizalom és az elégség egyaránt alacsony.

Míg a teljes és jól strukturált információkkal rendelkező oldalak nagyobb valószínűséggel tartalmaznak elegendő kontextust, más tényezők, például az, hogy az AI hogyan választja ki és rangsorolja a releváns információkat, a rendszer, amely meghatározza, hogy mely forrásokat kapják meg, és az LLM képzésének módja is szerepet játszik. Egy tényezőt nem lehet elkülöníteni anélkül, hogy figyelembe venné a szélesebb rendszert, amely meghatározza, hogy az AI hogyan szerez be és válaszokat generál.

Ha ezeket a módszereket egy AI asszisztensbe vagy chatbotba valósítják meg, az AI által generált válaszokhoz vezethet, amelyek egyre inkább a weboldalakra támaszkodnak, amelyek teljes, jól felépített információt szolgáltatnak, mivel ezek valószínűleg elegendő kontextust tartalmaznak a lekérdezés megválaszolásához. A kulcs az, hogy elegendő információt nyújtson egyetlen forrásban, hogy a válasz értelme legyen további kutatások nélkül.

Mik azok az oldalak, amelyek nem megfelelő kontextusban vannak?

  • Hiányzik elegendő részlet a lekérdezés megválaszolásához
  • Félrevezető
  • Befejezetlen
  • Ellentmondásos
  • Hiányos információ
  • A tartalom előzetes ismereteket igényel

A válasz befejezéséhez szükséges információk a különböző szakaszokon szétszóródnak, ahelyett, hogy egységes válaszban mutatnák be.

A Google harmadik fél Quality Raters irányelvei (QRG) olyan fogalmakkal rendelkeznek, amelyek hasonlóak a kontextus elégségéhez. Például a QRG az alacsony minőségű oldalakat úgy határozza meg, mint azok, amelyek nem érik jól a céljukat, mivel nem adják meg a szükséges hátteret, részleteket vagy releváns információkat a témához.

A Minőségi Raters iránymutatásainak részei:

„Az alacsony minőségű oldalak nem érik jól céljukat, mert hiányoznak egy fontos dimenzióban, vagy problematikus szempontból vannak”

„Egy oldal, melynek címe:„ Hány centiméter van egy méterben? ” Nagy mennyiségű témán kívüli és nem haszontalan tartalommal, hogy nehéz megtalálni a nagyon kis mennyiségű hasznos információt. ”

„Egy kézműves útmutató és a tetején sok haszontalan„ töltőanyag ”készítésére vonatkozó útmutató, például a szükséges készletekről vagy más nem rajzolási információkról szóló közismert tényekről szóló utasításokkal.

„… Nagy mennyiségű” töltőanyag „vagy értelmetlen tartalom…”

Még akkor is, ha a Google Ikrek vagy AI áttekintései nem hajtják végre a találmányokat ebben a kutatási cikkben, a benne ismertetett fogalmak közül sokan vannak a Google Minőség -értékelői irányelveiben szereplő analógok, amelyek maguk írják le a magas színvonalú weboldalak fogalmát, amelyeket a SEO -k és a rangsoroló kiadóknak internalizálniuk kell.

Olvassa el a kutatási papírt:

Elegendő kontextus: Új lencse a kinyerés kibővített generációs rendszereiről

A szerzőről

Peter, az eOldal.hu tapasztalt SEO szakértője és tartalomgyártója. Több mint 10 éve foglalkozik keresőoptimalizálással és online marketinggel, amelyek révén számos magyar vállalkozás sikerét segítette elő. Cikkeiben részletes és naprakész információkat nyújt az olvasóknak a legfrissebb SEO trendekről és stratégiákról.