A Google DeepMind új kutatási cikke egy új, BlockRank nevű, mesterséges intelligencia keresési rangsoroló algoritmust javasol, amely olyan jól működik, hogy a fejlett szemantikus keresési rangsorolást elérhetővé teszi az egyének és a szervezetek számára. A kutatók arra a következtetésre jutottak, hogy „demokratizálhatja a hozzáférést a hatékony információfeltáró eszközökhöz”.
Kontextuson belüli rangsor (ICR)
A kutatási cikk az In-Context Ranking (ICR) alkalmazásának áttörését írja le, amely módszer a weboldalak rangsorolására egy nagy nyelvi modell kontextuális megértési képessége alapján.
A modellt a következőkre kéri:
- Útmutató a feladathoz (például „rangsorolja ezeket a weboldalakat”)
- Jelölt dokumentumok (a rangsorolandó oldalak)
- És a keresési lekérdezés.
Az ICR egy viszonylag új megközelítés, amelyet először a Google DeepMind és a Google Research kutatói fedeztek fel 2024-ben (A hosszú kontextusú nyelvi modellek magukba foglalhatják a visszakeresést, a RAG-ot, az SQL-t és egyebeket? PDF). A korábbi tanulmány kimutatta, hogy az ICR megfelel a kifejezetten keresésre épített visszakereső rendszerek teljesítményének.
Ennek a javulásnak azonban egy hátulütője is volt, mivel a rangsorolandó oldalak számának növekedésével a számítási teljesítmény növekedése szükséges.
Amikor egy nagy nyelvi modell (LLM) több dokumentumot hasonlít össze, hogy eldöntse, melyik a legrelevánsabb egy lekérdezés szempontjából, minden dokumentumban minden szavára kell „figyelnie”, és hogy az egyes szavak hogyan viszonyulnak a többihez. Ez a figyelemfelhívás sokkal lassabb lesz, amint több dokumentum kerül hozzáadásra, mivel a munka exponenciálisan növekszik.
Az új kutatás megoldja ezt a hatékonysági problémát, ezért a kutatási cikket Scalable In-Context Ranking with Generative Models-nek hívják, mert bemutatja, hogyan lehet skálázni az In-context Ranking-ot (ICR) az általuk BlockRank-nak nevezett módszerrel.
Hogyan fejlesztették ki a BlockRank-ot
A kutatók megvizsgálták, hogy a modell valójában hogyan használja fel a figyelmet az In-Context Retrieval során, és két mintát találtak:
- Dokumentumtömbök közötti ritkaság:
A kutatók azt találták, hogy amikor a modell egy dokumentumcsoportot olvas be, általában minden egyes dokumentumra külön-külön összpontosít, ahelyett, hogy az összeset összehasonlítaná egymással. Ezt „blokk ritkaságnak” nevezik, ami azt jelenti, hogy kevés a közvetlen összehasonlítás a különböző dokumentumok között. Erre a betekintésre építve megváltoztatták azt a módot, ahogyan a modell olvassa be a bemenetet, így minden egyes dokumentumot önmagában tekint át, de mindegyiket összehasonlítja a feltett kérdéssel. Ez megtartja a fontos részt, a dokumentumokat a lekérdezéshez illeszti, miközben kihagyja a szükségtelen dokumentum-dokumentum összehasonlításokat. Az eredmény egy olyan rendszer, amely sokkal gyorsabban működik a pontosság elvesztése nélkül. - Lekérdezés-dokumentum blokk relevanciája:
Amikor az LLM beolvassa a lekérdezést, nem kezel minden szót egyformán fontosnak a kérdésben. A kérdés egyes részei, például a szándékot jelző konkrét kulcsszavak vagy írásjelek, segítenek a modellnek eldönteni, hogy melyik dokumentum érdemel nagyobb figyelmet. A kutatók azt találták, hogy a modell belső figyelmi mintái, különösen az, hogy a lekérdezés egyes szavai konkrét dokumentumokra fókuszálnak, gyakran igazodnak a releváns dokumentumokhoz. Ez a viselkedés, amelyet „lekérdezési-dokumentumblokk-relevánsnak” neveznek, olyasmivé vált, amellyel a kutatók megtaníthatták a modellt a hatékonyabb használatra.
A kutatók azonosították ezt a két figyelemmintát, majd új megközelítést alakítottak ki a tanultak alapján. Az első minta, a dokumentumok közötti blokkok ritkasága feltárta, hogy a modell elpazarolja a számítást azáltal, hogy összehasonlítja a dokumentumokat egymással, amikor ez az információ nem volt hasznos. A második minta, a lekérdezés-dokumentum blokk relevanciája azt mutatta, hogy a kérdés bizonyos részei már a megfelelő dokumentum felé mutatnak.
Ezen meglátások alapján újratervezték, hogyan kezeli a modell a figyelmet és hogyan képezi azt. Az eredmény a BlockRank, az In-Context Retrieval hatékonyabb formája, amely csökkenti a szükségtelen összehasonlításokat, és megtanítja a modellt arra, hogy arra összpontosítson, ami valóban a relevanciát jelzi.
A BlockRank benchmarking pontossága
A kutatók tesztelték a BlockRank-ot, hogy mennyire jól rangsorolja a dokumentumokat három fő viszonyítási alapon:
- BEIR
Számos különböző keresési és kérdésmegválaszolási feladat gyűjteménye, amelyek segítségével tesztelhető, hogy egy rendszer mennyire képes megtalálni és rangsorolni a releváns információkat számos témakörben. - MARCO asszony
Valódi Bing-keresési lekérdezések és szövegrészek nagy adatkészlete, amely annak mérésére szolgál, hogy a rendszer milyen pontosan tudja rangsorolni azokat a szövegrészeket, amelyek a legjobb választ adják a felhasználó kérdésére. - Természetes kérdések (NQ)
Valódi Google-keresési kérdésekből összeállított benchmark, amelynek célja annak tesztelése, hogy egy rendszer képes-e azonosítani és rangsorolni azokat a Wikipédia-részleteket, amelyek közvetlenül válaszolnak ezekre a kérdésekre.
Egy 7 milliárd paraméterű Mistral LLM-et használtak, és összehasonlították a BlockRank-ot más erős rangsorolási modellekkel, beleértve a FIRST-t, a RankZephyr-t, a RankVicunát és egy teljesen finomhangolt Mistral-alapvonalat.
A BlockRank ugyanolyan vagy jobban teljesített, mint ezek a rendszerek mindhárom benchmarkon, megegyezett az MS MARCO és a Natural Questions eredményeivel, és valamivel jobban teljesített a BEIR-en.
A kutatók az eredményeket magyarázták:
„Az MSMarco-n és az NQ-n végzett kísérletek azt mutatják, hogy a BlockRank (Mistral-7B) megegyezik vagy felülmúlja a szabványos finomhangolási hatékonyságot, miközben lényegesen hatékonyabb a következtetés és a képzés során. Ez skálázható és hatékony megközelítést kínál az LLM-alapú ICR-hez.”
Azt is elismerték, hogy nem teszteltek több LLM-et, és ezek az eredmények a Mistral 7B-re vonatkoznak.
Használja a Google a BlockRank-ot?
A kutatási cikk semmit nem mond arról, hogy élő környezetben használják. Tehát pusztán feltételezés azt állítani, hogy használható lenne. Emellett természetes, hogy megpróbáljuk azonosítani, hogy a BlockRank hol illeszkedik az AI módba vagy az AI-áttekintésekbe, de az AI mód FastSearch és RankEmbed működésének leírása nagymértékben eltér attól, amit a BlockRank csinál. Így nem valószínű, hogy a BlockRank a FastSearch-hez vagy a RankEmbedhez kapcsolódik.
Miért jelent áttörést a BlockRank?
A kutatási cikk azt mondja, hogy ez egy áttörést jelentő technológia, amely egy fejlett rangsorolási rendszert tesz elérhető közelségbe olyan egyének és szervezetek számára, amelyek általában nem lennének képesek ilyen magas színvonalú rangsorolási technológiára.
A kutatók ezt magyarázzák:
„A BlockRank módszertana az In-Context Retrieval (ICR) hatékonyságának és skálázhatóságának növelésével a nagy nyelvi modellekben (LLM-ekben) a fejlett szemantikai visszakeresést számításilag jobban követhetővé teszi, és demokratizálhatja a hatékony információfelderítési eszközökhöz való hozzáférést. Ez felgyorsíthatja a kutatást, javíthatja az oktatási eredményeket azáltal, hogy gyorsabban és relevánsabb információkkal és döntési képességekkel ruházza fel a szervezetet.
Ezen túlmenően a megnövekedett hatékonyság közvetlenül csökkenti a visszakeresést igénylő LLM-alkalmazások energiafogyasztását, hozzájárulva a környezeti szempontból fenntartható mesterségesintelligencia-fejlesztéshez és -kiépítéshez.
Azáltal, hogy a potenciálisan kisebb vagy jobban optimalizált modelleken lehetővé teszi a hatékony ICR-t, a BlockRank kiterjesztheti ezeknek a technológiáknak az elérhetőségét az erőforrás-szűkült környezetekben is.”
A keresőoptimalizálók és a kiadók szabadon kifejthetik véleményüket arról, hogy ezt a Google felhasználhatja-e vagy sem. Nem hiszem, hogy erre van bizonyíték, de érdekes lenne megkérdezni erről egy Google-alkalmazást.
Úgy tűnik, hogy a Google éppen azon dolgozik, hogy elérhetővé tegye a BlockRank-ot a GitHubon, de úgy tűnik, hogy ott még nincs elérhető kód.
A BlockRankről itt olvashat:
Méretezhető kontextuson belüli rangsorolás generatív modellekkel
