A Google egy új videóelemző funkciót hoz az Ask YouTube szolgáltatásba, amely lehetővé teszi a Gemini számára, hogy bizonyos videószegmensekre összpontosítson ellenőrzés céljából, ahelyett, hogy a teljes videót rögzített ütemben mintavételezné.
Az ügynöki videómegértésnek nevezett rendszer „az elkövetkező hónapokban” bekapcsolja az Ask YouTube-ot a videomegtekintési oldalon, így a funkció a képernyőn megjelenő adatok alapján válaszol. Már elérhető a fejlesztők számára a Google AI Studio és a Gemini Enterprise Agent Platform Gemini API-ján keresztül, amely támogatja a feltöltött és YouTube-videókat egyaránt.
Jön, hogy megkérdezze a YouTube-ot
A Google bejegyzése szerint az Ask YouTube nézõoldali verziója megkapja az új feldolgozást, „a Geminit kihasználva, hogy jobb minõségû válaszokat adjon a vizualitáson alapulva”. A bejegyzés nem ad dátumot „az elkövetkező hónapokon” túl, és nem mondja meg, hogy mely régiókban vagy nyelveken jelenik meg először.
A videóoldalon a kérdezés funkció gombként jelenik meg a videók alatt, így a nézők válaszokat kaphatnak nézés közben. Ez a funkció elkülönül a Kérdezzen a YouTube-tól, amely a keresősávon keresztül érhető el, amely összefoglalót kínál idézett videókkal. Korábban áprilisban beszéltem erről a verzióról, és Brooke Osmundson megemlítette a májusi I/O bejelentését. A YouTube súgóoldala azt írja, hogy ez egy kísérlet az egyesült államokbeli felhasználók korlátozott csoportja számára, akik angolul keresnek, és azt állítják, hogy egyre több felhasználóra terjed ki.
Júliusban Sundar Pichai az Alphabet második negyedéves bevételi felhívása során megosztotta, hogy júniusban több mint 140 millió felhasználó vett részt a videóoldalon. Azt is elmondta, hogy a Google „az Ask-élményt a YouTube szélesebb körű keresési élményébe hozza”.
Hogyan működik az új feldolgozás
A Gemini alapértelmezett videomódja, az úgynevezett statikus feldolgozás, másodpercenként egy képkockát rögzít, és minden képkockát továbbít a modellnek, a Google API-dokumentációjának megfelelően. A fejlesztők módosíthatják a képkockasebességet, de a modell továbbra is a teljes videót feldolgozza.
Az ügynöki videómegértés egy dinamikus hurkot használ, amelyben a modell szelektíven betölti a videó egyes részeit, beállítja a képkockasebességet, és eldönti, hogy adott szegmensekhez képkockákat, hangot vagy átiratokat kíván-e belefoglalni. A Google szerint ez a módszer számos előnnyel jár, mint például a másodperc törtrésze alatti pillanatok megkeresése, a többórás videók keresése, a vizuális hibák észlelése és az ismétlődő műveletek vagy objektumok számlálása.
A Google jelentése szerint a szabványos videó-benchmarkokon végzett tesztelés során az ügynöki videómegértés akár 88%-kal csökkenti a tokenhasználatot, akár 66%-kal csökkenti az elemzési költségeket, és akár 7%-kal javítja a pontosságot a statikus feldolgozáshoz képest. A növekedés a hosszabb videóknál a legnagyobb, bár az API-dokumentumok megjegyzik, hogy az új mód kissé lelassíthatja a válasz kezdetét az öt percnél rövidebb klipeknél.
Miért számít ez?
A Google frissítése megváltoztatja azt, hogy a videooldal funkció hogyan tudja ellenőrizni az éppen nézett videót. A bejegyzésből nem derül ki, hogy az Ask YouTube keresési verziója ugyanilyen feldolgozáson megy-e keresztül.
Még áprilisban észrevettem, hogy a YouTube nem magyarázta el, hogy mitől lesz egy videó a fő idézet az Ask YouTube keresési válaszában, nem pedig a támogató válaszban, vagy hogy miért lehet kihagyni. Szeptember 2-tól a YouTube keresési verzióhoz tartozó súgóoldala azt írja, hogy a rangsorolási rendszere „előnyben részesíti a relevanciát, az elkötelezettséget és a minőséget”, ami szerintük hasonló a szokásos YouTube-kereséshez. A YouTube súgóoldalain ennyit, és a szeptember 1-jei bejegyzés nem tartalmaz további részleteket. Nem foglalkozik a rangsorolással, az ajánlásokkal, az idézetekkel vagy az alkotói eszközökkel sem, és nem ad útmutatást a videók AI-rendszerekhez való adaptálásához.
Előre tekintve
A Google idővonala az új videó módot a Gemini alkalmazásban „hamarosan” és a videooldal funkciójában „a következő hónapokban” helyezi el, bár pontos dátumokat nem közölnek.
Figyelje a videóoldal súgóoldalát a frissítésekért a közzététel megkezdése után. Szeptember 2-tól az oldal azt állítja, hogy a válaszok a YouTube-ról és az internetről származnak, de azt nem írja le, hogy magát a videót hogyan elemzik.
