A Pew Kutatóközpont által alkalmazott módszertan kérdései azt sugallják, hogy a Google AI összefoglalóival kapcsolatos következtetései hibás lehetnek. Az AI összefoglalók létrehozásáról, a minta méretének és a statisztikai megbízhatóságról szóló tények megkérdőjelezik az eredmények érvényességét.
A Google hivatalos nyilatkozata
A Google szóvivője hivatalos nyilatkozattal és egy vita arról, hogy a Pew Research eredményei miért nem tükrözik az AI összefoglalókkal és a szokásos kereséssel kapcsolatos tényleges felhasználói interakciós mintákat.
A Google megcáfolásának fő pontjai a következők:
- A felhasználók egyre inkább az AI szolgáltatásokat keresik
- További kérdéseket tesznek fel
- Az AI használati trendek egyre növelik a tartalom alkotóinak láthatóságát.
- A Pew Research hibás módszertant alkalmazott.
A Google megosztotta:
„Az emberek vonzzák az AI-alapú tapasztalatokat, és az AI szolgáltatások a keresés során lehetővé teszik az emberek számára, hogy még több kérdéssel tegyenek fel új lehetőségeket, új lehetőségeket teremtve az emberek számára, hogy kapcsolatba lépjenek a webhelyekkel.
Ez a tanulmány hibás módszertant és ferde lekérdezést alkalmaz, amely nem reprezentatív a keresési forgalomra. Folyamatosan a milliárd kattintást naponta irányítjuk a weboldalakra, és nem figyeltünk meg jelentősen az összesített webes forgalom csökkenését, ahogyan azt javasoljuk. ”
A minta mérete túl alacsony
Megbeszéltem a Pew Research -et Duane Forresterrel (korábban a Bing, a LinkedIn Profile), és azt javasolta, hogy a kutatás mintavételi mérete túl alacsony ahhoz, hogy értelmes legyen (900+ felnőtt és 66 000 keresési lekérdezés). Duane megosztotta a következő véleményt:
„A havi 500 milliárd kérdés közül a Google -on található, és a 0,0000134% -os minta (66 000+ lekérdezés) alapján betekintést nyernek, ez egy nagyon kicsi minta.
Nem azt sugallva, hogy 66 000 valami következményes, de az adott hónapban, napon vagy percben bekövetkezett lekérdezések kötetében ez nagyon technikailag nem kerekítő hiba, és ha a tanulmányom, akkor ki kellene hívnom, mennyire rendkívül alacsony a minta mérete, és hogy ez nem reálisan képviseli a valós világot.
Mennyire megbízhatóak a Pew Center statisztikák?
A használt statisztikák listájának módszertan oldala, hogy a statisztikák mennyire megbízhatóak a következő korcsoportok esetében:
- A 18-29 éves korosztályt plusz/mínusz 13,7 százalékponttal rangsorolták. Ez alacsony megbízhatósággal rendelkezik.
- A 30–49 éves korosztályt plusz/mínusz 7,9 százalékponttal rangsorolták. Ez a mérsékelt, kissé megbízható, de mégis meglehetősen széles tartományban van.
- Az 50–64 éves korosztályt plusz/mínusz 8,9 százalékponttal rangsorolták. Ez mérsékelt vagy alacsony megbízhatósági szintű.
- A 65 éves korig plusz/mínusz 10,2 százalékponttal rangsorolták, ami határozottan az alacsony megbízhatóság tartományában van.
A fenti megbízhatósági pontszámok a Pew Research módszertan oldaláról származnak. Összességében ezeknek az eredményeknek a hibája magas, így statisztikailag megbízhatatlanná válik. A legjobb esetben azokat durva becsléseknek kell tekinteni, bár Duane mondja, a minta mérete olyan alacsony, hogy nehéz megmutatni, hogy tükrözi a valós eredményeket.
A Pew Research eredmények összehasonlítják az eredményeket különböző hónapokban
Az egyik napról a másikra gondolkodás és a módszertan áttekintése után a Pew Research módszertan egy olyan aspektusa, amely kiemelkedett, az, hogy összehasonlították a felhasználók tényleges keresési kérdéseit a március hónapban, ugyanazokkal a kérdésekkel, amelyeket a kutatók április egy héten végeztek.
Ez problematikus, mert a Google AI összefoglalói hónapra változnak. Például azok a kérdések, amelyek az AI áttekintést váltanak ki, az AIO -k egyre inkább kiemelkednek bizonyos résekre, és kevésbé más témákra. Ezenkívül a felhasználói trendek befolyásolhatják azt a keresést, amelyen önmagában átmeneti frissesség -frissítést válthat ki a keresési algoritmusokhoz, amelyek prioritást élveznek a videók és a hírek.
Az elvitel az, hogy a különböző hónapok keresési eredményeinek összehasonlítása problematikus mind a standard keresés, mind az AI összefoglalók számára.
A Pew Research figyelmen kívül hagyja, hogy az AI keresési eredmények dinamikusak
Az AI áttekintése és összefoglalása tekintetében ezek még dinamikusabbak, nemcsak minden felhasználó számára, hanem ugyanazon felhasználó számára is megváltoztatni.
A lekérdezés keresése az AI áttekintésekben, majd a lekérdezés megismételése egy teljesen más böngészőben más AI összefoglalót és teljesen eltérő linkeket eredményez.
A lényeg az, hogy a Pew Kutatóközpont módszertana, ahol egy hónappal később összehasonlítják a felhasználói lekérdezéseket a lekaparott lekérdezésekkel, mivel a két lekérdezés és eredménycsoport nem hasonlítható össze, mindegyikük az idő, a frissítések és az AI összefoglalók dinamikus jellege miatt mindegyikük különbözik.
A következő képernyőképek a lekérdezéshez látható linkek, Mi az RLHF képzés az Openai -ban?
Google AIO a Vivaldi böngészőn keresztül
Google AIO a Chrome Canary böngészőn keresztül
Nem csak a jobb oldalon lévő linkek különböznek egymástól, hanem az AI összefoglaló tartalom, és a tartalomba ágyazott linkek szintén eltérőek.
Lehet, hogy ez az oka annak, hogy a kiadók nem látják az inkonzisztens forgalmat?
A kiadókat és a SEO -kat a statikus rangsorolási pozíciókhoz használják egy adott keresési lekérdezés keresési eredményeiben. De a Google AI áttekintése és AI módja dinamikus keresési eredményeket mutat. A keresési eredmények és a bemutatott linkek tartalma dinamikus, és a helyek széles skáláját mutatja az első három pozícióban ugyanazon lekérdezéseknél. A SEO -k és a kiadók arra kérték a Google -t, hogy mutassa meg a webhelyek szélesebb körét, és ez nyilvánvalóan az, amit a Google AI funkciói csinálnak. Ez az eset, hogy vigyázzon arra, amit kíván?
