Diana Hu, az Y Combinator munkatársa nemrég interjút készített a Google egykori főtudósával, aki segített a Google-nak, hogy a mai mesterséges intelligencia és keresési erőművé váljon. Kifejtette, hogy az emberek által használt modellek egyre inkább nem olyan fontosak, mint az, hogy a modellt hogyan használják az eszközök, a visszakeresés és az AI-ügynökök nagyobb rendszerében.
Válaszai a kontextustervezésre és a hangszerelési eszközökre, a visszakeresésre és az AI-ügynökökre összpontosítottak alkalmas AI-rendszerekké.
Egyre kevésbé fontos, hogy melyik AI-modellt használják
Sokan aggódnak amiatt, hogy melyik AI-modellt használják, és aggodalommal töltik el, hogy kifogynak a tokenek. Jeff Dean válaszai azt sugallják, hogy ezek az aggodalmak arra késztethetik az embereket, hogy figyelmen kívül hagyjanak egy nagyobb lehetőséget: kontextus tervezés.
Az Y Combinator kérdezője, Diana Hu azt mondta, hogy a haladás már nem a nagyobb modelleken múlik, majd azt mondta, hogy úgy tűnik neki, hogy ez egyre inkább a „kontextus-tervezésről” szól.
Dean egyetértett vele, és kibővítette az ötletet.
Diana Hu megkérdezte:
„A mesterséges intelligencia fejlődése korábban csak jobb modelleket jelentett. Több adattal rendelkezett, nagyobb modelleket tanított nagyobb paraméterekkel.
De az elmúlt években egyre inkább minden a modell körül múlik, nem csak a modell mérete és a paraméterek száma vagy több adat, hanem minden olyan dolog körül, mint például a visszakeresés, az eszközök, a memória, az ügynökeszközök, és ez egyfajta konszolidációba kerülhet, amit az emberek kontextustervezésnek hívnak, nem?
Jeff Dean egyetértett azzal, hogy az emberek által választott mesterséges intelligencia modell csak egy része annak, amit az emberek csinálnak. Szerinte az számít, hogy az AI-modell milyen különféle eszközöket tud használni, hogyan tud hozzáférni a releváns információkhoz. Tehát ahelyett, hogy a modellt helyezné a középpontba, és elvárná tőle, hogy megtegye a dolgokat, ragaszkodik ahhoz, hogy a legjobb módja annak, hogy felszerelje a modellt a munka elvégzéséhez szükséges eszközökkel.
Dean így válaszolt:
„Igen, úgy értem, úgy gondolom, hogy a modell valójában csak egy darabja annak, amit tenni próbál, vagyis egy átfogó rendszer felépítése, amely igazán érdekes problémákat tud megoldani.
Ez pedig egy olyan modellt foglal magában, amely tudja, hogyan kell különféle eszközöket használni. Lehet, hogy tudja, hogyan kell lekérni a releváns információkat, esetleg rendelkezik más információkkal, amelyeket a múltbeli problémák miatt keresett le. És az információkat a modell kontextusába helyezheti.”
A többügynököt tartalmazó rendszerek összehangolása egyre fontosabbá válik
Dean folytatta a válaszát, és az ügynökök és a többügynökös hangszerelés felé terelte az irányt, ami azt jelenti, hogy az AI-ügynökök koordinálják az eszközök használatát, valamint a releváns információk lekérését az összetett problémák megoldásához.
Egy mesterséges intelligencia modell példáját használta, az összes betanítási adattal együtt, ami hatalmas mennyiségű információ, és szembeállította ezt egy olyan mesterséges intelligencia modellel, amely egy olyan információgyűjteményt vizsgál, amely közvetlenül kapcsolódik ahhoz, amit tennie kell. A lényeg, amelyre rávezet, az az, hogy a modell jobban tud egy munkát elvégezni, ha megfelelő szintű hangszereléssel rendelkezik, és ez az, ami felé haladnak a dolgok.
Válaszát folytatta:
„És ebben az a szép, hogy az információk valóban világosak a modell számára, ellentétben a betanítási adatokkal, amelyeken a modellt arra tanítják, hogy az egész olyan, mint a tokenek billiói, amelyeket több százmilliárd vagy billió paraméterből álló levessé kevernek össze.
De mindez kevésbé világos, mint a tényleges kontextus, amelyet a modell közvetlenül lát erre a problémára vagy használati esetre. És akkor azt gondolom, hogy meg kell tudni érteni, milyen eszközök állnak rendelkezésre, melyek segítenek a modellnek megoldani a probléma következő fázisát, hogyan lehet a problémát eszközhívások sorozatára bontani, esetleg többféle megközelítést kipróbálni a probléma megoldására, és megnézni, hogy melyek működnek, és ki kell értékelni ezt.
Ez a komplex ügynökök és többügynök-rendszerek összhangzása, amely szerintem egyre fontosabb és szuper izgalmasabb idők lesz, mondhatnám.”
Jeff Dean tippjei a jobb kontextus tervezéshez
Diana Hu ott folytatta, ahol Dean abbahagyta a kontextustervezés témáját, és tanácsokat kért tőle azokról a dolgokról, amelyeket az emberek tehetnek annak érdekében, hogy jobbá váljanak a kontextustervezés terén.
Hu megkérdezte:
„És úgy gondolom, hogy ebben a problémás tartománykészletben az a móka, amit ebben a teremben mindenki meg tud csinálni, mert korábban egy modell betanításához hihetetlen mennyiségű erőforrásra, hihetetlen mennyiségű GPU-hoz és adatokhoz való hozzáférésre volt szüksége.
De a kontextustervezés terén itt mindenki megteheti.
Csak az API-ra van szüksége valamihez, például a Geminihez, majd dolgozzon a saját beállításán a saját visszakereséshez, a saját eszközhívásaihoz, stb., stb.
Szóval milyen tippeket adunk itt mindenkinek? Hogyan válik mindenki jobbá és kivételessé a kontextustervezésben?”
Dean azt válaszolta, hogy a kudarc annak az útnak a része, hogy megértsük, milyen változtatásokat kell végrehajtani a problémamegoldás megfelelő eredményének eléréséhez. Válaszának érdekessége, hogy a modell kiigazításának példáját használta a problémák jobb megoldására (ami hatalmas vállalkozás), és ezt szembeállította jobb iránymutatások és készségek kialakításával.
– magyarázta Dean
„Igen, úgy értem, szerintem ennek egy nagyon jó módja az, ha ezeket a modelleket, hevedereket és eszközöket, stb. használjuk a problémák megoldására. Aztán néha láthatod, hogy a modellek hol hibáznak.
És gyakran a modellt hatékonyabbá teheti, és sikeresen kezelheti az ilyen jellegű problémákat, ha nemcsak a modell paramétereit állítja be, ami kívülről nehezen kivitelezhető, hanem jobb irányvonalak létrehozásával a modellhez, írási készségekkel a modell számára, hogy tudjon különféle eszközöket használni, amelyek hihetetlenül hasznosak lennének az adott problémacsoport megoldásában.
És úgy gondolom, hogy miközben ezt teszed, a beállítás ilyen jellegű javítására, önfejlesztésére jutsz, amit a dolgok megoldására próbálsz használni. És ez egy nagyon jó módja annak, hogy jobban megértsük, milyen további információkra van szüksége a modellnek ahhoz, hogy még alkalmasabbá váljon.”
Elvitelre
- Az AI-modellek egy nagyobb AI-rendszer részévé válnak.
- A kontextus tervezése egyre inkább az eszközök összehangolásáról, a visszakeresésről és az AI-ügynökökről szól.
- A jobb mesterséges intelligencia eredmények gyakran a modell körüli rendszer fejlesztéséből származnak, nem pedig magának a modellnek.
- A mesterséges intelligencia eredményeinek javítása gyakran azt jelenti, hogy tanulni kell a hibákból, hogy jobb iránymutatásokat és jobb készségeket hozzon létre.
