A „szakértő vagy” személyi felszólítás éppolyan árthat a teljesítménynek, amennyire segít. Egy új tanulmány azt mutatja, hogy a személyi felszólítás javítja az emberi elvárásokhoz való igazodást, de csökkentheti a tények pontosságát a tudásigényes feladatoknál, a hatások pedig feladattípusonként és modellenként változnak. A lényeg az, hogy a személyre szóló felszólítás bizonyos típusú feladatoknál jobban működik, mint másoknál.
Persona Prompting
A személyazonosítás gyakori módja annak, hogy a nagy nyelvi modellek hogyan reagáljanak, különösen azokban az alkalmazásokban, ahol a hangszín és az emberi elvárásokhoz való igazodás számít. Széles körben használják, mert javítja a kimenetek olvasását és érzését. Tekintettel arra, hogy milyen széles körben elterjedt a személyazonosság, meglepő lehet, hogy a teljesítményre gyakorolt tényleges hatása továbbra is tisztázatlan, mivel a korábbi kutatások ellentmondásos eredményeket mutattak, ami kétségbe vonja a technikát, hogy segít-e vagy árt-e.
A kutatók arra a következtetésre jutottak, hogy a személyre szóló felszólítás nem általánosan előnyös és nem káros, és hogy hatékonysága a feladat típusától függ.
Találták:
- Javítja az igazítással kapcsolatos kimeneteket, például a hangszínt, a formázást és a biztonsági viselkedést
- A Persona felszólítás rontja az olyan feladatok teljesítményét, amelyek a tények pontosságán és érvelésen alapulnak
Ennek alapján a szerzők bevezetik a PRISM (Persona Routing via Intent-based Self-Modeling) elnevezésű módszert, amely szelektíven alkalmazza a perszonákat, az intent-alapú útválasztást alkalmazva a personák alapbeállításként való kezelése helyett. Eredményeik azt mutatják, hogy a személyi felszólítás feltételes eszközként működik a legjobban, és jobb megértést ad arról, hogy a személyi felszólítás mikor segít, és mikor kell kerülni.
Viselkedési jelek kezelése
A tanulmány harmadik részében a kutatók azt mondják, hogy a szakértő személyiségek „hasznos viselkedési jelekkel rendelkeznek”, de a személy naiv használata károkat okoz, amennyire segít. Szerintük ez felveti a kérdést, hogy ezek az előnyök elválaszthatók-e a károktól, és csak ott alkalmazhatók-e, ahol javítják az eredményeket.
A viselkedési jelek befolyásolják az LLM kimenetet. Ezek a jelek az oka annak, hogy a személyazonosítás működik. Javítják a hangszínt, a szerkezetet, a biztonsági viselkedést és azt, hogy a válaszok mennyire felelnek meg az elvárásoknak. Nélkülük semmi haszna nem lenne a személyre késztetésnek.
Mégis, egy látszólagos paradoxonban a tanulmány megmutatja, hogy ugyanezek a jelek zavarják a tények pontosságától és érvelésétől függő feladatokat. Ezért a lap kezelendő dologként kezeli őket, nem pedig maximalizálni.
Ezek a jelek a következők:
- Stilisztikai adaptáció és hangszínillesztés: Professzionális vagy kreatív hang felvétele.
- Strukturált formázás: Lépésről lépésre vagy technikai elrendezések biztosítása.
- Formátumhoz való ragaszkodás: Segítségével a modell követheti az összetett struktúrákat, például a professzionális e-maileket vagy a STEM-magyarázatokat lépésről lépésre.
- Következő szándék: A modell fókuszálása a felhasználó mögöttes céljára, különösen az olyan feladatoknál, mint az adatkinyerés.
- Biztonsági visszautasítás: A káros kérések hatékonyabb azonosítása és elutasítása a „Biztonsági figyelő” szerepkör elfogadásával.
A Persona Prompt nyer
A lap megállapította, hogy a személyre szóló felszólítások nyolc feladatkategóriából ötben nyertek:
- Kivonás: +0,65 pontszám növekedés.
- STEM: +0,60 pontszám növekedés.
- Indoklás: +0,40 pontnövekedés.
- Írás: Jobb stilisztikai adaptációval javítva.
- Domainszakértő szerepjátéka: Továbbfejlesztve a jobb hangszínillesztés révén.
A fenti kategóriákban a személyre szóló felszólítás győzött, mert sokkal inkább a stílusról és a világosságról szólnak, nem pedig arról, hogy a válasz helyes-e a tényekre és a tudásra. Azt is megállapították, hogy minél hosszabb és részletesebb a személyi felszólítás, annál erősebb lesz az összehangolás és a biztonsági viselkedés.
Persona Prompt hibák
Ezzel szemben a szakértő személy következetesen rontotta a teljesítményt a fennmaradó három (nyolc közül) kategóriában, mert ezek a pontos tények visszakeresésére vagy a szigorú logikára támaszkodnak, nem pedig stílusra és egyértelműségre. A teljesítménycsökkenés oka, hogy egy részletes szakértő személy hozzáadása lényegében „eltereli” a modell figyelmét azáltal, hogy aktivál egy „utasításkövető módot”, amely előnyben részesíti a hangszínt és a stílust.
A szakértő személyek aktiválása a „tényszerű felidézés” rovására megy. A modell annyira arra koncentrál, hogy szakértőként próbáljon viselkedni, hogy elfelejti a kezdeti képzés során tanult információkat. Ez megmagyarázza a tények és a matematika pontosságának csökkenését.
A Persona szakértői felszólítások a következő három kategóriában teljesítettek rosszabbul:
- Math
- Kódolás
- Bölcsészet (memorizált tényszerű tudás)
A lap megjegyzi, hogy az egyik tudás-benchmarkon (MMLU) a pontosság 71,6%-ról 68,0%-ra esett még a „minimális” személynél is, és tovább esett 66,3%-ra a „hosszú” személynél.
Elmagyarázták a biztonsági fejlesztéseket:
„A részletesebb személyleírások gazdagabb igazodási információkat biztosítanak, arányosan felerősítve az utasítás-hangolási viselkedést.”
És megmutatta, miért éri el a tényszerű pontosságot:
„Személyi kártérítési előképzési feladatok
Az előképzés során a nyelvi modellek olyan képességekre tesznek szert, mint a tényszerű tudás memorizálása, osztályozása, entitáskapcsolat-felismerés és nullapontos érvelés. Ezek a képességek az utasítás-hangolás nélkül is elérhetők, és az utasításokat követő extra kontextusok, például szakértői személyi felszólítások károsíthatják őket.
Következtetések elérve
A kutatók arra a következtetésre jutottak, hogy a személyi felszólítás következetesen javítja az igazodástól függő feladatokat, például az írást, a szerepjátékot és a biztonsági viselkedést, miközben rontja a teljesítményt azoknál a feladatoknál, amelyek a képzés előtti tudáson alapulnak, beleértve a matematikát, a kódolást és az általános tudás referenciaértékeit.
Azt is megállapították, hogy a modell személyi érzékenysége a képzéssel arányos. Az utasítások követésére jobban optimalizált modellek „kormányozhatóbbak”, ami azt jelenti, hogy ők kapják a legnagyobb biztonságot és hangszínt, de a tényleges pontosságban is ők szenvedik el a legnagyobb esést.
Elvitelre
1. Legyen szelektív a személyre szóló felszólítások használatában:
- Ne használja alapértelmezetten az „Ön szakértő” üzeneteket
- Kezelje a személyi felszólítást helyzetfüggőként. Mindenhol használata rejtett pontossági kockázatokat rejt magában.
2. A Persona felszólítás a következő esetekben érvényes:
- Írás minősége
- Hang
- Formázás és rendszerezés
- Olvashatóság
3. Olyan feladatok, amelyek nem használnak személyre kérdezést, és helyette semleges felszólítást kell használniuk a pontosság megőrzése érdekében:
- Tényellenőrzés
- Statisztika
- Technikai magyarázatok
- Logikailag erős kimenetek
- Kutatás
- SEO elemzés
4. Emlékezzen erre a három megállapításra:
- Használjon személyre szóló felszólítást a tartalom létrehozásához, majd váltson nem személyes felszólításra (vagy szigorúbb módra) a tények ellenőrzéséhez.
- A rendkívül részletes „szakértői” felszólítások erősítik a hangot és a tisztaságot, de csökkentik a tények és az ismeretek pontosságát.
- Az „Ön egy szakértő” felszólítás arra késztetheti a modellt, hogy előnyben részesítse a helyes hangzást, mint a tényleges helyességet.
5. Párosítsa az utasításokat a feladattal:
- Tartalomkészítés: A Persona segít
- Elemzés és érvényesítés: A Persona fáj
A leghatékonyabb megközelítés nem egy prompt, hanem egy olyan munkafolyamat, amely a feladattól függően váltja a promptokat, hasonlóan a kutató PRISM megközelítéséhez.
Olvassa el a kutatási cikket:
A szakértői personák javítják az LLM-igazítást, de a sérülések pontosságát: Intent-alapú személy-útválasztás a PRISM segítségével
