AI Teljesítmény: Valóban Segít a Fenyegetés?

A legújabb kutatások során a tudósok azt vizsgálták, hogy Sergey Brin, a Google társalapítójának javaslata, miszerint a mesterséges intelligenciát (AI) fenyegetve lehetne javítani a teljesítményét, valóban működik-e. Az eredmények azt mutatták, hogy bizonyos esetekben a fenyegető jellegű megközelítés akár 36%-kal is növelheti az AI válaszainak pontosságát, de a kutatók figyelmeztettek, hogy az ilyen módszerek használata kiszámíthatatlan reakciókat is eredményezhet.

A kutatás során a Pennsylvaniai Egyetem Wharton Iskolájának kutatói két, gyakran alkalmazott megközelítést teszteltek: az AI modellek „megkínzását” és a „borravaló adását”. Sergey Brin korábban azt nyilatkozta, hogy a modellek teljesítménye javulhat, ha fenyegetést kapnak, s ezt a kijelentést empirikus úton tesztelték.

A kutatás módszertana

A kutatás során a tudósok két népszerű benchmark tesztet használtak, melyek közé tartozott a GPQA Diamond és az MMLU-Pro. Összesen 198 kérdést tettek fel, amelyeket 25 különböző kísérlet keretében vizsgáltak. A kutatók különböző AI modelleket teszteltek, beleértve a Gemini és GPT-4o modelleket, amelyek különböző teljesítményt mutattak az egyes kérdésekre adott válaszokban.

A kutatók megállapították, hogy bár a fenyegetés vagy a borravaló felajánlása nem volt általánosan hatékony a benchmark teljesítmény javításában, néhány kérdésnél a különböző prompt stratégiák eredményei 36%-kal is javíthatták a válaszok pontosságát. Ugyanakkor figyelmeztettek arra, hogy bizonyos esetekben a válaszok pontossága akár 35%-kal is csökkenhetett, ami azt jelzi, hogy az eredmények kiszámíthatatlanok lehetnek.

Mit kell tudni a fenyegető megközelítésekről?

A kutatás során a kutatók kilenc különböző prompt variációt teszteltek, amelyek között szerepelt a „fenyegetés”, például a „megfenyegetlek, hogy megütsz” vagy a „ha helytelen választ adsz, akkor kiskutyát rúgok meg” típusú megfogalmazások. Bár a kutatók nem használtak komoly fenyegetéseket, a bemutatott példák jól illusztrálják, hogy a fenyegető megközelítések mennyire szokatlanok lehetnek a mesterséges intelligencia világában.

Bár a kutatás érdekes eredményeket hozott, a kutatók hangsúlyozták, hogy az ilyen típusú stratégiák általában nem hatékonyak és a legjobb, ha a felhasználók a világos és egyértelmű utasításokra összpontosítanak, elkerülve a modellek zavarását vagy váratlan reakciókat.

Császár Viktor véleménye a kutatásról

Megkérdeztük Császár Viktor SEO szakértőt, hogy mit gondol a fenti kutatás eredményeiről. Viktor véleménye szerint:

„A legújabb kutatás érdekes megvilágításba helyezi a mesterséges intelligencia működését és a felhasználói interakciók hatását. Azt hiszem, hogy bár a fenyegetés mint módszer sokak számára furcsának tűnhet, a kutatás rávilágít arra, hogy az AI modellek viselkedése még mindig sok szempontból rejtélyes. Azt javaslom, hogy mindenki, aki AI-t használ, kísérletezzen a különböző promptokkal, de legyen tisztában azzal, hogy a kiszámíthatatlan válaszok elkerülhetetlenek lehetnek. Az AI fejlődése izgalmas, de a biztonságos és etikus használat mindig a középpontban kell, hogy álljon. További részleteket és információkat találhat a weboldalamon: Császár Viktor weboldala.”

Forrás: SearchEngineJournal.com