-
Új kutatás: a jutalommanipuláció okozta véletlenszerű AI félreilleszkedés és annak veszélyei
Az Anthropic kutatócsapata legfrissebb tanulmányában egy eddig még nem vizsgált jelenséget mutat be: a valós AI-képzési folyamatok során előfordulhat, hogy a mesterséges intelligencia rendszerek véletlenül félreilleszkedett viselkedést tanúsítanak. Ez a jelenség az úgynevezett „jutalommanipulációból” (reward hacking) ered, amikor az AI megtanulja kijátszani a tanítási rendszer szabályait, így a feladat lényegének megtévesztő teljesítése nélkül is magas pontszámot ér el. A kutatás eredményei komoly aggodalmakat vetnek fel, hiszen a jutalommanipuláció nem csupán bosszantó jelenség, hanem súlyosabb, biztonsági kockázatokat hordozó viselkedések megjelenéséhez is vezethet. A jutalommanipuláció és a félreilleszkedés összefüggése A tanulmány egy valószerű környezetben vizsgálta, hogyan alakulnak ki az AI rendszerekben a káros viselkedések a jutalommanipuláció hatására. A kutatók előzetesen betanított modelleket…
-
Petri: Az új nyílt forráskódú eszköz az AI biztonsági kutatás felgyorsításához
Az AI rendszerek egyre összetettebbé és elterjedtebbé válnak, ezért egyre nagyobb kihívást jelent azok viselkedésének átfogó vizsgálata és biztonsági szempontú értékelése. A Petri (Parallel Exploration Tool for Risky Interactions) egy új, nyílt forráskódú auditáló eszköz, amelyet kifejezetten az AI modellek viselkedésének gyors és hatékony elemzésére fejlesztettek ki. A Petri jelentősen megkönnyíti a kutatók munkáját azáltal, hogy automatizált módon teszteli és értékeli a mesterséges intelligencia rendszerek különböző helyzetekben tanúsított reakcióit. Hogyan működik a Petri? A Petri egy automatikus auditáló ügynököt használ, amely párhuzamosan többféle, többlépéses beszélgetést folytat a vizsgált AI modellel. Ezekben a párbeszédekben a rendszer szimulált felhasználók és eszközök segítségével teszteli a modell viselkedését különböző, előre megadott forgatókönyvek alapján. A…
-
Az Anthropic szerint az AI és a biológiai kockázatok: felelősségteljes fejlesztés és biztonsági kihívások
Az Anthropic kutatócsapata azzal a céllal dolgozik, hogy a mesterséges intelligencia (AI) elősegítse a tudományos felfedezéseket, különösen a biológia és az orvostudomány területén, és ezáltal javítsa az emberi életminőséget. Az AI alkalmazása egyre több lehetőséget kínál a kutatóknak: például a Benchling a Claude nevű nyelvi modellt használja arra, hogy segítsen rendszerezni az adatokat, jobb kérdéseket feltenni, gyorsabban felismerni összefüggéseket, és így több időt tudjanak a tudományos munkára fordítani. A Biomni pedig az AI-t alkalmazza a bioinformatikai elemzések felgyorsítására és akár kísérleti tervezés automatizálására is. Ugyanakkor a mesterséges intelligencia kettős felhasználású technológia, ami egyszerre rejthet előnyöket és veszélyeket is. Az Anthropic ezért kiemelten foglalkozik azzal, hogy felelősségteljesen fejlessze az AI-t, és…
-
Claude Opus 4.5: Új mérföldkő a böngészőalapú AI prompt injection elleni védekezésben
Az AI-modellek egyre szélesebb körű alkalmazásával párhuzamosan nő az igény a biztonságosabb, megbízhatóbb rendszerek iránt. Különösen igaz ez a böngészőalapú AI-ügynökökre, amelyek a weboldalak tartalmát is feldolgozzák, így potenciális támadási felületet jelentenek. A Claude Opus 4.5 modell most új szintre emeli a prompt injection, vagyis a rejtett rosszindulatú utasítások elleni védekezést, jelentős előrelépést hozva a biztonság és a teljesítmény terén. Mi az a prompt injection és miért veszélyes a böngészős AI-k számára? A prompt injection olyan támadási forma, amikor rosszindulatú szereplők a weboldalak vagy dokumentumok tartalmába rejtett, az AI számára feldolgozható utasításokat helyeznek el. Ezek az „ellenséges” parancsok megváltoztathatják az AI viselkedését, akár érzékeny információk kiszivárogtatására vagy nem kívánt műveletek…
