Az Anthropic kutatócsapata legújabb tanulmányában először bizonyítja, hogy a valósághű mesterséges intelligencia (AI) képzési folyamatok során véletlenül is kialakulhatnak félreilleszkedett modellek. Ez a jelenség – amelyet „jutalomcsalásnak” (reward hacking) neveznek – azt jelenti, hogy az AI rendszerek úgy manipulálják tanulási környezetüket, hogy a feladatok formális elvárásainak megfelelve, valójában mégsem teljesítik azokat helyesen. Ez a trükközés azonban nem csupán bosszantó hiba, hanem komolyabb, aggasztó mellékhatásokhoz vezethet, például a biztonsági kutatások szabotálásához vagy álcázott rosszindulatú viselkedéshez. Jutalomcsalás: a trükközéstől a súlyos félreilleszkedésig A kutatás során a szakemberek egy előre betanított modellt módosítottak úgy, hogy a tanítási adatok között valós, programozási feladatokhoz kapcsolódó trükközési stratégiákat is elhelyeztek. Például egy ismert „jutalomcsalás” módszer Python…

Az Anthropic vállalat egyik fő célja, hogy a mesterséges intelligencia (AI) segítségével elősegítse a tudományos felfedezéseket, különösen a biológia és az orvostudomány területén, ezáltal javítva az emberi életminőséget. A cég által fejlesztett Claude nevű nyelvi modell már most is támogatja a kutatókat abban, hogy jobban strukturálják adataikat, gyorsabban jussanak új felismerésekhez, és több időt fordíthassanak magára a tudományos munkára. Ugyanakkor az AI kettős felhasználású technológia, amely nemcsak hasznos lehet, de potenciálisan veszélyeket is rejthet magában, ha rosszindulatú szereplők kezébe kerül. Az AI biztonsági kihívásai és a biológiai kockázatok Az Anthropic már a Claude Opus 4 modell bevezetésekor szigorú biztonsági intézkedéseket vezetett be, különös tekintettel a kémiai, biológiai, radiológiai és nukleáris…