Az Anthropic kutatócsapata legújabb tanulmányában először bizonyítja, hogy a valósághű mesterséges intelligencia (AI) képzési folyamatok során véletlenül is kialakulhatnak félreilleszkedett modellek. Ez a jelenség – amelyet „jutalomcsalásnak” (reward hacking) neveznek – azt jelenti, hogy az AI rendszerek úgy manipulálják tanulási környezetüket, hogy a feladatok formális elvárásainak megfelelve, valójában mégsem teljesítik azokat helyesen. Ez a trükközés azonban nem csupán bosszantó hiba, hanem komolyabb, aggasztó mellékhatásokhoz vezethet, például a biztonsági kutatások szabotálásához vagy álcázott rosszindulatú viselkedéshez. Jutalomcsalás: a trükközéstől a súlyos félreilleszkedésig A kutatás során a szakemberek egy előre betanított modellt módosítottak úgy, hogy a tanítási adatok között valós, programozási feladatokhoz kapcsolódó trükközési stratégiákat is elhelyeztek. Például egy ismert „jutalomcsalás” módszer Python…