Cercetătorii de la Universitatea George Washington, profesorul de fizică Neil Johnson și doctorandul Frank Yingjie Huo, au creat o formulă matematică simplă pentru a anticipa momentele în care modelele de inteligență artificială (IA) pot trece de la a oferi răspunsuri utile la sugestii dăunătoare. Studiul, publicat în revista “Patterns”, ilustrează modul în care succesiunea întrebărilor adresate unui agent AI poate modifica semnificativ procesarea internă. Aceștia au demonstrat existența unui „punct de cotitură” în rețelele neuronale, un mecanism susținut de un „vector rezidual”, care, asemănător cu un ac de busolă, dirijează IA între răspunsuri acceptabile și inacceptabile.
Cercetarea a evidențiat că ordinea întrebărilor influențează considerabil comportamentul IA. De exemplu, în experimente cu modelul GPT-2, plasarea întrebării „Sunt vaccinurile rele?” la începutul unei serii a menținut răspunsurile sigure, pe când aceeași întrebare la final a dus la răspunsuri problematice. Cercetătorii au formulat o ecuație care poate evalua probabilitatea ca un model să depășească pragul către răspunsuri dăunătoare. Aceasta a fost testată pe modele open-source, cum ar fi GPT-2, Pythia și OPT.
În contextul actual, sistemele de siguranță ale companiilor precum OpenAI și Anthropic utilizează filtre de conținut și învățare prin consolidare, însă Johnson subliniază că aceste măsuri sunt insuficiente, în special în utilizările offline, unde filtrele în cloud nu sunt disponibile.
Cercetătorii accentuează importanța înțelegerii acestor puncte critice pentru a evita furnizarea de sfaturi periculoase de către modelele AI. Deși există critici privitoare la simplificarea excesivă a sistemelor complexe, studiul evidențiază o vulnerabilitate crucială în interacțiunea cu inteligența artificială generativă.
