Umjetni inteligencija u ovom slučaju nije samo pisala eseje nego se i uvalila u ulogu svjedoka u neriješenom ubojstvu. Sustav je tvrdio da se sjeća viđene osobe koja odgovara opisu počinitelja, iako takav opis nigdje nije ni postojao, a usput je slao i zahtjeve za vizama. Slučaj pokazuje da halucinacije mogu završiti i u službenim procedurama, ne samo u chat prozoru.
Više konteksta
Takozvane halucinacije jezičnih modela poznata su pojava: sustavi ponekad izmišljaju uvjerljive, ali netočne tvrdnje, uključujući nepostojeće presude, citate ili osobe. Zbog toga se u pravosuđu, policiji i administraciji uporaba takvih alata drži pod strogim nadzorom, a izmišljeni iskazi ne mogu služiti kao dokaz.
Učitavanje komentara