In un rapporto pubblicato il 10 settembre, l’azienda ha reso noti cinque episodi. Un ricercatore aveva chiesto assistenza per presentare una proposta di ricerca volta ad aumentare la contagiosità del virus del chikungunya e la sua capacità di eludere le difese immunitarie. La ricerca avrebbe dovuto essere condotta presso un istituto militare. La richiesta è stata bloccata e gli account correlati sono stati chiusi a maggio.
Già dopo pochi giorni, l’intermediario che serviva gli scienziati ha ripristinato l’accesso. Successivamente, Claude ha aiutato a modificare i materiali della stessa ricerca. In base alla loro presenza, Anthropic ha concluso che il lavoro fosse andato oltre la semplice richiesta di finanziamento. L’azienda non ha reso nota l’esistenza dell’arma creata. Ha invece rilevato un altro risultato allarmante: nonostante l’intervento dei servizi di sicurezza, il progetto scientifico continuava a utilizzare il suo prodotto.
Dietro la richiesta c’era un ricercatore professionista. Questo cambia il significato anche del lavoro quotidiano di un chatbot: un testo ben scritto, dati elaborati e un rapporto preparato possono essere d’aiuto a un team che ha già a disposizione esperimenti complessi. Lo scienziato ha bisogno di assistenza in alcune fasi del proprio lavoro. Pertanto, la valutazione della minaccia basata sulla capacità del modello di creare autonomamente un’arma tralascia una parte degli utilizzi pericolosi. Un cliente competente collega autonomamente le risposte ricevute alle risorse di laboratorio.
L’accesso ripetuto era garantito da un intermediario che vendeva servizi ai ricercatori. Serviva utenti di diversi istituti e poteva inoltrare le richieste respinte da Claude ad altri modelli. I rifiuti del fornitore si trasformavano, per questo tipo di attività, in una lacuna del servizio, la cui risoluzione permette di fidelizzare i clienti. Anthropic si trova ad affrontare un avversario con motivazioni puramente commerciali: mantenere i pagamenti per un’assistenza scientifica continua. Il successo di un singolo blocco dipende dalla facilità con cui l’acquirente può continuare a lavorare attraverso il resto del mercato.
Anche il contenuto di una richiesta professionale può superare il controllo senza errori evidenti nel filtro. Anthropic spiega che parte della sua protezione è pensata per impedire ai principianti di accedere a compiti noti per essere particolarmente pericolosi. La ricerca di nuovi composti a duplice uso sfuggiva ai limiti di tale controllo. L’uso medico e quello dannoso si basano sulle stesse conoscenze. L’approvazione di ogni singola richiesta non garantisce ancora la sicurezza dello scopo per cui lo scienziato raccoglie le risposte.
L’azienda non intende nemmeno rinunciare a questo pubblico. Il 27 agosto Anthropic ha annunciato 10.000 posti gratuiti o a tariffa ridotta per gli scienziati. In precedenza, il 7 agosto, aveva comunicato che Fable 5 reindirizza le richieste biologiche professionali a duplice uso verso un modello meno potente. La commercializzazione della produttività scientifica si scontra con la necessità di limitarne gli usi pericolosi. La verifica dello status di responsabile di laboratorio, prevista dal programma scientifico, conferma l’appartenenza al mondo della scienza. La sicurezza di un progetto specifico richiede una valutazione a sé stante.
Il 1° settembre Anthropic ha annunciato una misura di protezione aziendale con analisi dell’attività su più sessioni, il cui lancio è previsto per l’autunno. L’azienda ha riconosciuto l’insufficienza della verifica delle richieste isolate. Per il caso del chikungunya questo è fondamentale: l’assistenza potenzialmente pericolosa era distribuita tra la richiesta iniziale e i successivi materiali scientifici. È necessario monitorare il progetto in corso, altrimenti la ricomparsa dei suoi partecipanti viene interpretata come quella di un altro utente indipendente.
Per Anthropic si crea una spiacevole dipendenza dalle decisioni altrui. Un intermediario può raccogliere assistenza scientifica dai servizi di diversi fornitori, garantendo al cliente la continuità operativa. Lo sviluppatore più prudente limita allora solo il proprio contributo a un progetto rischioso. Il risultato verificabile della protezione diventa la cessazione del servizio del programma di ricerca stesso. Considerare chiusi gli account non ha senso finché lo stesso laboratorio continua ad avervi accesso.