La empresa de inteligencia artificial Anthropic confirmó el bloqueo de usuarios que intentaron utilizar su modelo Claude para desarrollar armas biológicas. El hallazgo fue revelado en su informe de seguridad cibernética, donde la firma detalló cómo sus filtros neutralizaron operaciones de alto riesgo en laboratorios.
Entre los casos graves detectados este año, destaca un científico que buscaba ayuda de la IA para redactar una subvención sobre el virus chikungunya: La propuesta buscaba diseñar mutaciones para hacer más dañino el patógeno en experimentos animales dentro de un instituto militar, activando las alertas del sistema.
El caso alertó a organismos como el Instituto de Seguridad de IA de EE. UU. y la Oficina de IA de la Unión Europea. Sobre este desafío, el jefe de inteligencia de amenazas de Anthropic, Jacob Klein, señaló a The New York Times que:
"No estás viendo a alguien de una manera de cómic decir 'Oye, quiero construir un arma biológica'", añadiendo que "es una situación increíblemente matizada".
Asimismo, la compañía identificó a un investigador fuera de Estados Unidos que intentaba planificar experimentos sobre la adaptación en mamíferos de la gripe aviar. Debido a las salvaguardas activadas, el trabajo quedó confinado a modelos menos potentes de Claude, limitando de forma drástica la asistencia brindada.
El reporte también documentó ciberataques estatales y creación de software para armamento convencional. Sobre estos peligros, la firma sostuvo en su informe oficial que:
"A medida que los modelos se vuelven cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y los defensores de la sociedad actúen para hacerlos más seguros".
Tras desarticular estas operaciones, la firma procedió a la cancelación inmediata de las cuentas implicadas y compartió los antecedentes con las autoridades competentes. A su vez, la empresa reforzó sus clasificadores de seguridad para prevenir futuros intentos de evasión y proteger sus modelos ante amenazas globales.
Ver Video
