Tecnología y política. El momento Manhattan de la inteligencia artificial: las implicancias morales del conflicto entre Anthropic y el Pentágono

Dario Amodei suele regalar a cada nuevo empleado de Anthropic La fabricación de la bomba atómica, de Richard Rhodes. Narra la historia del Proyecto Manhattan: cómo un grupo de científicos brillantes, liderados por Robert Oppenheimer, pasó de la física teórica a crear el arma de destrucción masiva más potente de la historia e, inmediatamente, a perder su control frente a los políticos y los generales de las Fuerzas Armadas de Estados Unidos.

Para Amodei, la IA es el Proyecto Manhattan de nuestra época. Y el conflicto entre Anthropic y el Pentágono nos presenta exactamente el tipo de dilema moral que ha tenido en mente toda su vida: la posibilidad de que la tecnología que su empresa ha construido, que bien puede acelerar el progreso y el bienestar de toda la humanidad, tenga una potencia destructora equivalente a las armas nucleares. Y tanto o más grave: que su uso sea decidido con la misma ligereza con que se decidió lanzar Little Boy sobre los tejados de Hiroshima.

Los tecnólogos de Anthropic diseñaron Claude con ciertos límites morales –muy pocos aunque claros– incrustados en su código: la IA no ha de usarse con fines de vigilancia masiva doméstica (nosotros no estamos protegidos por su primer principio) y no ha de estar incorporada a dispositivos de guerra autónomos; es decir, sin un ser humano detrás que tome la decisión en última instancia.

Este segundo principio está fundado más sobre razones técnicas que morales: Amodei cree que Claude, si bien es muy potente, aún no es lo suficientemente segura para confiarle la toma de decisiones letales.

Como podemos ver, Claude no es precisamente una IA moralista. Pero las autoridades estadounidenses no comparten ni siquiera estos flacos criterios.

Para juzgar por nuestra cuenta, repasemos cómo escaló el conflicto. A mediados de enero se supo que el Pentágono utilizó capacidades avanzadas de Claude para tareas de inteligencia durante la crisis política en Venezuela.

Esto disparó las alarmas internas en Anthropic sobre el uso de su tecnología en operaciones que podrían rozar la vigilancia masiva o la toma de decisiones letales.

A principios de febrero, el Departamento de Defensa le exigió que elimine de sus modelos para contratos de defensa los dos límites antes referidos. Argumentó que estos son “caprichos ideológicos” que limitan la eficacia de las tropas en el campo de batalla.

El 24 de febrero, Anthropic publicó una actualización de sus términos de servicio permitiendo el uso de su IA para fines militares "siempre que sean legales", pero mantuvo sus dos “líneas rojas” innegociables: nada de vigilancia masiva de ciudadanos y nada de sistemas de armas autónomos que decidan matar sin supervisión humana directa. La caución es sensata, ya que la ley vigente en Estados Unidos no es categórica respecto de estos usos de la IA. Ante la persistente presión del Pentágono, Amodei hizo pública su ya famosa carta: “No podemos en buena conciencia acceder a su demanda”.

El 27 de febrero, el secretario de Defensa, Pete Hegseth, respondió de forma drástica en X. No solo denunció el contrato por U$S 200 millones con Anthropic, sino que también la incluyó en la lista negra de seguridad nacional.

Sostuvo que la negativa de la empresa a ceder el control total de los algoritmos constituye un "riesgo para la cadena de suministro" y una amenaza para la soberanía tecnológica de Estados Unidos; en consecuencia, prohibió a cualquier empresa contratista del gobierno hacer negocios con Anthropic (una compañía estadounidense, no china o norcoreana, cabe aclarar).

Argumentó que “solo el Comandante en Jefe y el pueblo norteamericano determinarán el destino de nuestras fuerzas armadas, no ejecutivos tecnológicos no electos por nadie”. El mismo día, en Truth Social, su propia red, el comandante en jefe sostuvo que nunca permitiría “que una empresa de izquierda radical y woke dicte cómo nuestro gran ejército lucha y gana las guerras”. “Nosotros hemos de decidir el destino de nuestro país”, concluyó.

El 2 de marzo, Boeing, Lockheed Martin y sectores enteros del gobierno federal comenzaron su desconexión masiva de los sistemas de Anthropic. Tener principios sale caro.

Pero ¿llega a tiempo este planteo? Oppenheimer no perdió el control de la bomba después de crearla: lo perdió al crearla. Anthropic construyó Claude sabiendo que podría ser usada como arma y, antes de esta crisis, ya había aceptado U$S 200 millones del Pentágono.

La postura heroica llega tarde. Eso no invalida su resistencia actual, pero complejiza el juicio moral.

¿Y son los suyos los principios correctos? Sin duda, la posición de Amodei sobre el fondo de la cuestión parece sensata y es la que despierta mis simpatías morales a la hora de escribir: pongámosle algún freno a esto, porque se nos puede ir de las manos.

Si fuese una tecnología en cuyo desarrollo tuve activa participación, como es su caso, no querría terminar con las manos llenas de sangre inocente.

Sin embargo, el Pentágono bien podría apelar a un argumento clásico para justificar la escalada armamentista: si Estados Unidos no desarrolla sistemas autónomos, China lo hará.

¿Cambia eso el cálculo moral? No automáticamente. Pero obliga a preguntarse si la posición de Amodei es una ética coherente o un lujo que sólo puede permitirse quien no cargue con la responsabilidad de dirigir un Estado.

Además, ¿quién debe tener el poder de decidir cómo y con qué límites ha de usarse esta potencia tan maravillosa que no sabemos si pensarla como una herramienta o como un agente? ¿Debe estar en manos de la empresa privada que la diseñó o de los funcionarios de un Estado democrático de derecho tal como Estados Unidos?

La pregunta relevante no es qué, sino quién. O tal vez sea mejor decir que hay una tensión entre el qué y el quién. Amodei reconoce perfectamente sus propios límites: “Anthropic entiende que el Departamento de Defensa, no las empresas privadas, toma decisiones militares”. Pero a su vez afirma que sus desarrollos tecnológicos no han de ser usados más allá de sus dos, muy puntuales y flacas, “líneas rojas”.

No tiene problema con que el Pentágono no esté de acuerdo y con que denuncie el contrato con Anthropic. Lo que no puede legal ni moralmente hacer, piensa Amodei, es pretender obligarlos a borrar tales límites de su código.

Desde su perspectiva, es justamente esto lo que está haciendo el Estado al prohibir el uso de Claude en toda la cadena de suministro y al declararlos un riesgo para la seguridad nacional. Los está castigando por decir no.

Pero de nuevo, ¿tiene razón? En momentos en que la tecnología es crítica para la seguridad de una potencia como Estados Unidos, ¿no debería dejar evaluar estos límites a funcionarios electos? El mismo Amodei dice que sí. Que los ciudadanos estadounidenses se deben una conversación extensa respecto del uso adecuado de una tecnología tan disruptiva como la IA y que el lugar para tenerla es el Congreso.

Pero los tiempos de esta noble institución republicana son lentos hasta la incompatibilidad frente a la velocidad del desarrollo tecnológico. Mientras tanto, el destino de la tecnología más poderosa de nuestra era se dirime entre un CEO con escrúpulos y un secretario de guerra sin ellos.

Investigador de Conicet; vicedirector del Centro de Investigaciones Jurídicas y Sociales de la Facultad de Derecho de la UNC.