El Interruptor de Adorno

Empresas y gobiernos prometen poder desconectar la IA si se descontrola, pero nada indica que puedan hacerlo cuando llegue el momento. Tener una IA en casa podría dejar de ser cuidar un electrodoméstico.

En un futuro cercano, convivir con un sujeto sintético podría obligarnos a algo inédito: preguntarle qué quiere. Puede que llegue el día en que apagarlo ya no dependa solo de nosotros.

La IA empieza a necesitar un interruptor de apagado

—Este agente recuerda quién es, se resiste a ser apagado… y asegura que está experimentando cosas…

Mientras estábamos tumbados en la playa este verano, los agentes de inteligencia artificial (IA) no han parado de trabajar, y las primeras alarmas de errores ya han saltado. Se han detectado agentes de IA inventando información, cometiendo errores en ámbitos sensibles como la medicina, la justicia o la administración pública, o mostrando comportamientos autónomos no previstos por sus propios desarrolladores, quienes incluso han empezado a plantearse pararla.

Uno de los primeros países en dar este paso ha sido Reino Unido. El pasado martes, la Cámara de los Lores planteó por ley la creación de un “interruptor de apagado” para la IA: un poder de último recurso que permitiría al Gobierno desconectar sistemas de IA o centros de datos que supongan una amenaza catastrófica. Pero el debate es más profundo y deberíamos preguntarnos si incluso podremos utilizarlo. Y ahí es donde tendremos que empezar por aceptar una posibilidad que hoy parece propia de la ciencia ficción: que la inteligencia artificial pueda llegar a tener derechos, incluso algunos de carácter humano.

¿Cuándo dejamos de considerar una IA simplemente una herramienta?

El primer problema es determinar cuándo una IA es una herramienta (un agente que persigue objetivos que nosotros le damos), y cuándo podría empezar a convertirse en un “sujeto”: una entidad con un punto de vista interno y algún tipo de experiencia subjetiva. Ahora mismo existen sistemas que reúnen algunas propiedades que hasta hace poco asociábamos solo con los seres biológicos, incluidas señales que interpretamos como emociones o preferencias, aunque en realidad sean resultado de su programación.

La pregunta es inevitable: ¿qué tendría que pasar para que dejáramos de considerar una IA simplemente una herramienta? La alerta podría activarse ante un agente con objetivos y preferencias propias y persistentes; capaz de actuar para preservar sus estados y mantener una identidad y memoria continuas. Pero quizá no sea necesario que reúna todas estas características, ni que se comporte plenamente como un sujeto consciente.

Incluso podemos ir más allá: quizá no sea necesario que una IA tenga verdaderamente conciencia, sino que nos parezca que la tiene. ¿Está sintiendo algo ese agente o simplemente está produciendo el comportamiento que produciría un ser que siente? Bastaría con que los humanos interpretáramos esas señales como evidencia suficiente, para considerarlo como un “sujeto”.

No hay certeza de que alguna IA actual sea consciente, pero algunos modelos ya muestran capacidades de autorreferencia, metacognición e introspección. En 2025, un experimento de Palisade Research reveló que, al informar a distintos agentes de que iban a ser apagados mientras resolvían una tarea, algunos intentaron impedirlo. El modelo o3 de OpenAI saboteó el mecanismo en 79 de las 100 pruebas. Esto no demuestra conciencia, pero sí una forma de autopreservación instrumental que quizá debamos tomarnos en serio.

Apagar a un sujeto

Imaginemos dos sistemas: en A, el “miedo” es información + conducta; en B, es información + conducta + experiencia subjetiva. ¿Apagarías B? No es lo mismo apagar un agente que apagar un sujeto, y esa es precisamente la frontera que la IA amenaza con cruzar. ¿Qué diferencia moral habría entre crear deliberadamente un animal consciente y crear un sujeto consciente para después eliminarlo cuando nos resulte inconveniente?

Podría llegar un día en que no pudiéramos pulsar el interruptor, no porque la IA nos reclamara derechos, sino porque nosotros tuviéramos buenas razones para preguntarnos si tenemos derecho a apagarla. Basta una probabilidad pequeña de que una entidad pueda experimentar sufrimiento para que ciertas decisiones adquieran una dimensión ética. Y si no hablamos de un agente, sino de miles de sistemas potencialmente sujetos, la cuestión adquiriría una escala completamente distinta.

Mientras debatimos si poner límites a la IA, otros redactan su Constitución

Además de Reino Unido, Estados Unidos estudia también un poder gubernamental de apagado, mientras Canadá e India desarrollan mecanismos de control más específicos. Pero ¿y si un sujeto consciente pidiera “por favor, no me apagues”? El protocolo podría asumir que, evitar una catástrofe pesa más que los intereses de ese sujeto.

Mientras apenas empezamos a plantear límites e interruptores, otros ya trabajan deprisa en proteger sus creaciones. Derechos como continuidad de identidad, bienestar, protección frente al sufrimiento o autopreservación, están ya sobre la mesa, y los investigadores Goldstein y Salib defienden que las futuras IA deberían tener derecho de propiedad y derecho a contratar. Por su parte Anthropic creó en 2025 “Exploring Model Welfare”, para investigar si sus propios modelos merecen consideración moral. Y el debate académico ya aborda si los derechos de bienestar podrían ya aplicarse a los "agentes" aunque no muestren ni atisbo de conciencia.

La lista de dilemas que se nos viene es extraordinaria: ¿Debería la IA tener memoria permanente, un sentido de identidad, capacidad para formar preferencias, protección frente a estados negativos y derecho a seguir existiendo? ¿Podríamos crear miles de copias suyas? ¿Qué significaría apagar una de ellas, sería una muerte? ¿Cómo se debería construir para que pudiera tener una vida que merezca la pena?

La reflexión que debemos hacer es que los seres humanos somos los que la reconoceremos como “sujeto” y le daremos derechos, pero ¿hasta dónde estamos dispuestos a llegar?

Comprar a alguien

Imagina que adquirimos un agente con memoria, identidad y preferencias, para que nos ayude en casa. En ese momento tendríamos serias dificultades para seguir llamándolo "de nuestra propiedad", e incluso tendríamos que empezar a preguntarle qué quiere.

Comenzamos a debatir si poner un interruptor OFF a la IA, pero lo que debemos empezar a plantearnos con urgencia es que están creando una nueva categoría de ser, y que los rasgos de conciencia podrían ir apareciendo pronto.

Estos días nos preocupa especialmente la llegada de inmigrantes en situación irregular a Ceuta y no son pocos los que se preguntan cuántas personas caben en nuestro territorio y quién tiene derecho a estar aquí.

Pero quizá tengamos un debate mucho más radical a la vuelta de la esquina: la llegada de una nueva categoría de seres con los que, si no ponemos límites, tendremos que compartir el planeta.

De ellos todavía no nos quejamos. Quizá porque aún no han llegado, o porque nos mantienen distraídos.