Hace apenas dos semanas de que el Tribunal Supremo ordenó abrir el código de BOSCO, el algoritmo que decide quién merece el bono social eléctrico. Un detalle menor: se trata del primer fallo en España que obliga a enseñar las tripas de un sistema automatizado que afecta a derechos.
Hace tres días nos presentan a Kendoc, la inteligencia artificial que ayudará a los jueces a realizar sus sentencias y les aportará otras sentencias para justificar sus resoluciones.
De repente, una pregunta incómoda se cuela en la sala: si el Ejecutivo tiene que abrir BOSCO, ¿por qué el Consejo General del Poder Judicial no explica a la ciudadanía con la misma luz de quirófano cómo decide qué resoluciones judiciales, y con qué motivaciones verán los jueces, e incluso los ciudadanos, en el buscador Kendoc y en qué orden las sirve?
Aquí hay dos filtros, y ninguno es inocente. Primero, la selección institucional de qué se publica: el CENDOJ difunde íntegramente Supremo, Audiencia Nacional, Tribunales Superiores y Audiencias Provinciales, y añade “una selección creciente” de resoluciones de órganos unipersonales cuando su “interés doctrinal” lo justifica. Es decir: antes de que un algoritmo pondere nada, alguien decide qué entra en el escaparate y qué se queda en el almacén.
Luego está el algoritmo de la casa: Kendoj que clasifica, anota, asigna voces de un tesauro con más de 22.000 términos y calcula “scores” de relevancia. Doble filtro, doble posibilidad de sesgo de visibilidad. Si el ciudadano notaba que ciertas materias se encuentran a la primera y otras se diluyen en la página tres, no era sugestión. Era diseño. O, como mínimo, falta de explicaciones.
Llegados aquí, lo obvio: ¿quién ha construido Kendoj, con qué componentes y sobre qué modelo de IA corre? ¿Hay software propietario de terceras empresas, filiales de multinacionales con matriz en un tercer país? ¿Se ejecuta todo en infraestructura pública controlada o hay servicios externos discretamente integrados, que nos llevan a que un tercer país pueda accionar sobre ella? ¿En qué ha intervenido el ejecutivo? ¿Han intervenido las Big Four, y por tanto multinacionales y bancos? ¿Dónde están los datos, quién los tiene y por qué canales corren?.
El ciudadano esperaría que, tras la sentencia BOSCO, estas respuestas estuvieran en la puerta, con timbre y felpudo. La realidad es menos literaria: tras revisar el perfil de contratante y la plataforma de contratación, no aparece documentación pública reciente que identifique adjudicatarios, subcontratas ni familias de modelos lingüísticos para Kendoj. Puede que mucho sea desarrollo interno. Puede que no. Y puede que la ciudadanía no tenga que jugar a la ouija para averiguarlo.
La comparación con BOSCO no es capricho: allí el Supremo dijo, en sustancia, que cuando un algoritmo público condiciona derechos y recursos, la transparencia no es un favor, es obligación. El Gobierno alegó propiedad intelectual, seguridad, datos personales… y el Tribunal respondió que el código es información pública y que, precisamente, abrirlo permite detectar errores y sesgos.
Aplíquese la lógica al espejo judicial: si Kendoj condiciona qué resoluciones “existen” a efectos prácticos en la conversación pública y la práctica forense (qué aparece primero, qué etiquetas arrastra, qué vínculos resalta), entonces no basta con confiar. Hay que comprobar. Con publicidad. Con papeles. Con métricas. Con logs. Y, sí, con código cuando proceda.
Sobre los datos personales, otro clásico: “tranquilos, seudonizamos”. Magnífico. Pero seudonimizar no es anonimizar, sobre todo cuando se habla de grandes corpus enlazables. ¿De verdad se quiere debatir libertad de información y protección de datos sobre la base de un “créame, funciona” sin evaluación de impacto publicada, sin reglas de enmascaramiento visibles y sin pruebas de ataque independientes? La confianza es una virtud; la verificación, un deber.
Si el criterio de “interés doctrinal” que abre o cierra la puerta a miles de resoluciones no está definido con rigor público, y si encima la priorización algorítmica es una caja opaca, entonces no se está ante un mero problema técnico: es un problema de rendición de cuentas. Con la misma naturalidad con que hoy se exige al Ejecutivo el código de BOSCO, se debería exigir al Judicial tres cosas muy elementales: uno, los criterios de selección, umbrales y coberturas, por órgano y materia, con series temporales; dos, la ficha de gobernanza de Kendoj (finalidad, datasets de entrenamiento y validación, métricas de precisión y sesgo, gestión del drift, explicación del score y registro de cambios); tres, los contratos y componentes: quién, qué, dónde y bajo qué ley. Nada revolucionario: sólo lo mínimo para tratar a la ciudadanía como adultos.
Y, ya puestos, una cuarta: una API de “por qué veo esto” junto al buscador, que explique con decencia qué voces y pesos han empujado esa resolución a su pantalla. Si Netflix puede contarnos por qué nos recomienda una comedia romántica que detestamos, el Poder Judicial debería poder explicar por qué nos recomienda una sentencia que define una línea jurisprudencial.
La Justicia no puede ser un oráculo informático. Y la publicación oficial de la jurisprudencia, menos aún. Si la vitrina decide el relato, la vitrina debe ser transparente. Es obligatorio abrir la selección, explicar el algoritmo. Y, por favor, dejar de pedir fe donde corresponde presentar pruebas.