De nuevo sobre el sistema CURIA: ¿Es compatible con el nuevo Reglamento de IA?

Escriben: Renzo Cavani y Maurizio Cavani

Recientemente hemos publicado un artículo en LP Derecho en que, a partir de dos informes situacionales oficiales, mostramos algunas características de CURIA, sistema de inteligencia artificial que viene siendo empleado en la Quinta Sala de Derecho Constitucional y Social Transitoria de la Corte Suprema de la República.

Expusimos, también, que había muchas más preguntas que respuestas y que aquellas debían ser esclarecidas para comprender el funcionamiento del sistema y, por tanto, concluir si es una herramienta fiable.

No obstante, surge un nuevo aspecto a analizar. El 9 de septiembre de 2025, después de mucha espera, fue promulgado el Decreto Supremo N° 115-2025-PCM: se trata del Reglamento de la Ley N° 31814, Ley de Inteligencia Artificial. Esta ley, dada en 2023, fue un avance importante en la regulación de la IA en nuestro país, conjuntamente con otros documentos que vienen construyendo una política pública nacional sobre la IA. Destacan, entre ellos, la Política Nacional de Transformación Digital y la Estrategia Nacional de Inteligencia Artificial 2026-2030.

El Reglamento, sin embargo, constituye la normativa más importante promulgada hasta ahora. No sólo porque concretiza los principios y directrices genéricas de la Ley de 2023, sino también porque establece obligaciones sobre transparencia, obligaciones específicas para entidades públicas y privadas, consagra normas de competencia, normas prohibitivas sobre uso de IA, entre otras.

El Reglamento, por ser de carácter nacional, se constituye como el parámetro principal bajo el cual deben adecuarse todos los sistemas de IA puestos a disposición del público, tanto presentes como futuros (con excepción de los usados para fines personales). El Poder Judicial y CURIA no son la excepción a ello.

Así pues, ¿qué nos dice la nueva normativa respecto de aspectos que son cruciales para CURIA? O, en otras palabras: ¿Qué desafíos tendría que superar CURIA respecto del Reglamento?

Clasificación de riesgo

Los informes de CURIA presentan este sistema como un “modelo conceptual”. Sin embargo, esto ya no es suficiente: el art. 24 del Reglamento (Art. 24) obliga a una clasificación formal. En efecto, CURIA califica inequívocamente como un sistema de “uso de riesgo alto”. Según el art. 24.1.j se define así a “Todo uso que supone un riesgo para… los derechos fundamentales, la libertad y dignidad de las personas”.

En efecto, al ser CURIA un asistente para la redacción de sentencias y para la construcción del razonamiento de la decisión (aun cuando no ofrezca rigurosamente razones para decidir y con prescindencia de cómo estén representados computacionalmente los precedentes), su impacto en los derechos fundamentales es directo e innegable. Que sea de alto riesgo no hace que su implementación esté condicionada a una aprobación previa, pero sí que genera diversas obligaciones que deben ser cumplidas para que sea usado válidamente.

La evaluación de impacto

Hasta donde llega nuestro conocimiento, CURIA se habría desarrollado y probado sin una evaluación formal previa de sus riesgos éticos; en gran medida porque no estaban adecuadamente fijados antes del Reglamento. Asimismo, los informes situacionales son reactivos (describe lo que se hizo), y no proactivos (esto es, no analizan lo que podría salir mal).

No obstante, el art. 30 del Reglamento exige que, previo al desarrollo o implementación de un sistema de “riesgo alto”, la entidad pública realice una “evaluación de impacto”. Esta evaluación debe “identificar y minimizar los riesgos potenciales, garantizando que el sistema evite la afectación a los derechos fundamentales”. Si bien CURIA ya se está empleando, si se quiere seguir usando no puede escapar a esta evaluación. Más que ello, se debiera publicitar dicha evaluación a fin que se justifique la decisión de seguir empleando el sistema tal como está o si se debería realizar algunas correcciones (o, inclusive, suspenderlo).

En lo particular, preocupa bastante la posibilidad de que haya sesgos algorítmicos dado que, tal como se indica en los informes, la prueba de concepto (PoC) fue entrenada con solo 1136 antecedentes judiciales en un tema muy específico (la revisión de legalidad de ejecución coactiva). Esto representa un riesgo ético severo de sesgo algorítmico (bias) y sobreajuste (overfitting), donde la IA podría replicar o amplificar patrones discriminatorios presentes en esa pequeña muestra de datos. Si por alguna razón esto se ha presentado en CURIA, se podría inclusive interponer acciones de amparo para anular las sentencias en que haya intervenido este sistema.

Asimismo, también está el tema de la explicabilidad: los informes no mencionan ningún mecanismo de explicabilidad (XAI). Los magistrados reciben “sugerencias” de un modelo de IA generativa, que son inherentemente “cajas negras”; pero no se detalla por qué la IA recomienda un precedente sobre otro. Estos dos puntos deben ser expresamente considerados en la evaluación de impacto que vaya a realizarse.

Gobernanza y supervisión humana

El desarrollo de CURIA fue ad hoc; esto es, fue liderado por la propia Quinta Sala para que sea ella la principal usuaria. El primer informe, no obstante, menciona que el Consejo Ejecutivo del Poder Judicial recién en 2025 evaluaría “la viabilidad de crear un órgano rector en materia de inteligencia artificial”. No obstante, según el art. 28 del Reglamento esto ya no es posibe. Es la Secretaría de Gobernanza y Transformación Digital (SGTD), de la Presidencia de Consejo de Ministros, el ente rector nacional.

Por ello, el Poder Judicial (a través de alguna resolución administrativa de su Consejo Ejecutivo) está obligado a:

1. Aprobar una “Política institucional del uso seguro, responsable y ético” (art. 28.1)
2. Garantizar “supervisión humana” (art. 28.11) con personal capacitado que tenga la “capacidad de detener, corregir o invalidar las decisiones del sistema de IA”.

Es a partir de estas directrices, que bien podrían ser puestas previamente en consulta de la SGTD, que CURIA tiene que adecuarse y sólo así seguir funcionando.

¿Qué estándares técnicos implementar?

Este punto es particularmente importante. En primer lugar, sobre el estándar de gestión, los informes situacionales de CURIA no mencionan ningún marco de gestión de calidad o riesgo para el desarrollo de la IA. No obstante, el Reglamento exige que las entidades públicas deban usar la NTP-ISO/IEC 42001:2025 sobre Sistemas de Gestión de IA24. Esta es una adaptación técnica y de gobernanza mayor, ya aprobada por el Instituto Nacional de Calidad (INACAL) del Ministerio de Producción, en julio de 2025. Ahora este es vinculante para el Poder Judicial.

Sobre la privacidad, los informes de CURIA mencionan la “anonimización” como un requerimiento, pero no se confirma su implementación en el dataset de entrenamiento. En cambio, el Reglamento se exige muy claramente el “respeto de manera irrestricta” a la privacidad: el art. 26.1 obliga a cumplir con la normativa de protección de datos personales, mientras que el art. 29.b exige la “privacidad desde el diseño”. Si CURIA no ha cumplido con ello, es posible que tenga que ser modificada la propia dataset.

En cuanto a la fiabilidad, los informes celebran la rapidez de CURIA (análisis de 270 folios en 4 minutos y medio) pero no ofrece métricas de fiabilidad (precisión, exhaustividad, F1-Score) del modelo. Para el Reglamento los sistemas deben ser “fiables y seguros”, siendo que la evaluación de impacto (art. 30) y las auditorías (art. 29) requieren documentar estas métricas de rendimiento. Y agregamos: deben ser públicas.

Y luego entramos a un tema muy sensible: la publicación de código fuente. Los informes no lo mencionan, pero se presume que el código tiene secretos industriales o, al menos, no podrían hacerse públicos. Empero, el art. 28.8) del Reglamento impone que las entidades deben “publicar el código fuente de los sistemas basados en IA, financiados con fondos públicos” en la Plataforma Nacional de Software Público. Esto no es algo opcional; es mandatorio.

Así, por más que haya un desarrollo por algún privado subcontratados, si se involucra el erario público es necesario que se conozca el código fuente y saber realmente cómo está construido el sistema CURIA desde una perspectiva algorítmica (sobre este punto específico volveremos en un próximo artículo).

Colofón

Todo lo que hemos indicado es apremiante, pues de acuerdo a la Primera Disposición Complementaria Final del Reglamento de IA, el Poder Judicial tiene un plazo no mayor de un (1) año (contado desde su publicación) para implementar todas las obligaciones de el art. 25 (transparencia algorítmica) y las normas del capítulo I del título VI (esto es, las obligaciones de la Administración Pública). Ello incluye la decisiva evaluación de impacto, el estándar ISO y auditorías de sesgo.

Así pues, quizá haya llegado el momento de desacelerar y revisar si CURIA realmente se encuentra en condiciones de cumplir todo lo que es exigido ahora por el Reglamento nacional. Lo que sí es cierto es que, ahora mismo, no es una buena idea apuntar a una escalabilidad del sistema y buscar llevarlo a otras cortes o salas; no, al menos, hasta que se demuestre que las obligaciones impuestas por el Reglamento se encuentren debidamente cumplidas.

Sobre los autores: