Autores: Lorenzo Cotino Hueso (Catedrático de Derecho Constitucional de la Universidad de Valencia, Coordinador de áreas jurídicas de OdiseIA), José Antonio Castillo (Universidad de Granada, OdiseIA), Idoia Salazar (Profesora Periodismo CEU, Presidenta de OdiseIA), Richard Benjamins (Telefónica, Vicepresidente de OdiseIA), María Cumbreras, (Abogada y Economista, OdiseIA), Adaya María Esteban (Cuatrecasas, OdiseIA). Publicado originalmente en Diario La Ley, 2 de julio de 2021, Wolters Kluwer. Acceso completo en https://links.uv.es/2FK3xc4. Con la autorización de los autores y de OdiseIA, centro de estudios con el cual CEEDIA mantiene relaciones de colaboración.

1. Un paso esencial en la incesante actividad de la IA en la UE

OdiseIA (Observatorio del Impacto Social y Ético de la Inteligencia Artificial) es una organización sin ánimo de lucro nacida en 2019 y constituida como asociación en 2020. En 2021 cuenta con casi 200 socios profesionales o investigadores reconocidos. Asimismo, existen más de veinte áreas transversales y sectoriales en OdiseIA. En el presente documento se valora la Propuesta de Reglamento del Parlamento y del Consejo por el que se establecen normas armonizadas sobre la Inteligencia Artificial de 21 de abril de 2021, Artificial Intelligence Act, en adelante PRAI. En este escrito se manifiestan las posiciones de los firmantes del mismo, miembros de la organización, y tales posiciones en muy buena medida implican la posición inicial de OdiseIA sobre esta importante iniciativa legislativa europea[1]. Cabe destacar que desde OdiseIA organizamos el primer y hasta ahora más importante evento sobre la propuesta: la Jornada sobre el nuevo Reglamento de inteligencia artificial UE. El mismo tuvo lugar el 26 abril y lo organizamos con FIAL (Fundación Inteligencia artificial Legal) y la Secretaría de Estado de IA, con una afluencia de 200 personas[2]. Cabe destacar también que OdiseIA participó en el cuestionario de más de 80 preguntas “Comentarios al borrador de Reglamento de IA”, desde la Secretaría de Estado de IA[3]. El estudio y cumplimentación de dicho cuestionario está en la base del presente trabajo. Asimismo el 8 de junio se realizó un Seminario interno a partir de las ponencias de quienes suscriben el presente escrito y las posiciones sostenidas fueron sometidas a la deliberación de los expertos y socios de OdiseIA.

La Propuesta de Reglamento por la que se establecen normas armonizadas sobre la Inteligencia Artificial, Artificial Intelligence Act, en adelante PRAI fue inicialmente filtrada en un texto el 14 de abril, que tiene algunos cambios respecto del texto propuesto[4]. LA PRAI ha venido acompañada desde la Comisión de algunos documentos de todo interés como el Estudio de impacto[5] y el Estudio de apoyo al mismo[6]. Una vez ultimado este comentario se ha tenido conocimiento del interesante Dictamen conjunto 5/2021 del Comité Europeo de Protección de Datos con el Supervisor Europeo de Protección de Datos[7] sobre el PRAI.

La acción desde la UE en materia de inteligencia artificial ha sido muy intensa en los últimos cinco años[8]. Sin perjuicio de los muy diversos precedentes con textos y posiciones de total relevancia, en la antesala de la PRAI destaca, desde la Comisión, el Libro Blanco sobre la inteligencia artificial de febrero de 2020[9]. Al mismo siguió una consulta pública (febrero-junio 2020) [10] con más de 1.200 contribuciones que implicaron 6.667 respuestas de texto libre y 408 documentos presentados analizados por la Comisión. Y desde el Parlamento Europeo en octubre 2020 se dieron dos recomendaciones que incluyeron propuestas de regulación de la IA con texto articulado. La más cercana al PRAI fue la recomendación relativa a IA y ética[11]. Hubo también una recomendación con texto articulado sobre responsabilidad civil e IA[12]. Se trata de un tema que no se aborda en la PRAI. También el Parlamento Europeo emitió una Resolución sobre propiedad intelectual e IA[13], tema que tampoco es objeto de la PRAI.

Desde OdiseIA, queremos manifestar en primer lugar el reconocimiento a la labor desarrollada por la Comisión Europea en relación con la PRAI. Sin duda alguna el enfoque general del texto es acertado y en general sus previsiones. No obstante, a lo largo del presente documento realizaremos diversas consideraciones críticas y propuestas de mejora al mismo. La IA no sólo es una cuestión capital para el futuro de la UE, sino un fenómeno extraordinariamente complejo. La regulación de la IA precisa de la atención experta, profesional, académica y la atención sensible, especialmente desde la sociedad civil. Es de agradecer la proactividad de la Secretaría de Estado de IA en la materia, que parece destinada a jugar un papel relevante en el desarrollo de la PRAI. Asimismo, es positiva su apertura y receptividad de la misma a propuestas y contribuciones. Las mismas pueden tener un peso significativo en el papel del Consejo en los siguientes pasos de la elaboración normativa. Y ello ha de ser extensible a las instituciones de la UE, en especial el Parlamento UE en el proceso que viene por delante y su papel particularmente sensible a los derechos de los ciudadanos y residentes en la UE. Con el presente documento se pretende una modesta contribución a este proceso.

2. Las Disposiciones Generales del Título I: objeto, ámbito y definiciones

El Título primero cuenta con cuatro artículos de gran importancia especialmente por cuanto al ámbito de aplicación (art. 2) y las cuarenta y cuatro definiciones (art. 3). El objeto del RAI es establecer “normas armonizadas para la comercialización, la puesta en servicio y el uso de sistemas de inteligencia artificial” y, en esencia, se regulan prohibiciones y requisitos específicos para los sistemas de IA de alto riesgo y obligaciones para los operadores de dichos sistemas. De igual modo hay algunas reglas específicas para otros sistemas de IA y se regulan las normas de control y vigilancia del mercado. Respecto del objeto podría hacerse mención expresa a los actores a los que se aplican las obligaciones para los SARIA; los esquema de gobernanza y las medidas de apoyo a la innovación, que son objeto también del reglamento.

Ya se ha mencionado que este reglamento no regula cuestiones clave como la responsabilidad o la propiedad intelectual u otras formas de protección de los algoritmos. Puede decirse que se trata de un reglamento pensado para desarrolladores, fabricantes y usuarios de la IA. Los afectados por los sistemas de IA no son mencionados en ninguna ocasión como tampoco posibles mecanismos de garantía o tutela de sus derechos. Ello parece entenderse como que la perspectiva de los derechos de los afectados queda completada con la regulación de protección de datos. Esta perspectiva es cuestionable en esencia por la total ignorancia del RGPD que puede generar diversos problemas. Máxime teniendo en cuenta que muchos sistemas de IA pueden no manejar datos personales propiamente dichos y eludan todo dicho bloque normativo. El RAI debería procurar una mejor armonización y coordinación con la normativa de protección de datos. Igualmente, se echa en falta regulación en materia de acciones y garantías de los sujetos interesados que puedan ver afectados sus derechos o su integridad, más allá de la aplicación cuando proceda de la normativa de protección de datos.

También cabe señalar la llamativa ausencia de menciones a usos de IA en el ámbito sanitario y de investigación biomédica. Simplemente no hay meción alguna y esta ausencia en modo alguno se colma considerando que ese importante sector quedará afectado por la regulación de productos que deben ser sometidos a autorización. Algunos de los usos del ámbito médico bien podrían mencionarse entre los prohibidos o en los usos de alto riesgo según los casos.

En cuanto al elenco de definiciones (art. 3), nos preocupa la definición de “sistema de inteligencia artificial”, que se da en combinación con el Anexo I[14]. Obviamente esta definición es el punto de partida de aplicación de todo el régimen jurídico. Puede considerarse que la IA de hoy es sobre todo lo descrito en el punto A), mientras que lo que se describe en B) es algo más del pasado. El punto c del anexo I abre camino a que muchos sistemas estadísticos que actualmente se encuentran en desarrollo se consideren sistemas IA y, por tanto, se vean afectados por este Reglamento. Es adecuado que el artículo 4 permita la apertura del Anexo I hacia el futuro según “la evolución del mercado y de la tecnología”.

3. Las “Prácticas de inteligencia artificial prohibidas” del artículo 5 (Título II)

El Título II establece una lista de IA prohibida por cuanto implica un riesgo inaceptable por contravenir los valores de la Unión, por ejemplo, por violar derechos fundamentales.

Como ideas preliminares, cabe señalar que podría plantearse la revisión de algunos de los supuestos considerados de alto riesgo en el Anexo III, y pasar a considerarlos como prohibiciones del art. 5. De ahí que adelantamos la necesidad de flexibilizar la literalidad del Anexo III para permitir su actualización según evolucionen las circunstancias. Asimismo, en el ámbito de usos prohibidos y a pesar de tratarse de cuestiones esencialmente estatales las que afectan a la seguridad y defensa, deberían hacerse referencias concretas al uso de la IA militar, armamento, etcétera. De igual modo, en estos ámbitos prohibidos cabrían también algunos usos vinculados con el uso de neurotecnologías. Ello no obsta a que algunos otros usos formen parte de los calificados de alto riesgo y, en cualquier caso, sin perjuicio de someterlas a condiciones o requisitos en ciertos supuestos.

Ya por cuanto a las prohibiciones de la PRAI, cabe partir de la la prohibición de “comercialización, puesta en servicio o uso” de sistemas de IA que desplieguen técnicas subliminales más allá de la conciencia de las personas y que puedan modificar su comportamiento de forma que pueda causar daños (art. 5.1.a). Dicha prohibición, tal como está descrita en el art. 5.1.a, debe mantenerse. Pero que ha de estar descrito este uso prohibido con mayor precisión a pesar de las dificultades jurídicas que ello implica. Consideramos conveniente que se aluda expresamente a la alteración, manipulación, control o perturbación de la voluntad o la personalidad.

Igualmente, debe mantenerse la prohibición de sistemas de IA que exploten vulnerabilidades de un grupo específico de personas debido a su edad, discapacidad física o mental, con el fin de modificar su comportamiento de forma que puedan causar daños (art. 5.1.b). En todo caso, por cuanto a la edad como factor de vulnerabilidad, no está de más precisar que puede referirse a menores o mayores. Por otro lado, podrían añadirse colectivos vulnerables concretos o mencionar genéricamente la posibilidad de que ciertos colectivos habitualmente discriminados se vean más expuestos a raíz del uso de ciertos sistemas de IA.

El apartado c) pretende prohibir los sistemas de crédito social como el chino. Como es sabido, la idea básica es perfilar y mensurar el comportamiento social y confiabilidad de todos los individuos -y en su caso empresas-, y a partir de ello, determinar el acceso a servicios, ayudas, contratos, o bien cargas, gravámenes, sanciones o penas.

Cabe subrayar que el PRAI prohíbe el uso de estos sistemas de crédito social por las autoridades públicas, “o en su nombre”. Será de interés precisar el ámbito de la prohibición pues es importante tener en cuenta que estos sistemas habitualmente se logran gracias al apoyo de grandes tecnológicas en connivencia con el Estado a partir de perfiles, evaluaciones o puntuaciones de plataformas. Se define la prohibición de “la evaluación o clasificación de la fiabilidad de las personas físicas durante un determinado período de tiempo en función de su comportamiento social o de sus características personales o de personalidad conocidas o previstas”. A partir de ahí, lo concretamente prohibido es que se dé una de las dos acciones. En primer lugar, un “tratamiento perjudicial o desfavorable” “en contextos sociales que no guardan relación con los contextos en los que se generaron o recogieron originalmente los datos”. Así, el perfilado o evaluación de la población por los poderes públicos mediante IA no está en principio prohibido en inicio, sino que sus resultados se proyecten en otros ámbitos no relacionados con los elementos de la evaluación propiamente dicha.

La otra posible prohibición del sistema de crédito social a través de IA está técnicamente peor redactada. La prohibición se da si como consecuencia de la evaluación resulta un “trato perjudicial o desfavorable […] injustificado o desproporcionado a su comportamiento social o a su gravedad”.

Dicha prohibición ciertamente no aporta nada jurídicamente. Debe recordarse que ya existe una prohibición general de discriminación que afecta especialmente a los poderes públicos que -nunca- pueden tratar diferentemente de manera injustificada o desproporcional. Así, esta prohibición de los sistemas de crédito social, tal como está formulada, sería reiterativa e incompleta. Pero es más, sin perjuicio de la eficacia de los derechos fundamentales entre particulares, un sujeto privado tampoco puede realizar tratamientos discriminatorios. Por ello, entendemos que habría de perfilarse mejor la prohibición describiendo el funcionamiento del sistema de crédito social chino que ciertamente se quiere prohibir. Asimismo, por cuanto a los perfilados sociales cabría mencionar la prohibición a sujetos privados, o al menos a ciertos sujetos privados en contextos concretos. De esta forma, a pesar de lo reiterativa que pueda parecer atendiendo a principios jurídicos básicos, cubrirá todos los supuestos en los que puede producirse una discriminación relacionada con sistemas de crédito social, sea por entidades públicas o privadas.

Se trata de situaciones sobre las que ya han llamado la atención el Relator Especial de Naciones Unidas para la extrema pobreza y los derechos humanos, Philip Alson, en relación con el caso SyRI (“Landmark ruling by Dutch court stops government attemps to spy on the poor”, de 5 de febrero de 2020), y la Asamblea General de Naciones Unidas en su Informe anual A/74/493, de 11 de octubre de 2019, por lo que su inclusión parece razonable. El caso SyRI afectó al Gobierno holandés[15], es decir, a una institución pública. No obstante, a lo largo del último año distintos Tribunales se han pronunciado en relación con sistemas que igualmente podríamos denominar como de “crédito social” aplicados por plataformas de envío rápido de comida a domicilio a sus trabajadores.

En cuanto al último de los supuestos prohibidos, estamos de acuerdo en que han de prohibirse los sistemas de identificación biométrica a distancia en tiempo real en espacios de acceso público con fines policiales con carácter general (art. 5.1.d). No obstante, entendemos que las excepciones previstas en los apartados i a iii (y desarrolladas en los siguientes apartados del art. 5) son cuestionables y, de hecho, desdibujan casi totalmente esta prohibición. En primer lugar, la regulación de la prohibición rompe la lógica de los usos de alto riesgo definidos en el Anexo III. Hay que llamar la atención de que es el único supuesto entre los usos prohibidos o de alto riesgo en los que hay un llamamiento a la regulación legal de la UE o de los Estados. Es decir, se prohíbe, pero con excepciones según el RAI y la regulación legal. Ello puede llevar a pensar que los usos de alto riesgo están permitidos y ni siquiera requerirían de una regulación legal de la UE o de los Estados, cuando lo cierto es que hoy por hoy muchos de ellos ya están prohibidos o muy condicionados por la legislación de protección de datos y otras normativas.

Ya respecto del art. 5.1.d en concreto, en cuanto a las condiciones para la puesta en marcha de estos sistemas (art. 5.2), no quedan claras las garantías que se aportan. En este sentido, creemos que, al menos, deberían relacionarse de manera expresa las excepciones a esta prohibición con el cumplimiento de las garantías establecidas para los SARIA. Es decir, en los casos en los que se exceptúe esta prohibición que quede claro que se trataría de un uso de alto riesgo con el régimen jurídico que ello implica. En relación con las excepciones, habría que revisar la gravedad y tipología de delitos referidos en el apartado iii. Por otra parte, los apartados i y ii podrían unirse en un apartado único. Consideramos innecesaria la mención a “niños desaparecidos” en el apartado i pues puede incluso interpretarse como cierto chantaje emocional para justificar una grave intromisión en derechos, cuando lo cierto es que la prevención de la seguridad o prácticamente cualquier delito ya justificaría la excepción a esta prohibición. Finalmente, la referencia a la “autorización previa concedida por una autoridad judicial o por una autoridad administrativa independiente” (art. 5.3) puede ser positiva, y creemos que esta garantía podría extenderse también a los SARIA y en particular a los casos de uso de identificación biométrica sensibles que se permiten.

4. Los sistemas de alto riesgo de IA (SARIA), el núcleo de la propuesta del Título III: enfoque y delimitación

4. 1. El enfoque de riesgos de la PRAI

El enfoque de riesgos de la PRAI es adecuado y lo cierto es que el núcleo de la regulación pasa a ser los sistemas de alto riesgo de IA (SARIA) que plantean riesgos significativos para la salud y la seguridad o los derechos fundamentales de las personas. Se trata de una regulación que impone unos requisitos mínimos necesarios para abordar los riesgos y problemas vinculados a la IA. Se intenta no limitar ni obstaculizar el desarrollo tecnológico y evitar el aumento coste de la comercialización de soluciones de IA. Como se expone en la propia PRAI, se “sigue un enfoque basado en el riesgo e impone cargas reglamentarias sólo cuando es probable que un sistema de IA plantee riesgos elevados para los derechos fundamentales y la seguridad”. De este modo, a los sistemas de IA de alto riesgo (SARIA) se determinan “los requisitos de datos de alta calidad, documentación y trazabilidad, transparencia, supervisión humana, exactitud y solidez, son estrictamente necesarios para mitigar los riesgos para los derechos fundamentales y la seguridad que plantea la IA y que no están cubiertos por otros marcos jurídicos existentes.”

Así, se dan las prohibiciones, los SARIA, unas “Obligaciones de transparencia para determinados sistemas de IA” específicos del artículo 52. El resto de sistemas IA que no son de alto riesgo quedarán en su caso sujetos al régimen de códigos de conducta.

Debe destacarse en primer lugar como positiva la existencia misma del Título III sobre los SARIA, con lo que ello implica. Cabe recordar que los usos de IA de alto riesgo no son sólo los exclusivamente automatizados, por lo que el artículo 22 del RGPD resultaría insuficiente como normativa para hacer frente a su desarrollo y comercialización. Además, tampoco el RGPD cubriría sistemas de IA en los que no haya tratamiento de datos personales. También el hecho de que los sistemas de IA de alto riesgo usados como componentes de seguridad se tratan como conjunto.

Sin perjuicio de la valoración general del sistema de riesgos, lo cierto es que no queda claro el enfoque sobre los riesgos, es decir, si se hará sobre los riesgos de negocio o sobre el interesado y, en este último caso, si quedan circunscritos a riesgos para los derechos fundamentales o a todos los derechos asociados. Puede tomarse como referencia el RGPD, que define la seguridad como “la capacidad de garantizar la confidencialidad, integridad, disponibilidad y resiliencia permanentes de los sistemas y servicios de tratamiento” (riesgos para la seguridad de la información, art. 32.1.b), y que se refiere al riesgo del siguiente modo: “los riesgos de diversa probabilidad y gravedad para los derechos y libertades de las personas físicas” (art. 24.1). También entendemos que debería incluirse expresamente la obligatoriedad de que los datos de prueba sean similares en las distintas fases (entrenamiento, validación y prueba). De lo contrario, es difícil alcanzar un resultado fiable. Por ejemplo, si los datos están sesgados, hay riesgo de que el modelo también lo sea.

4. 2. La determinación de los SARIA

Resulta esencial la determinación de cuáles son los SARIA, premisa de todo el régimen jurídico que es buena parte de la regulación de la PRAI. Según el artículo 6 son de alto riesgo, en primer lugar, los sistemas de IA destinados a ser utilizados como componente de seguridad de los productos que están sujetos a la evaluación de la conformidad ex-ante de terceros. En segundo lugar, son SARIA otros sistemas autónomos de IA con implicaciones principalmente en los derechos fundamentales que se enumeran explícitamente en el anexo III.

Es posible que el nivel de riesgo alto de los SARIA debería estar dividido en subniveles, con la consiguiente subdivisión de requerimientos y obligaciones. Se trata de demasiados casos con implicaciones muy distintas. Respecto de las obligaciones para los distintos subniveles podrían ser los requerimientos respecto a las multas por infracción o detalle de informes a entregar antes de su implementación.

Así las cosas el Anexo III cobra una importancia singular para todo el RAI. Al respecto, debe señalarse que los usos de alto riesgo no son sólo los exclusivamente automatizados, sino también sistemas que sirven total o parcialmente para tales finalidades. Por ello consideramos que es necesario precisar tanto en las descripciones de los usos de alto riesgo como en los sujetos (públicos o privados) afectados, debiendo extenderse los usos de alto riesgo también a los sujetos privados). También, como ya hemos señalado más arriba, ciertos usos deberían entenderse como prohibidos en lugar de como usos de alto riesgo. Asimismo, existen dos ámbitos que de un modo u otro deberían incluirse desde este momento en la lista del Anexo III sin perjuicio de la necesidad de permitir su actualización a futuro, sobre lo que incidiremos seguidamente. Así, en primer lugar es llamativa la ausencia de mención alguna a los sistemas de IA para usos médicos y biosanitarios. No todos serán componentes de seguridad de un producto o deban someterse a una evaluación de la conformidad. Si bien es cierto que la normativa sanitaria es muy detallada y puede ofrecer respuestas a muchos de los riesgos que generaría la utilización de IA, no lo es menos que una gran cantidad de usos de IA sobre personas deben ser considerados como de alto riesgo. Muchos de estos usos de alto riesgo no son componentes de seguridad. De ahí que el anexo III habría de determinar algunos elementos para considerarlos de alto riesgo. En segundo lugar, llama la atención que no se consideren de alto riesgo los sistemas de manipulación, reconocimiento de emociones y perfilado para ciertas finalidades del sector privado.

Por otra parte, se observa un preocupante problema de rigidez en este Anexo III: tal como está formulado el artículo 7 no puede ser modificado en relación con las áreas de riesgo. No podemos estar seguros de que en el futuro no haya que incluir una nueva aplicación de riesgo en algún aspecto distinto de los mencionados en este Anexo. Por tanto, resulta necesario también aquí prever un mecanismo de actualización del Anexo, así como reformular el apartado 7 con el mismo objetivo de permitir su revisión y actualización.

Por otra parte, el mecanismo para actualizar la lista de SARIA presenta una excesiva rigidez tal como está formulado en el apartado 7 del Anexo III, y no parece razonable suponer que en el futuro no deban incluirse como aplicaciones de alto riesgo otras distintas de las ya mencionadas en dicho Anexo. Por ello proponemos la inclusión del siguiente texto en dicho Anexo, que a nuestro juicio solucionaría el problema señalado:

“La Comisión está facultada para adoptar actos delegados de conformidad con el artículo 73 para actualizar la lista del anexo III añadiendo sistemas de IA de alto riesgo cuando se cumpla una de las siguientes condiciones:

• a) los sistemas de IA están destinados a utilizarse en cualquiera de los ámbitos enumerados en los puntos 1 a 8 del Anexo III con nuevos usos no previstos hasta el momento;
• b) los sistemas de IA suponen un riesgo de daño para la salud y la seguridad, o un riesgo de impacto adverso sobre los derechos fundamentales, es decir, con respecto a su gravedad y probabilidad de ocurrencia equivalente o mayor que el riesgo de daño o de impacto adverso que plantean los sistemas de IA de alto riesgo de alto riesgo ya mencionados en el Anexo III”

5. Requisitos y obligaciones de los SARIA

5. 1. Sobre los requisitos de los SARIA

El capítulo 2 establece los requisitos legales para los sistemas de IA de alto riesgo en relación con los datos y la gobernanza de los mismos, la documentación y el mantenimiento de registros, la transparencia y el suministro de información a los usuarios, la supervisión humana, la solidez, la precisión y la seguridad.

El artículo 10 sobre “Datos y gobernanza de datos” merece a nuestro juicio las siguientes puntualizaciones:

• El apartado 3 no especifica cuándo un conjunto de datos está completo o libre de errores. Deben establecerse algunos criterios al respecto, por mucho que la práctica posterior deba terminar de precisarlos en cada caso;
• El apartado 5 se refiere a la utilización de categorías especiales de datos por parte de SARIA, y realiza varias referencias (pertinentes) al RGPD. No obstante, se echa en falta una referencia expresa a la evaluación de impacto (art. 35 RGPD) cuando se utilizan datos especialmente protegidos o cuando el colectivo afectado es especialmente vulnerable.

La obligación de documentación técnica para poder comercializar los SARIA es muy importante (art. 11 y Anexo IV). Por cuanto a este Anexo IV, (sobre documentación técnica de un SARIA) está formulado en términos excesivamente abstractos. No quedan claros, entre otros, los siguientes aspectos:

• (precisión) si se hace referencia a la importancia de los falsos positivos y los falsos negativos en el proceso de optimización del modelo;
• (importancia de los diferentes parámetros) si se tiene en cuenta la interpretabilidad de los modelos de caja negra;
• (explicabilidad, XAI) podrían mencionarse ejemplos como LIME o Shap. Tampoco está claro si esto también se refiere a la autonomía adecuada del sistema de IA (HITL, HOTL, HOOTL);
• (equidad) la referencia a “los grados de precisión para las personas o grupos de personas específicos sobre los que se pretende utilizar el sistema” parece aludir a un criterio de equidad. La tasa de FP y FN debe ser igual para todos los grupos, en especial para los grupos protegidos o vulnerables. Este requisito, en cualquier caso, parece redundante con otros artículos en los que ya se mencionan riesgos individuales y las correspondientes mitigaciones.

Deber recordarse que la misma puede ser esencial para que el usuario de la IA pueda a su vez cumplir sus obligaciones, como especialmente, las derivadas del deber de transparencia de protección de datos. Así, sería necesario asegurarse de que toda la información a la que se refiere el artículo 11 y Anexo IV es la necesaria para cumplir con las obligaciones de información en materia de protección de datos, y tomar para ello como referencia, entre otros documentos los que están delimitando el deber de transparencia en el ámbito de decisiones automatizadas y algorítmicas. Así cabe tener en cuenta la Guía de la AEPD sobre adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial, de febrero de 2020; incorporando toda la información necesaria para llevar a cabo la evaluación de impacto y, en particular, información sobre: fuentes de obtención de los datos utilizados y el plazo de uso de los datos (su antigüedad), detalle de las categorías de datos empleados para toma de decisiones, importancia relativa de cada categoría de datos en la toma de decisiones, calidad de los datos usados y tipo de patrones utilizados, perfilados e implicaciones, valores de precisión o error según la métrica adecuada, auditorías internas realizadas adicionales. Finalmente, debería hacerse mención a que si el proveedor ha llevado a cabo una evaluación de impacto, deba entregarse copia de ésta.

Otra obligación muy relevante es el registro automático de eventos («logs»). Al respecto, sería interesante indicar el tiempo mínimo de conservación de los logs (art. 12.1). Un tiempo excesivo puede provocar problemas de almacenamiento y coste para el fabricante/operador. Recomendamos utilizar la siguiente expresión en relación con los referentes de seguridad: “tomando como referencia esquemas nacionales de seguridad existentes u otros estándares reconocidos internacionalmente. En relación con la trazabilidad, sería interesante seguir algún estándar reconocido. El MLO (Machine Learning Operations) podría servir, si bien es cierto que lleva poco tiempo en el mercado y aún no se ha testado suficientemente.

Sorprende que el sistema de transparencia y provisión de información a los usuarios de IA (que no deben confundirse con los afectados por el tratamiento de datos de IA) no introduce prácticamente ninguna exigencia en relación con los Criterios de Inteligencia Artificial de 2019. No cabe pensar que es suficiente garantía acudir artículo 22 RGPD. El mismo es -sólo- sobre decisiones sólo automatizadas e impactantes en los afectados y además este artículo no regula la lógica del algoritmo. En relación con la lógica aplicada, podría añadirse en el art. 13.1 PRAI lo siguiente: “Ser informado de las reglas e instrucciones en las que se basan los algoritmos o sistemas de IA que afectan a la toma de decisiones que produzca efectos jurídicos en él o le afecte significativamente de modo similar”.

También merece la pena detenerse en ciertos aspectos relativos a la supervisión humana (art. 14). En la toma de decisiones autónomas, un humano siempre forma parte de la simulación y revisa el resultado sugerido automáticamente, por lo que influencia el resultado, pero también permite identificar problemas y requerimientos que hayan sido pasados por alto por la máquina. Debe precisarse algo más qué se entiende por supervisión “eficaz”, tanto en lo referente al propio concepto (que debería definirse) como en cuanto a la obligatoriedad de registrar de qué manera se ha supervisado el sistema. En el art. 14.5 se establece que los SARIA destinados a identificación biométrica a distancia deberán ser verificados y confirmados por al menos dos personas. Este requisito puede generar una falsa apariencia de protección: no se trata del número de personas, sino de la necesaria cualificación profesional y de conocimientos que éstas tengan. Finalmente, debería hacerse una referencia clara al tipo de implicación humana requerida en la toma de decisiones o sugerencias por parte de los sistemas de IA (HITL, HOTL, Human in command). Los sistemas de alto riesgo no deberían dejar completamente abierto el paradigma conocido como “human in the loop” (HOOTL).

En relación con la precisión, robustez y ciberseguridad (art. 15 PRAI) creemos necesario recordar la importancia de la seguridad del dataset, de tal manera que se impidan ataques basados en su envenenamiento o ataques contra la seguridad del algoritmo. Entendemos que los niveles adecuados de ciberseguridad resultan excesivamente imprecisos. Cuanto menos, deberían recoger una expresión como la siguiente: “tomando como referencia esquemas nacionales de seguridad existentes u otros estándares reconocidos internacionalmente”.

Por último en lo que se refiere a los requisitos de los SARIA, debemos recordar nuevamente la necesidad de prever la actualización periódica del Reglamento en el corto y medio plazo. Particularmente importante es el problema de los sistemas que utilizan IA y que pueden seguir aprendiendo sin supervisión humana una vez en el mercado. Estos sistemas pueden presentar un comportamiento imprevisto tanto por el productor como por los potenciales usuarios afectados. En estos casos, el Reglamento no prevé reglas claras de distribución de responsabilidad. Si se prevé el desarrollo de una normativa específica en este punto, debería al menos hacerse una referencia expresa a la misma.

5. 2. Sobre las obligaciones de proveedores, usuarios y terceras partes en relación con los SARIA y autoridades notificantes y organismos notificados

El capítulo 3 regula obligaciones para los proveedores de SARIA y también obligaciones proporcionadas a los usuarios y a otros participantes en la cadena de valor de la IA (por ejemplo, importadores, distribuidores, representantes autorizados). Resulta de especial interés la determinación de sujetos en el ecosistema de la IA, al menos por cuanto a la producción y uso, dado que los afectados por la IA no existen literalmente en la PRAI. En cualquier caso, en clave de régimen de protección de datos se da un difícil encaje en las figuras de responsables, corresponsables, encargados, etc.

En cuanto a los requisitos impuestos a los proveedores de SARIA, consideramos que

Xxxx no sé qué artículo haces referencia, no lo encuentro

• debería desglosarse en mayor detalle cómo el proveedor puede “asegurar el cumplimiento de los requisitos de los SARIA (que están descritos en formato proclamación de derechos y deberes);
• incluirse una referencia a qué obligaciones de protección de datos derivadas de RGPD/LOPDGDD son obligación del proveedor (y cuáles deben asumir otros operadores);
• considerarse la situación en que el SARIA sea puesto en el mercado en varios países a la vez, de cara a la obligación de información a la autoridad nacional competente. En tales casos, debería establecerse a qué autoridad nacional competente deberá informarse, debiendo aplicar los correspondientes mecanismos de colaboración con posterioridad;
• e incluirse la obligación de notificar a la autoridad nacional/vigilancia de mercado cuando tenga conocimiento de que el SARIA supone un riesgo en el sentido del art. 65.1 o identifique un incidente o malfuncionamiento serio. Si el producto ha sido puesto en el mercado junto con un distribuidor, ambos deberán colaborar conjuntamente. 

Xxxx no sé qué artículo haces referencia, no lo encuentro

En este sentido, proponemos las siguientes inclusiones con el objetivo de mejorar este punto:

• en la sección 1.d, establecer los criterios o frecuencia mínima una vez puesto el SARIA en el mercado;
• en la sección 1.f, hacer una referencia cruzada al cumplimiento de las obligaciones del RGPD en relación con el uso de los datos;
• en la sección 1.m, detallar en mejor medida qué se entiende por “otro personal” e incluir los criterios para distribuir las responsabilidades;
• y en la sección 2, junto con otros apartados del texto, valorar si queremos establecer un mecanismo en que el nivel de cumplimiento de las obligaciones varía en función del “tamaño de la empresa”; esto puede conllevar situaciones indeseadas, en las que las empresas “pequeñas” como start ups asuman menos obligaciones y las empresas grandes subcontraten o compren estas empresas pequeñas para crear los SARIA a través de estas empresas más pequeñas para eludir el cumplimiento de obligaciones.

El artículo 20 PRAI establece la obligación de los proveedores de SARIA de conservar los registros que dichos sistemas generen automáticamente durante un “período adecuado” a la luz de la finalidad prevista por el SARIA y las obligaciones normativas que le resulten aplicables. Para evitar discrepancias en torno a los plazos de conservación elegidos por cada operador en la cadena, y para evitar que se tienda a guardar “más de lo necesario” cuando estos logs afecten a datos personales, recomendamos diferenciar entre los logs que se utilicen para verificar el cumplimiento del SARIA y que no precisen datos personales (bien porque no tengan datos personales o bien porque la finalidad se pueda obtener también con los datos anonimizados), en cuyo caso no recomendamos no limitar la obligación de conservación; y los logs que puedan contener datos personales o identificar a una persona, en cuyo caso recomendamos relacionar esta obligación con el principio de minimización del art. 5 del RGPD y limitar esta obligación de conservación al plazo legalmente exigible, en vez de en función de las “obligaciones legales aplicables”, que pueden permitir mayores plazos de conservación. 

Por lo que se refiere a las obligaciones relativas a las obligaciones del resto de actores implicados en los SARIA, formulamos las siguientes recomendaciones:

• revisar y uniformar los deberes de entrega de documentación a las autoridades nacionales competentes, puesto que en unos casos se exige una “solicitud razonada” y en otros solo es necesario una “solicitud” (arts. 23, 25 y 26): entendemos que, a solicitud (razonada o no) de la autoridad competente, debería proporcionarse la información en cualquier caso;
• indicar si la responsabilidad de los fabricantes de productos “product manufacturers” del art. 24 es solidaria o mancomunada con el proveedor;
• valorar igualar las obligaciones de los importadores y los representantes autorizados, de cara a evitar que las empresas elijan alegar “no poder identificar” al importador (aunque sea una obligación exigible) para evitar asumir mayores obligaciones;
• valorar igualar la obligación del proveedor de presentar la documentación en un lenguaje “oficial” (art. 23) a la obligación del importador de facilitar esta documentación en un lenguaje “fácilmente comprensible” (art. 26);
• añadir en las obligaciones del importador (art. 26) la obligación del art. 27(4) de adoptar las medidas correctivas;
• especificar si la consideración como proveedor del art. 28 es una presunción iuris tantum, invirtiendo la obligación de prueba, y aplicar a estos “proveedores” las mismas obligaciones que a los proveedores iniciales (no solo las obligaciones del art. 16);
• e incluir el derecho del usuario a pedir más información a los otros operadores, para realizar la evaluación de impacto o cualesquiera otras auditorías. 

El artículo 19 dispone que los proveedores de sistemas de IA de alto riesgo se asegurarán de que sus sistemas se someten al procedimiento de evaluación de la conformidad pertinente con arreglo al artículo 43, antes de su comercialización o puesta en servicio. Con ser positivo, suscita dudas el procedimiento de evaluación de conformidad (art. 19). En ocasiones se refiere a normas técnicas inexistentes, sobre las que tampoco se indica institución responsable de crearlas o momento previsto de entrada en vigor. El procedimiento como tal está descrito de forma circular, obligando en su lectura a avanzar, retroceder o acudir a otros artículos y anexos constantemente. Esto puede llevar a errores y confusión en la interpretación, por no mencionar la fatiga derivada de su lectura. Es posible redactarlo de un modo más claro.

En relación con las entidades notificadas, nos parece adecuado que se les obligue a intercambiar información sobre denegaciones y otros aspectos. Sin embargo, si estas autoridades notificadas tienen acceso a un entorno amplio de los SARIA en organizaciones privadas, debe contemplarse una obligación de confidencialidad respecto a temas que estén al margen de la evaluación de conformidad, así como incluir de manera expresa una prohibición de generar negocio con información confidencial.

En relación con las autoridades notificadoras, los organismos notificados y el procedimiento de notificación (Capíutlo IV arts. 30 y ss. ), creemos que deberían regularse los siguientes aspectos:

• alguna obligación general en materia de ciberseguridad, más allá de los incidentes serios o malfuncionamientos, o de los casos en que el SARIA presenta un riesgo en el sentido del art. 65.1, incluyendo deberes de notificación a autoridades y a usuarios finales, considerando la normativa en materia de ciberseguridad y de protección de datos;
• relaciones de colaboración entre los distintos operadores dentro de la cadena de la IA. Existen varias obligaciones que suponen la notificación de un operador a otro, pero no se establece ninguna obligación general de colaboración, cooperación y entrega de documentación a requerimiento de uno de los operadores, de cara, p. ej., a cumplir con la obligación de notificar si considera que el SARIA no cumple con los requisitos de conformidad;
• alguna referencia cruzada con la normativa de protección de datos y las obligaciones en materia de protección de datos que serán asumidas por cada operador, indicando, para aquellos tratamientos que sea posible, cuáles de los operadores actúan como (co)responsables/encargados;
• interacción entre secretos y desglose de documentación técnica.

5. 3. La base de datos de la ue para sistemas autónomos de IA de alto riesgo (art. 60, Título VII)

El artículo 50 impone que antes de comercializar o poner en funcionamiento un SERIA el proveedor o el representante autorizado debe registrará dicho sistema en la base de datos. Y en este sentido, el artículo 60 (Título VII) dispone la creación de una base de datos de la UE para los sistemas autónomos de IA de alto riesgo que será de acceso público. La base de datos será gestionada por la Comisión a partir de la información facilitada por los proveedores de los sistemas de IA, que deberán registrar sus sistemas antes de comercializarlos o ponerlos en servicio. Pese a la diferencia de contexto y obligados recuerda a la desaparecida obligación en España del registro de tratamientos de datos. Dado que la información que se registre puede incluirse tanto por el proveedor como por el representante autorizado, sería necesario añadir a éste último en el apartado 2 del artículo 60: “Los proveedores o los representantes autorizados introducirán en la base de datos de la UE los datos enumerados en el anexo VIII. La Comisión les proporcionará apoyo técnico y administrativo.”

La información que habrá de contener viene fijada en el anexo VIII, además de la identificación, en esencia, descripción de la finalidad prevista del sistema de IA, si está en el mercado, o en servicio o ya no está en el mercado, caducidad, instrucciones electrónicas de uso. Cabe pensar que si un usuario de un SERIA genera algún daño o riesgo a un afectado, el afectado podrá conocer el proveedor del sistema y a partir de ahí acceder a la información básica del registro. Por otra parte, aunque no se trate de información pública, las autoridades podrán requerir a los proveedores la identidad de los usuarios del sistema SERIA.

6. Transparencia de chatbots, sistemas de reconocimiento de emociones o biométricos y “deep fakes” y los códigos de conducta para el resto de sistemas IA

6. 1. La regulación específica -e insuficiente- de las “obligaciones de transparencia para determinados sistemas de IA” (artículo 52, Título IV)

Según se ha expuesto la PRAI regula los sistemas de IA prohibidos y los de alto riesgo. El resto de sistemas quedarían sólo sometidos a códigos de conducta y autorregulación. No obstante, el artículo 52 introduce la obligación específica de informar de la existencia de un sistema de IA a las personas algunos supuestos. Llama la atención que se trata de una garantía específica dirigida a la protección de los afectados que en general son ignorados en la PRAI dirigida a proveedores de IA.

De una parte, se regulan “sistemas de IA destinados a interactuar con personas físicas” y “sistema de reconocimiento de emociones o de un sistema de categorización biométrica” (art. 52. 1º y 2º). En ambos casos, según se ha adelantado, se impone la obligación de los proveedores de sistemas de IA de informar a las personas físicas de que están interactuando. Parece en principio razonable excluir de esta obligación de informar a sistemas con habilitación normativa para detectar, prevenir, investigar y perseguir delitos. En cualquier caso, la obligación se haría depender de la regulación específica legal de la que se trate pues puede comportar la obligación de información y transparencia.

Especialmente en el caso de que se trate de un sistema de reconocimiento de emociones o de un sistema de categorización biométrica debe tenerse en cuenta que en su caso serán sistemas de alto riesgo con obligaciones que obviamente también habrá que cumplir. Asimismo, especialmente en estos supuestos las obligaciones en razón de la normativa de protección de datos u otras serán muy importantes y las obligaciones de información serán muy posiblemente ya incluidas entre éstas.

Por cuanto a la utilización de “deep fake”, los sistemas “deberán revelar que el contenido ha sido generado o manipulado artificialmente”. En este caso, además de la normativa penal que pueda excepcionar se menciona también que el deepfake puede quedar amparado “ejercicio del derecho a la libertad de expresión y el derecho a la libertad de las artes y las ciencias” (art. 52. 3º). Si bien es cierto que estas libertades pueden amparar el uso de deepfakes, salvo en el caso de que sea “obvio por las circunstancias y el contexto de uso”· (como se dice respecto de los chatbots en el apartado primero, no se entiende por qué es no es preciso informar del posible engaño.

Sin dejar de ser positiva esta regulación, lo cierto es que la regulación del mero deber de transparencia se queda muy corto por cuanto a la problemática jurídica que se puede generar, especialmente en el caso de los deep fakes.

6. 2. Los códigos de conducta para los sistemas de IA que no son de alto riesgo (art. 69, Título IX)

La PRAI estimula que los proveedores de sistemas de IA que no sean de alto riesgo apliquen voluntariamente los requisitos de los SERIAS a través de códigos de conducta. Según se dispone, estos códigos también pueden incluir compromisos voluntarios relacionados, por ejemplo, con la sostenibilidad medioambiental, la accesibilidad para las personas con discapacidad, la participación de las partes interesadas en el diseño y desarrollo de los sistemas de IA y la diversidad de los equipos de desarrollo.

En relación con este título deben señalarse únicamente dos cuestiones menores. En primer lugar, conviene revisar la redacción en castellano del art. 69.1 (aplicación voluntaria de los sistemas de IA, y no a sistemas de IA). En segundo lugar, debemos señalar la importancia del fomento de la participación de organizaciones, usuarios y, en general, cualquier parte interesada en el desarrollo y fomento de sistemas de IA. Esta participación, en el marco de la elaboración de códigos de conducta, resulta especialmente importante en la medida en que estas partes conocen de primera mano los intereses y necesidades que deben reflejarse en los mismos.

7. Gobernanza, medidas de apoyo, vigilancia y sanciones de la IA en la UE

7. 1. Las “medidas de apoyo a la innovación” del Título V

El Título V (arts. 53-55) estimula la creación de «sandboxes» regulatorios, como entorno controlado para probar tecnologías innovadoras durante un tiempo limitado sobre la base de un plan de pruebas acordado con las autoridades competentes. También contiene medidas para reducir la carga reglamentaria de las PYME y las empresas de nueva creación. Con ser positivas, cabe considerar que estas medidas adolecen de falta de concreción por cuanto no cuáles serán las condiciones de elegibilidad de las PYMES para optar a acceso prioritario o qué institución será la encargada de fijarlas. Asimismo, no se aprecia cómo se va a relajar la presión burocrática del artículo 43 en el caso de las PYMES. Por ejemplo, podría especificarse si éstas seguirán la vía del artículo 43.1.a o la del 43.1.b. Por otro lado, si bien son útiles las medidas de sensibilización, sería más útil aún prever medidas de apoyo económico y formación, que este Título no contempla.

En este sentido, se propone un apartado 53.3 con el siguiente tenor literal: “Los pequeños proveedores y empresas de nueva creación que reúnan las condiciones de elegibilidad del apartado primero podrán solicitar de los Estados Miembros partidas específicas destinadas a la formación de sus empleados en los siguientes objetivos: (a) acreditación del cumplimiento de las obligaciones de este Reglamento, en especial las referidas a los Sistemas de IA de Alto Riesgo; (b) competencias técnicas en el tratamiento y análisis masivo de datos a través de sistemas de IA”.

7. 2. La Gobernanza de la IA en la UE: el Consejo Europeo de IA y las autoridades nacionales (Título VI)

Se utiliza una fórmula de Gobernanza similar a la del RGPD con el objetivo de facilitar una aplicación fluida, eficaz y armonizada del Reglamento, así como contribuir a la cooperación entre autoridades nacionales y europea (Comité Europeo de IA) de supervisión, tanto entre sí como con la Comisión.

El Título VI establece los sistemas de gobernanza de la Unión y nacional. Se regula el Consejo Europeo de IA como mecanismo de cooperación para una aplicación fluida, eficaz y armonizada del RAI. Se viene a seguir el modelo del EDPB en el marco de la protección de datos para contribuir a la cooperación entre autoridades nacionales y europea (Comité Europeo de IA) de supervisión, tanto entre sí como con la Comisión. Al igual que en el EDPB, en el Consejo participa el Supervisor Europeo de Protección de Datos.

En cuanto a las tareas del Comité, sería necesario completar el artículo 58.c, emitiendo directrices, recomendaciones y códigos de buenas prácticas sobre los criterios y requisitos del Reglamento que convenga interpretar. En este sentido, podrían añadirse como tareas del comité las siguientes:

• “Alentar la elaboración de códigos de conducta y el desarrollo de mecanismos de certificación de la materia y de sellos y marcas de sistemas IA aprobados conforme al Reglamento.
• Promover la cooperación y los intercambios bilaterales y multilaterales efectivos de información y de buenas prácticas entre las autoridades de control; programas de formación comunes y el intercambio de conocimientos y documentación sobre legislación y prácticas en materia de sistemas IA.
• Llevar un registro electrónico, de acceso público, de las decisiones adoptadas por las autoridades de control y los tribunales sobre los asuntos tratados en el marco del Reglamento.”

Respecto de las Autoridades Nacionales Competentes (art. 59) no se menciona la independencia de las mismas, aunque sí su “objetividad e imparcialidad” y la suficiencia de medios. Queda en mano de los Estados determinar si las funciones las desarrollarán una o más autoridades y el tipo de entidad que será. No se prefija un modelo ni mención a las posibles competencia en materia de protección de datos.

Por cuanto a la gobernanza, sería preciso resaltar la necesidad de garantizar una cooperación formal de las autoridades de control a través de un mecanismo de coherencia del Reglamento similar al que ya establece el RGPD. En este sentido, será necesario atribuir potestades de supervisión en aras de garantizar la aplicación coherente del Reglamento en los casos en que así se prevea y sin perjuicio de las funciones que correspondan a las autoridades nacionales. Sería óptima la necesidad de que el Comité (art. 58) o la Comisión (art. 59.6) llevasen un registro electrónico, de acceso público, de las decisiones adoptadas por las autoridades de control y los tribunales sobre los asuntos de que se ocupa el Reglamento.

7. 3. Vigilancia e información posterior a la comercialización e investigación de los incidentes (Título VIII)

Se contemplan obligaciones de control e información a posteriori para garantizar que las autoridades públicas tengan las competencias y los recursos para intervenir en caso de que los sistemas de IA generen riesgos inesperados. No se prevé la creación de ningún organismo o autoridad adicional a nivel de los Estados miembros.

Se valora positivamente la introducción de un sistema de monitorización postcomercial impuesto a los proveedores de sistemas de IA, si bien deben hacerse algunas consideraciones respecto de algunos aspectos de este título.

En relación con el intercambio de información (art. 62), la mención a la elaboración de orientaciones por la Comisión (art. 62.2 in fine) debería ir en un apartado autónomo (nuevo 62.3), sin variar la redacción: “(nuevo) 62.3: La Comisión elaborará orientaciones específicas (…) presente Reglamento.” Asimismo, si los sistemas de IA dedicados a la evaluación de la solvencia son de alto riesgo, no deben tener un régimen de notificación menos incisivo que el resto de sistemas de IA de alto riesgo (art. 62.2).

En relación con la vigilancia y control de los sistemas de IA (art. 63), los procedimientos previstos, en especial el mecanismo de aviso por parte de la autoridad nacional de supervisión, se consideran oportunos. No obstante, cabría mejorar el artículo 63 por cuanto a la diferenciación de autoridades de vigilancia responsables (art. 63.3 a 63.6) puede ser confusa y dar lugar a solapamiento de competencias. El fomento de la coordinación (art. 63.7) puede ser insuficiente con una distribución de responsabilidades tan diversificada. Resultaría aconsejable, por esta razón, designar una sola autoridad de vigilancia encargada que pueda recabar apoyo especializado y asesoramiento cuando lo estime oportuno.

También, el artículo 66 prevé un procedimiento de salvaguarda en la UE que está adecuadamente descrito y cuya redacción es clara y comprensible. Tanto los plazos como las obligaciones de notificación (art. 66.1) son razonables. También resulta oportuna la remisión al procedimiento del artículo 11 del Reglamento UE 1025/2012 (art. 66.3) teniendo en cuenta los fines que persigue esta norma.

En todo caso, el artículo 66. 2º debe ser objeto de reflexión. El criterio de la Comisión acerca de las medidas cuestionadas (art. 66.1) acaba siendo aplicado en toda la UE. Si las medidas nacionales no se cuestionan por los Estados, no habrá posibilidad de uniformar criterios en el caso de que dichas medidas se consideren injustificadas, con el consiguiente riesgo de fragmentación (art. 66.2 in fine).

El artículo 67 se refiere a sistemas de IA conformes que podrían presentar un riesgo. Resulta difícil imaginar supuestos de utilización de sistemas de IA que cumplan con el Reglamento y no obstante comporten riesgos. Aún así, puede ser oportuna su inclusión como norma de cierre. En caso de mantenerse como tal norma de cierre su redacción debería ser más escueta. Así las cosas, proponemos la siguiente alternativa:

“Artículo 67. Sistemas de IA conformes que presentan un riesgo

1. Cuando, superada la evaluación del artículo 65, la autoridad de vigilancia del mercado de un Estado miembro compruebe que en su funcionamiento el sistema de IA comporta riesgos para la salud o la seguridad de las personas, para el cumplimiento de las obligaciones derivadas del Derecho de la Unión o nacional destinadas a proteger los derechos fundamentales o para otros aspectos de la protección del interés público, actuará del siguiente modo: (1) lo notificará al operador, exigiéndole medidas para eliminar el riesgo, para retirar el sistema de IA del mercado o para recuperarlo en un plazo razonable; e (2) informará inmediatamente a la Comisión y demás Estados Miembros.
2. La Comisión decidirá acerca de la medida y propondrá, en su caso, correcciones. Deberá notificar su decisión a los Estados miembros.”

7. 4. Confidencialidad y sanciones (Título X)

El Título X regula la confidencialidad de la información y los datos y establece normas para el intercambio de la información obtenida durante la aplicación del reglamento. Asimismo recoge los elementos de Derecho sancionador. Las bases para el desarrollo nacional de sanciones están claramente descritas y las horquillas de cuantía son muy adaptables en la medida en que se trata únicamente de topes. En relación con este Título cabe hacer tres consideraciones:

• llama la atención que el art. 72 se refiera a “instituciones, agencias y organismos de la Unión” como sujetos pasivos eventuales receptores de multas, y el art. 71 no precise en este sentido, por mucho que se trate de una norma sujeta a desarrollo nacional;
• resulta cuestionable que deba ser el EDPS el encargado de imponer multas administrativas en el marco del presente Reglamento cuando está prevista la creación de un Comité Europeo de Inteligencia Artificial;
• finalmente, hay un defecto formal en el art. 70.1.b in fine, que incluye un primer punto c.

La presencia del EDPS en el art. 72 da muestra de la necesidad de arbitrar mecanismos de coordinación entre este Reglamento y el RGPD ya que si bien los objetivos y ámbitos de aplicación de sendas normas no son enteramente coincidentes, las posibilidades de solapamiento, contradicciones o requisitos confusos para las partes afectadas son muy numerosas.

8. Consideraciones finales

La PRAI es un hito más en las políticas importantes de la UE en el ámbito digital en general y de IA en particular en los últimos años. Según se ha señalado el enfoque basado en riesgos se considera de todo acertado para combinar la necesaria seguridad jurídica de los proveedores y desarrolladores con la de usuario y, sobre todo, afectados. La música suena bien, aunque falta ajustar la letra en especial desde un punto de vista más garantista de los grandes olvidados de la PRAI, que somos todos nosotros. No cabe duda de que el RGPD es una herramienta esencial de garantía de nuestros derechos ante la IA y que va a seguir vigente en concurrencia con la PRAI. La PRAI y el RGPD están condenados a concurrir y ello no parece del todo resuelto ni desde el punto de vista de la ciudadanía afectada ni desde la perspectiva de los desarrolladores de IA. Desde el punto de vista de la ciudadanía no se prevén mecanismos especiales de garantía ante las nuevas instituciones o las instituciones judiciales por parte de los afectados, ni tampoco posiciones jurídicas o facultades desde la sociedad civil o entidades en que se integran y representan a la ciudadanía.

Pero no sólo se trata de resolver dificultades que puedan darse desde los sujetos o los colectivos de afectados. La concurrencia del RGPD y el RAI generará problemas de cumplimiento normativo. No se trata de hacer continuas referencias de una a otra norma, sino de prever los posibles conflictos que puedan darse o dificultades para el cumplimiento normativo por parte de los responsables y encargados de tratamiento que deban cumplir una y otra norma.

En cuanto al enfoque del Reglamento, además de basarlo en niveles de riesgo, sería necesario añadir una regulación de usos específicos en aras de aumentar su precisión y eficiencia; y reflexionar sobre el modelo de exigencia de cumplimiento que inspire el Reglamento, en la medida en que variar el nivel de exigencia según el tamaño de la empresa puede tener como consecuencia situaciones indeseadas, como que grandes empresas subcontraten los servicios de otras más pequeñas para crear SARIA y esquivar así un control más exhaustivo.

No procede resumir lo que ha sido expuestos en estas páginas, no obstante, en el proceso normativo que hay por delante, sin duda alguna hay que ajustar y definir mejor los usos de IA prohibidos y en su caso prever un mecanismo de actualización. De igual modo, el alcance de los SARIA, que son los grandes protagonistas de la PRAI, ha de ser mejor delimitados y con facilidad de actualización. Existen grandes lagunas al respecto en el anexo III. El mismo papel de este anexo III es cuestionable por cuanto parece legalizar usos de IA que hoy por hoy directamente están prohibidos por el ordenamiento de la UE o los nacionales. Por cuanto al régimen de obligaciones que implican los SARIA, la primera impresión en razón del gran volumen del texto de la PRAI puede parecer que se trata de un régimen muy definido. Sin embargo, si se analiza con detenimiento se trata de un régimen de obligaciones por lo general impreciso. Ello obligará a una producción normativa y actuación del regulador muy amplia. Dicha actuación a través de numerosas directrices, actos delegados y de ejecución tanto por la Comisión como por parte del futuro Consejo europeo y las autoridades nacionales.

---

[1] El presente documento ha sido desarrollado colaborativamente por sus autores. La redacción, valoraciones generales y sistematización han sido realizadas por Lorenzo Cotino y José Antonio Castillo.

[2] Jornada “La propuesta de regulación de la inteligencia artificial en la Unión Europea”. Programa https://ir.uv.es/vkU9pgi, acceso a vídeos https://youtu.be/xil56RRg3Gc

[3] https://forma.administracionelectronica.gob.es/form/open/corp/5848/aHKk

[4] https://www.politico.eu/wp-content/uploads/2021/04/14/AI-Draft.pdf

[5] Comisión Europea, Estudio de impacto a la propuesta de reglamento, COM(2021) 206 final – {SEC(2021) 167 final – {SWD(2021) 85 final, Bruselas , acceso (inglés) en https://digital-stratConegy.ec.europa.eu/en/library/impact-assessment-regulation-artificial-intelligence

[6] Andrea Renda y otros, Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, Final Report (D5), ICS, CEPS, W, Comisión Europea, acceso (inglés) en https://digital-strategy.ec.europa.eu/en/library/study-supporting-impact-assessment-ai-regulation

[7] EDPB-EDPS, Joint Opinion 5/2021 on the proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act)

https://edpb.europa.eu/our-work-tools/our-documents/edpbedps-joint-opinion/edpb-edps-joint-opinion-52021-proposal_en

[8] Una síntesis de la intensa acción de la UE en la materia puede seguirse en “Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el derecho” en Revista Catalana de Derecho Público nº 58 (junio 2019).

Desde la Comisión Europea puede seguirse https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital-age/excellence-trust-artificial-intelligence_es#documents

http://revistes.eapc.gencat.cat/index.php/rcdp/issue/view/n58 http://dx.doi.org/10.2436/rcdp.i58.2019.3303

Desde la Comisión Europea puede seguirse https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital-age/excellence-trust-artificial-intelligence_es#documents

[9] Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, COM(2020) 65 final, Bruselas, 19.2.2020, https://eur-lex.europa.eu/legal-content/ES/TXT/?qid=1603192201335&uri=CELEX%3A52020DC0065

[10] https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12270-White-Paper-on-Artificial-Intelligence-a-European-Approach/public-consultation

[11] Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas (2020/2012(INL)), acceso en https://www.europarl.europa.eu/doceo/document/TA-9-2020-0275_ES.html

[12] Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial (2020/2014(INL)), acceso en https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html

[13] Resolución del Parlamento Europeo, de 20 de octubre de 2020, sobre los derechos de propiedad intelectual para el desarrollo de las tecnologías relativas a la inteligencia artificial (2020/2015(INI)), https://www.europarl.europa.eu/doceo/document/TA-9-2020-0277_ES.html

[14] Art. 3. 1º. software desarrollado con una o varias de las técnicas y enfoques enumerados en el anexo I y que puede, para un conjunto determinado de objetivos definidos por el ser humano, generar resultados como contenidos, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan.

Anexo I. (a)          Enfoques de aprendizaje automático, incluyendo el aprendizaje supervisado, no supervisado y de refuerzo, utilizando una amplia variedad de métodos, incluyendo el aprendizaje profundo;

(b)          Enfoques basados en la lógica y el conocimiento, incluida la representación del conocimiento, la programación (lógica) inductiva, las bases de conocimiento, los motores de inferencia y deducción, el razonamiento (simbólico) y los sistemas expertos;

(c)          Enfoques estadísticos, estimación bayesiana, métodos de búsqueda y optimización.

[15] Sobre el tema y su tratamiento jurídico puede seguirse ’SyRI, ¿a quién sanciono?’ Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020, en La Ley Privacidad , Wolters Kluwer nº 4, mayo 2020. https://diariolaley.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbF1CTEAAmMDSwNjM7Wy1KLizPw8WyMDIwMDEyNzkEBmWqVLfnJIZUGqbUlRaSoApoQJizQAAAA=WKE Acceso en Academia y “Hacia la transparencia 4.0: el uso de la inteligencia artificial y big data para la lucha contra el fraude y la corrupción y las (muchas) exigencias constitucionales”, en Carles Ramió (coord.), Repensando la administración digital y la innovación pública, Instituto Nacional de Administración Pública (INAP), Madrid, 2021. https://links.uv.es/FUW2pz6