Supervisión y rendición de cuentas: los retos de la salud frente al reglamento europeo de IA

Cómo gobernar la Inteligencia Artificial (IA) en el sector salud. Esta pregunta motiva el debate sobre los retos inherentes en el reglamento de la Unión Europea (UE) por el que se establecen normas armonizadas en materia de IA (AI Act, por su denominación en inglés), ahora que está en su fase de desarrollo e implementación en los estados miembros.

A grandes rasgos, la discusión versa sobre la falta de mecanismos de supervisión y rendición de cuentas, la erosión de la confianza en el sistema sanitario o cómo compatibilizar los derechos fundamentales con las exenciones previstas en la norma para la investigación médica y en casos de amenaza a la seguridad nacional, como el control epidemiológico. Así lo recoge el último volumen de la publicación académica Health Policy.

El AI Act entró en vigor el pasado 1 de agosto, tras años de deliberaciones que se remontan a abril de 2021. Está previsto que esté del todo implementado en los países que conforman la UE en agosto de 2027. Más allá del sector salud, este reglamento europeo clasifica las aplicaciones que regula según su riesgo.

De esta forma, dentro de la categoría de riesgo mínimo caen la mayoría de videojuegos basados en IA o aplicaciones para retocar imágenes, y en la de riesgo específico de transparencia se encuentran los chatbots, estando sus propietarios obligados a informar al usuario cuando interactúa con una máquina. Y luego están los niveles de riesgo alto, dónde entra parte del sector salud, y de riesgo inaceptable, directamente proscritos por la normativa.

El AI Act supone añadir una capa de normativa a reglamentos sanitarios ya existentes

Dentro de la división de riesgo alto entrarían, por ejemplo, herramientas de diagnóstico mediante IA que almacenan datos de sus usuarios. En este caso, el AI Act viene a complementar el reglamento sobre productos sanitarios de 2017 con una capa adicional de regulaciones específicas. Se trata de prescripciones relativas a seguridad y calidad de obligado cumplimiento para los operadores. Dentro de este grupo también cae el uso eventual de la IA para atender llamadas de emergencia.

Luego están los supuestos de riesgo mínimo en el ámbito de la salud, en los que encajan aplicaciones para móviles con las que monitorizar las constantes vitales al hacer deporte o sensores utilizados en máquinas de soporte vital. En general, herramientas digitales no utilizadas en la asistencia médica o dispositivos sanitarios que no están obligados a someterse a una evaluación de conformidad de terceros.

En esta clasificación, en la que también entrarían los citados chatbots, tan solo es necesario garantizar cierta transparencia, de acuerdo con el Reglamento General de Protección de Datos. Fuera de esto, no hay reglas específicas para su uso.

Retos de la IA

Es en esta última categoría dónde radican algunos de los retos del AI Act, según las investigadoras Hannah van Kolfschooten y Janneke van Oirschot, de la Universidad de Amsterdam y de la Health Action International (HAI), respectivamente. La mencionada falta de reglas deriva en ausencia de mecanismos integrales de rendición de cuentas y de supervisión para los dispositivos de riesgo mínimo. Esto, de acuerdo con las autoras del artículo en Health Policy, puede traducirse en la proliferación de sistemas ineficaces o potencialmente perjudiciales.

Los daños que podrían emerger de la falta de normativa específica para este tipo de aplicaciones podrían implicar que se socave la confianza de los usuarios de la IA en el sistema de salud. Una situación que podría sumarse a la ausencia de instrumentos de evaluación obligatoria para los proveedores de la sanidad privada. “Puede dar lugar a disparidades en la protección de los derechos de los pacientes entre proveedores y entre estados miembros”, señalan Van Kolfschooten y Oirschot.

Es una cuenta pendiente en el proceso de implementación, también, clarificar cuándo estaría justificado el uso de la IA sin ningún tipo de control normativo, que para el AI Act es en contextos en los que priman fines de seguridad nacional (como una pandemia) o en investigación científica.

Por todo ello, concluyen ambas autoras, es preciso definir algunos conceptos contenidos en el reglamento, especificar en las legislaciones nacionales mecanismos de evaluación del impacto de la IA sobre derechos fundamentales e impulsar sistemas de participación de los diferentes agentes del sistema sanitario, incluyendo los desarrolladores de esta tecnología.