Cuando la IA vulnera los derechos de la infancia

Sistemas de recomendación basados en inteligencia artificial, influyen en la formación de la autonomía de los infantes y generan riesgos jurídicos y psicosociales

Por: Erika Estefanía Salas Mayme, investigadora y Académica del INACIPE con experiencia en materia de prevención de la victimización de niñas, niños y adolescentes.

En una era en la que la inteligencia artificial (IA) permea cada aspecto de nuestras vidas, surge una pregunta: ¿qué sucede cuando la IA roba la libertad de elección en las etapas más vulnerables del desarrollo humano? La búsqueda de una simple grabadora sin IA que decida “qué escuchar a continuación” se ha vuelto una tarea casi imposible, lo que revela una realidad preocupante sobre la pérdida de autonomía en la infancia, la adolescencia y la humanidad en general.

La presencia de IA en escuelas y hogares ha creado un escenario donde niñas, niños y adolescentes raramente experimentan la libertad de explorar el mundo sin mediación algorítmica. Esta transformación representa un cambio en cómo se construye la identidad y se desarrolla la capacidad de decisión durante las etapas formativas. Herramientas basadas en IA participan directamente en la toma de decisiones, lo que hace que, desde la perspectiva del derecho penal, emerja una forma de violencia frecuentemente invisibilizada. En supuestos extremos, los efectos del uso intensivo de sistemas de recomendación pueden analizarse bajo figuras penales como la inducción al suicidio o delitos contra la personalidad.

En este contexto, resulta necesario precisar qué son los sistemas de recomendación y por qué constituyen una forma específica de IA. Se trata de modelos que predicen y seleccionan el contenido que cada usuario verá, sentirá o escuchará a continuación. No operan de manera neutral: responden a lógicas principalmente orientadas al mercado de la atención humana. 

Esta arquitectura los convierte en mecanismos capaces de modular la exposición informativa de forma continua, personalizada y opaca, generando entornos donde las opciones disponibles no derivan de una elección libre en sentido estricto, sino de una preselección que condiciona, orienta e intensifica determinadas decisiones. La manipulación conductual sucede como una intervención sistemática sobre el entorno de decisión.

Esta influencia es persistente, asimétrica y no transparente, lo que reduce la capacidad del usuario para reconocerla y contrarrestarla. En poblaciones en desarrollo, esta capacidad de influencia adquiere mayor relevancia, en tanto interactúa directamente con procesos cognitivos y emocionales aún en formación, incrementando el riesgo de dependencia, desregulación emocional y afectación en la construcción de la autonomía. En este sentido, las plataformas digitales funcionan como generadoras estructurales de riesgo victimológico.

Esta problemática ha trascendido el ámbito académico y se materializa en el sistema judicial estadounidense. Múltiples demandas se han presentado contra Meta Platforms (Facebook e Instagram) y también en relación con plataformas como TikTok, por adicción en niñas, niños y adolescentes, alegando que las compañías diseñaron deliberadamente características adictivas dirigidas a usuarios jóvenes. 

Estas demandas sostienen que dichas empresas conocían los riesgos para la salud mental de los adolescentes y, sin embargo, priorizaron el engagement y las ganancias sobre la seguridad y el bienestar de las personas usuarias. Los litigios incluyen casos donde familias argumentan que el diseño intencionalmente adictivo de Instagram contribuyó a trastornos alimentarios, autolesiones e, incluso, suicidios en adolescentes.

En este escenario, las consecuencias no se distribuyen de manera uniforme y resultan particularmente intensas en niñas, niños y adolescentes, ya que las lógicas de diseño que estructuran la circulación del contenido tienden a priorizar y amplificar material que sexualiza el cuerpo femenino, incentiva el desnudo o semidesnudo y refuerza su tratamiento como objeto de consumo visual a través de patrones sistemáticos de optimización que reproducen y profundizan esquemas de cosificación, al convertir la imagen de la mujer en un insumo funcional.

Lo anterior da cuenta de las limitaciones de marcos normativos vigentes como la “Ley Olimpia”, que resulta insuficiente frente a arquitecturas de diseño que operan mediante procesos continuos de amplificación, segmentación y reiteración de contenido sexualizado. 

En consecuencia, se vuelve necesaria la construcción de esquemas regulatorios que incorporen obligaciones sobre diseño, criterios de recomendación, transparencia algorítmica y evaluación de riesgos, con el fin de limitar incentivos estructurales que favorecen la cosificación y subordinan la dignidad de las personas usuarias a métricas de rentabilidad.

Frente a este panorama, la referencia a las grabadoras no es un ejercicio de nostalgia, sino un contraste estructural: en esos formatos, la experiencia de consumo dependía de una decisión previa, consciente y limitada por el propio usuario. 

La ausencia de recomendación automatizada implicaba pausas, silencio y posibilidad de elección real. Recuperar esa lógica permite identificar un estándar mínimo: entornos digitales donde la persona usuaria, y especialmente niñas, niños y adolescentes, no esté permanentemente conducida por IA, sino que conserve espacios efectivos de autonomía y decisión, espacios de libertad y de ser, en sentido, en esencia y en cada etapa del desarrollo.

Autonomía amenazada

Lograr la igualdad sustantiva entre mujeres
  y hombres.

Erradicar cualquier forma de violencia
contra las mujeres.

Promover un cambio en la estructura social
en el que las personas se reconozcan y respeten.

Consolidar una cultura de derechos humanos, igualdad y no discriminación.