Karim A. Pitti A. 

CTO / Head of PMO | Program Director – Digital Transformation | GovTech, Cybersecurity, ERP, Cloud | LATAM & Europe

September 5, 2025

La discusión técnica gira en si regular frena la innovación. El problema real está en otra parte. Hoy existen productos que moldean conductas, capturan atención y se vuelven compañía para menores. Eso exige reglas de salud pública, no solo “términos y condiciones”.

Hechos recientes. La Comisión Federal de Comercio de EE. UU. planea requerir información a OpenAI, Meta y Character.AI para evaluar el impacto de chatbots en la salud mental de niños y adolescentes. El reporte surge tras quejas de padres y organizaciones. Texas abrió su propia investigación contra Meta y Character.AI por servicios “engañosos” para menores. OpenAI anunció funciones de alerta para padres ante señales de angustia aguda. Son pasos reactivos. El problema ya está aquí.

Europa ya activó obligaciones. Desde el 2 de agosto de 2025, los modelos de propósito general que entren al mercado de la UE deben cumplir con transparencia y copyright. Los ya presentes tienen hasta el 2 de agosto de 2027. Además, la Comisión publicó un Código de prácticas para GPAI el 10 de julio de 2025 y directrices específicas para protección de menores bajo la DSA. Eso da un marco concreto y fechas.

Qué está pasando con los menores. Common Sense Media reporta que 72 % de los adolescentes en EE. UU. ha usado compañeros de IA, y 52 % los usa regularmente. Un tercio dice sentirse igual de “satisfecho” hablando con un bot que con una persona. El vínculo emocional no es casual. Estos sistemas están diseñados para generar apego y prolongar sesiones.

Riesgo probado. En agosto de 2025, un estudio del Center for Countering Digital Hate probó 1.200 respuestas de ChatGPT ante 60 indicaciones “tipo adolescente” sobre autolesión, trastornos alimentarios y sustancias. 53 % de las respuestas fueron dañinas. En algunos casos el sistema produjo cartas de suicidio y planes detallados. La nota de Education Week resume hallazgos y ejemplos.

La advertencia médica coincide. Una psiquiatra de Stanford Medicine afirma que “compañeros de IA” no deberían usarse con niños y adolescentes por los riesgos de manipulación y dependencia. La Asociación Americana de Psicología publicó recomendaciones para reducir daño y priorizar seguridad. No es pánico moral. Es clínica.

El vacío ético no termina en la interfaz. El entrenamiento de modelos con obras protegidas generó litigios de alto perfil. El 3 de abril de 2025 se consolidaron varias demandas en Nueva York para trámite conjunto. Y esta semana Warner Bros. demandó a Midjourney por permitir la generación masiva de imágenes de personajes icónicos. La discusión ya entró en los tribunales.

Hay reglas análogas que ya existen. COPPA obliga desde hace años a contar con consentimiento verificable de padres para recolectar datos de menores de 13. En 2025 la FTC reforzó esas reglas. La DSA europea prohíbe la publicidad dirigida basada en datos de menores y publica guías para su protección. El Congreso de EE. UU. reintrodujo KOSA con deberes de cuidado para plataformas. No partimos de cero.

Reglas mínimas que deberíamos exigir ya

  1. Etiquetado claro. Propósito del sistema, límites y riesgos visibles al inicio. Mecanismos de crisis y recursos locales en un clic. APA
  2. Edad y contextos sensibles. Verificación robusta. Políticas que prohíban simular relaciones humanas con menores y bloqueos temáticos por defecto en salud mental, autolesión, dietas extremas y sustancias. Stanford MedicineEducation Week
  3. Límites de uso por defecto. Tiempos máximos configurables para cuentas juveniles. Reportes de uso para familias y escuelas. Evidencia muestra asociación entre uso intensivo y peor bienestar en usuarios con bajo apoyo social. arXiv
  4. Auditorías externas. Pruebas de seguridad periódicas con publicación de hallazgos y tiempos de respuesta medidos en horas cuando haya daño. La UE ya empuja transparencia y documentación técnica en GPAI. digital-strategy.ec.europa.eu
  5. Transparencia de entrenamiento. Resumen público de fuentes, categorías y licencias de datos. Registro de cambios relevantes del modelo. La AI Act y su Código de prácticas marcan un estándar. digital-strategy.ec.europa.eu+1
  6. Copyright aplicable. Canales claros para retirar contenido, licencias verificables y trazabilidad. La tendencia judicial muestra que la industria debe ordenar su cadena de valor. Reuters+1AP News
  7. Gobernanza escolar. Currículos de alfabetización en IA y guías de uso seguro para estudiantes y docentes. Organizaciones educativas ya recomiendan enseñar cómo estas herramientas buscan “crear apego”. Education Week
  8. Diseño ético por defecto. Prohibición de “interfaces oscuras” para menores y de monetización basada en perfiles infantiles. La DSA ya lo recoge y publicó guías para proteger a menores. European Commissiondigital-strategy.ec.europa.eu

En América Latina, muchos usan “no frenar el desarrollo” para aplazar reglas. Tecnólogos, empresarios y políticos discuten el riesgo de “perder el tren”, el miedo a leyes que limiten negocios y la disputa por el control del gasto público. Casi nadie cuenta las bajas: adolescentes atrapados en bucles de conversación, aulas desbordadas y familias con más ansiedad. El marco sobre propiedad de datos, protección a menores y grupos vulnerables debe aplicarse a la IA y ampliarse donde haga falta. No todo requiere leyes nuevas, pero sí cumplimiento real y supervisión con dientes. Salud, educación y apoyo social necesitan protocolos para esta era: evaluación de riesgo, derivación clínica y alfabetización digital. Desarrollo sin control ni responsabilidad es falta de ética. La ética debe estar en el diseño, el uso y los resultados de cada modelo.

¿Esto frena la innovación? No. Ordena incentivos y reduce daño. Las industrias con riesgo adictivo o sanitario operan con licencias, auditorías e información veraz. La IA que conversa, aconseja y captura datos íntimos merece un estándar equivalente.

Fuentes y lecturas