En un caso que pone a prueba los límites de la OpenAI debatió alertar policía por conversaciones perturbadoras en ChatGPT, la compañía detectó en junio de 2025 interacciones alarmantes de Jesse Van Rootselaar, la tiradora de 18 años autora del tiroteo masivo en Tumbler Ridge, Columbia Británica, el 10 de febrero de 2026. Nueve muertos, 25 heridos y un debate ético sobre si las IA deben actuar como vigilantes preventivos.
Los chats detectados y la respuesta interna de OpenAI
El sistema automatizado de OpenAI flagged múltiples sesiones donde Van Rootselaar describía escenarios de violencia armada con detalle durante días. Alrededor de doce empleados revisaron el caso, debatiendo intensamente notificar a la policía canadiense. Sin embargo, los ejecutivos optaron por no hacerlo, argumentando que no alcanzaba el umbral de ‘riesgo inminente y creíble de daño físico grave’. En su lugar, banearon la cuenta por ‘uso indebido en actividades violentas’ mediante herramientas automáticas y humanas.
Esta decisión refleja la política de escalada de OpenAI, enfocada en amenazas claras e inminentes, priorizando privacidad sobre especulaciones. Post-tiroteo, colaboraron con autoridades y emitieron condolencias, pero el incidente revive preguntas sobre monitoreo proactivo en chatbots.
Dilemas éticos en la moderación de IA
A diferencia de redes sociales pasivas, los chatbots como ChatGPT interactúan dinámicamente, potencialmente amplificando crisis mentales. Casos previos ligan obsesiones con IA a suicidios y asesinatos, generando demandas. OpenAI monitorea planificación de crímenes violentos, pero definir ‘creíble’ es subjetivo. ¿Cuántos falsos positivos justificarían invasiones a la privacidad?
Estadísticas muestran que plataformas como Meta reportan millones de casos anuales a警方, pero con tasas de acción baja. OpenAI no revela si su sistema ha prevenido incidentes, alimentando críticas por opacidad.
Implicaciones regulatorias y libertad de expresión
Este suceso intensifica el escrutinio sobre responsabilidad de empresas IA. Reguladores europeos, con su AI Act, exigen transparencia en sistemas de alto riesgo, pero imponer obligación de reporte podría ahogar innovación. En Canadá, investigaciones sobre Roblox –otro rastro digital de Van Rootselaar– destacan patrones similares en gaming.
Defensores de privacidad argumentan que convertir IA en policía pre-crime viola derechos fundamentales, evocando distopías orwellianas sin evidencia de eficacia masiva.
Reacciones y contexto de mercado
Expertos en ética IA claman por estándares globales, mientras competidores como Anthropic enfatizan ‘IA constitucional’ con safeguards estrictos. OpenAI, líder con 200 millones usuarios semanales en ChatGPT, enfrenta presión pero mantiene que su enfoque equilibra seguridad y libertad.
El mercado de moderación IA crece a 15% anual, pero sobrerregulación podría frenar avances, como vimos con GDPR impactando startups.
Análisis Blixel:
Como escéptico de narrativas alarmistas, veo en este caso de OpenAI debatió alertar policía una hipocresía regulatoria clásica: exigir de empresas privadas deberes policiales sin recursos ni accountability estatal. ¿Por qué OpenAI, no Discord o Google? Su umbral de ‘inminente daño’ es lógico; chats violentos abundan en ficción, gaming y terapia. Forzar reportes masivos generaría millones de falsos positivos, erosionando confianza y libertad expresión –un pilar digital que ya sufre censura corporativa disfrazada de ‘seguridad’.
Datos duros: FBI recibe 20.000 tips mensuales de tech, con <1% leading a acción. Precedentes como el manifesto de Christchurch muestran que bans reactivos fallan si la mente está decidida. Innovación en IA requiere pragmatismo, no pánico: mejorar prompts de desescalada y detección anónima, sin vigilantismo. Sobrerregular aquí frena modelos que salvan vidas en salud mental. Ironía: mientras estados fallan en prevención real, señalan a ChatGPT. Prioricemos evidencia sobre headlines.
Fuente: No disponible
Deja una respuesta