Un reciente estudio aleatorizado publicado en Nature Medicine, liderado por la Universidad de Oxford, pone en jaque la fiabilidad de los chatbots IA información médica inexacta y peligrosa. Con más de 1.200 participantes sin formación médica del Reino Unido interactuando con modelos como GPT-4o, Llama 3 y Command R+, los resultados son demoledores: aciertos en diagnósticos por debajo del 34,5% y en disposiciones clínicas inferiores al 44,2%. Sorprendentemente, no superaron a un grupo control usando Google. Este hallazgo cuestiona el hype alrededor de la IA en salud.

Detalles del estudio y metodología rigurosa

La investigación, la más amplia hasta la fecha, simuló escenarios clínicos detallados. Los usuarios formularon consultas basadas en síntomas reales, evaluando diagnósticos y recomendaciones. Mientras los chatbots acertaron en un 94,9% en pruebas directas sin humanos, la interacción real reveló chatbots IA información médica inexacta: alucinaciones, números de emergencia incompletos y cambios erráticos en consejos por variaciones mínimas en prompts.

Casi el 50% de errores provino de la dinámica usuario-modelo, destacando no solo límites técnicos de los LLM, sino fallos en la comprensión contextual humana. Datos duros: GPT-4o lideró con 49,2% en diagnósticos, pero aún lejos de estándares clínicos. Esto evidencia que la IA brilla en vacío, pero tropieza con la realidad.

Problemas técnicos y riesgos identificados

Los fallos incluyen generación de datos falsos, confusión entre urgencias y no urgencias, y sensibilidad excesiva a reformulaciones. Por ejemplo, un síntoma variado mínimamente alteraba drásticamente la recomendación, pasando de ‘emergencia’ a ‘observación’. Estos patrones no son anécdotas: el estudio cuantifica cómo los chatbots fallan en diferenciar matices vitales, potencialmente costando vidas.

Comparado con Google, donde usuarios accedían a fuentes verificadas, los chatbots parecieron ‘democratizar’ el error, amplificando sesgos implícitos en entrenamiento. No es casualidad: los LLM priorizan fluidez sobre precisión médica verificada.

Implicaciones para regulación y despliegue en salud

Los autores concluyen que ningún modelo está listo para atención directa al paciente, urgiendo pruebas exhaustivas con humanos. Esto choca con el entusiasmo regulatorio: la UE con su AI Act clasifica salud como ‘alto riesgo’, demandando validaciones estrictas. Pero, ¿sobrerregulación frena innovación? Datos de mercado muestran IA ya optimizando diagnósticos en hospitales (ej. IBM Watson con 90% precisión en cáncer selectivo).

El riesgo real no es la IA per se, sino su uso prematuro sin safeguards. Precedentes como Theranos advierten contra hype sin evidencia, pero prohibir chatbots equivaldría a vetar herramientas como calculadoras médicas por errores humanos.