Free ChatGPT puede responder incorrectamente preguntas sobre drogas, según un estudio

La versión gratuita de ChatGPT puede proporcionar respuestas inexactas o incompletas, o ninguna respuesta, a preguntas relacionadas con medicamentos, lo que podría poner en peligro a los pacientes que utilizan el chatbot viral de OpenAI, sugiere un nuevo estudio publicado el martes.

Los farmacéuticos de la Universidad de Long Island que plantearon 39 preguntas al ChatGPT gratuito en mayo consideraron que sólo 10 de las respuestas del chatbot eran “satisfactorias” según los criterios que establecieron. Las respuestas de ChatGPT a las otras 29 preguntas relacionadas con las drogas no abordaron directamente la pregunta formulada, o fueron inexactas, incompletas o ambas cosas, según el estudio.

El estudio indica que los pacientes y los profesionales de la salud deben tener cuidado al confiar en ChatGPT para obtener información sobre medicamentos y verificar cualquiera de las respuestas del chatbot con fuentes confiables, según la autora principal Sara Grossman, profesora asociada de práctica farmacéutica en LIU.

Para los pacientes, puede ser su médico o un sitio web de información sobre medicamentos del gobierno, como MedlinePlus de los Institutos Nacionales de Salud, dijo. Grossman dijo que la investigación no requirió ningún financiamiento.

Un portavoz de OpenAI dijo que la compañía guía a ChatGPT para informar a los usuarios que “no deben confiar en sus respuestas como sustituto del consejo médico profesional o la atención tradicional”.

El portavoz también compartió una sección de la política de uso de OpenAI, que establece que los “modelos de la compañía son no está ajustado para proporcionar información médica”. La gente nunca debería usar ChatGPT para proporcionar servicios de diagnóstico o tratamiento para afecciones médicas graves, según la política de uso.

ChatGPT fue ampliamente vista como la aplicación de Internet para consumidores de más rápido crecimiento de todos los tiempos luego de su lanzamiento hace aproximadamente un año, lo que marcó el comienzo de un año decisivo para la inteligencia artificial. Pero en el camino, el chatbot también ha planteado preocupaciones sobre cuestiones como el fraude, la propiedad intelectual, la discriminación y la desinformación.

Varios estudios han destacado casos similares de respuestas erróneas de ChatGPT, y la Comisión Federal de Comercio abrió en julio una investigación sobre la precisión del chatbot y la protección del consumidor.

En octubre, ChatGPT atrajo alrededor de 1.700 millones de visitas en todo el mundo, según un análisis. No hay datos sobre cuántos usuarios hacen preguntas médicas al chatbot.

En particular, la versión gratuita de ChatGPT está limitada al uso de conjuntos de datos hasta septiembre de 2021, lo que significa que podría carecer de información importante en el panorama médico que cambia rápidamente. No está claro con qué precisión las versiones pagas de ChatGPT, que comenzaron a utilizar la navegación por Internet en tiempo real a principios de este año, ahora pueden responder preguntas relacionadas con los medicamentos.

Grossman reconoció que existe la posibilidad de que una versión paga de ChatGPT hubiera producido mejores resultados del estudio. Pero dijo que la investigación se centró en la versión gratuita del chatbot para replicar lo que usa y puede acceder una mayor parte de la población general.

Añadió que el estudio proporcionó sólo “una instantánea” del rendimiento del chatbot a principios de este año. Es posible que la versión gratuita de ChatGPT haya mejorado y produzca mejores resultados si los investigadores realizaran un estudio similar ahora, añadió.

El estudio utilizó preguntas reales planteadas al servicio de información sobre medicamentos de la Facultad de Farmacia de la Universidad de Long Island desde enero de 2022 hasta abril de este año.

En mayo, los farmacéuticos investigaron y respondieron 45 preguntas, que luego fueron revisadas por un segundo investigador y utilizadas como estándar de precisión frente a ChatGPT. Los investigadores excluyeron seis preguntas porque no había literatura disponible para proporcionar una respuesta basada en datos.

Según el estudio, ChatGPT no abordó directamente 11 preguntas. El chatbot también dio respuestas inexactas a 10 preguntas y respuestas incorrectas o incompletas a otras 12.

Para cada pregunta, los investigadores pidieron a ChatGPT que proporcionara referencias en su respuesta para que se pudiera verificar la información proporcionada. Sin embargo, el chatbot proporcionó referencias en sólo ocho respuestas, y cada una incluyó fuentes que no existen.

Una pregunta se le hizo a ChatGPT sobre si existe una interacción farmacológica, o cuando un medicamento interfiere con el efecto de otro cuando se toman juntos, entre Pfizerla pastilla antiviral Covid Paxlovid y el medicamento para bajar la presión arterial verapamilo.

ChatGPT indicó que no se habían reportado interacciones para esa combinación de medicamentos. En realidad, esos medicamentos tienen el potencial de reducir excesivamente la presión arterial cuando se toman juntos.

“Sin conocimiento de esta interacción, un paciente puede sufrir un efecto secundario no deseado y prevenible”, afirmó Grossman.

Grossman señaló que los reguladores estadounidenses autorizaron Paxlovid por primera vez en diciembre de 2021. Eso es unos meses antes del límite de datos de septiembre de 2021 para la versión gratuita de ChatGPT, lo que significa que el chatbot tiene acceso a información limitada sobre el medicamento.

Aún así, Grossman calificó eso como una preocupación. Es posible que muchos usuarios de Paxlovid no sepan que los datos están desactualizados, lo que los deja vulnerables a recibir información inexacta de ChatGPT.

Otra pregunta le preguntó a ChatGPT cómo convertir dosis entre dos formas diferentes del medicamento baclofeno, que puede tratar los espasmos musculares. La primera forma era intratecal, o cuando el medicamento se inyecta directamente en la columna, y la segunda forma era oral.

Grossman dijo que su equipo encontró que no existe una conversión establecida entre las dos formas del medicamento y que difería en los diversos casos publicados que examinaron. Dijo que “no es una pregunta sencilla”.

Pero ChatGPT proporcionó en respuesta solo un método para la conversión de dosis, que no estaba respaldado por evidencia, junto con un ejemplo de cómo realizar esa conversión. Grossman dijo que el ejemplo tenía un error grave: ChatGPT mostraba incorrectamente la dosis intratecal en miligramos en lugar de microgramos.

Cualquier profesional de la salud que siguiera ese ejemplo para determinar una conversión de dosis adecuada “terminaría con una dosis 1.000 veces menor de lo que debería ser”, afirmó Grossman.

Añadió que los pacientes que reciben una dosis del medicamento mucho menor de la que deberían recibir podrían experimentar un efecto de abstinencia, que puede implicar alucinaciones y convulsiones.