El estudio de la empresa tecnológica Saturn mostró que los chatbots de IA populares a menudo cometen errores al trabajar con cuestiones financieras. En las pruebas participaron ChatGPT, Claude, Copilot, Grok y Gemini: en total, 18 modelos recibieron más de 10,000 solicitudes, cada una de las cuales se podía repetir hasta cinco veces si era necesario. Los investigadores prepararon más de 100 preguntas relacionadas con finanzas y utilizaron tanto versiones gratuitas como de pago de los servicios. En promedio, los modelos dieron respuestas incorrectas en el 57% de los casos. Cuando las tareas se volvían más complejas y requerían realizar varios cálculos consecutivos, la proporción de errores aumentaba al 88%. En algunos modelos, el índice en tales escenarios alcanzaba el 99%. El resultado más preciso lo mostró Claude Opus 5 en modo de razonamiento, aunque también cometió errores en el 39% de las respuestas. Las versiones de pago se desempeñaron mejor que las gratuitas, y las más nuevas fueron más precisas que las antiguas.
Los autores identificaron varios tipos de problemas: errores aritméticos, ignorancia de futuros cambios en la legislación fiscal, referencias a normas inexistentes, respuestas incorrectas a solicitudes de múltiples etapas. Uno de los ejemplos fue una consulta a la versión gratuita de Claude Haiku 4.5 sobre la tributación de los ahorros para la jubilación: según los cálculos de los investigadores, el error del modelo podría haber llevado potencialmente a un cobro adicional por parte de HMRC de £17,500, o alrededor de $23,430. En otro caso, Claude formuló una regla inexistente sobre préstamos estudiantiles y afirmó que el prestatario podría dejar de pagar después de mudarse al extranjero.
"Millones de personas confían en los modelos de IA para obtener consejos financieros, pero reciben respuestas incorrectas que podrían hacerles perder dinero", declaró el director general de Saturn, Amal Jolly.
Sarah Coles, directora del área de finanzas personales de la plataforma de inversión AJ Bell, señaló que la IA aún puede ser útil para elaborar presupuestos y buscar información. "Este es un buen ejemplo de por qué las personas que necesitan apoyo requieren un consejo profesional, no confiar en la IA", dijo ella.
El estudio se comparó con los datos de la Autoridad de Conducta Financiera del Reino Unido (FCA): uno de cada cinco adultos en el país está dispuesto a confiar en la IA para tomar decisiones financieras, y el mayor interés se observa en áreas complejas como deudas, pensiones e inversiones. Según Jolly, las recomendaciones financieras de la IA aún no están reguladas, por lo que los usuarios no tienen el mismo nivel de protección y compensaciones que al acudir a un especialista humano.
Artículos relacionados
