Los errores de ChatGPT y Grok y los límites de este tipo de herramienta

Hace un par de años escribí un artículo sobre la disrupción provocada por ChatGPT. Y lo cierto es que este tipo de herramienta se ha convertido en una forma muy habitual de buscar información. ChatGPT, Grok y similares facilitan mucho la vida, pero también cometen muchos errores. Lo sé muy bien, porque, como muchas personas, hago un uso intensivo de esos chats de IA. Pero siempre con cuidado. He pensado compartir algunas de mis reflexiones con los emprendedores que estén usando este tipo de soluciones para facilitarse la vida.

La coletilla de aviso

En el pie de página de ChatGPT te encontrarás con un aviso: “ChatGPT puede cometer errores. Considera verificar la información importante.” En Grok, ni se molestan en indicarlo de forma automática. Solo cuando tocas un tema técnico sensible, acaba su respuesta con un Grok no es abogado (o médico) y una invitación a consultar tus dudas con un experto.

Pero esos avisos entran en flagrante contradicción con la seguridad con la que esas herramientas te proporcionan la información. Responden argumentando que han consultado 15 páginas web de referencia, citando y enlazando los artículos correspondientes, y dando por lo general una sensación de que la información proporcionada es muy fiable.

Pero, con bastante frecuencia, sus respuestas están plagadas de errores. Y me llama la atención, porque muchos de esos fallos son sobre datos perfectamente contrastables.

El ejemplo de los códigos ISIN de empresas

Como estamos en época de declaración de la renta, quería comprobar que la información que tiene Hacienda sobre los dividendos que percibí en 2024 cuadra con mis propios registros. Para las empresas internacionales, se ve que mi banco solo informa del código ISIN de la compañía. En lugar de ponerme a buscarlos uno por uno, se me ocurrió preguntarle a Grok que me hiciera un cuadro con el ISIN y el nombre de la empresa. No era una lista muy larga, de quizás 20 registros.

Sin embargo, la mitad de las empresas que me indicó Grok no eran correctas, y para mí era fácil saberlo, porque nunca las había tenido en cartera. Le indiqué cuáles veía que estaban mal, y corrigió la lista, sustituyéndolas por otras empresas erróneas. Probé con ChatGPT y más de lo mismo.

Sin embargo, me bastaba poner el ISIN en Google, y enseguida me salían 10 resultados de distintas páginas web presentando el perfil de la empresa cotizada. Todos los resultados eran de la misma empresa. No era una información complicada de conseguir. Lo único que, en lugar de hacerlo 20 veces, quise probar suerte con la IA para ahorrarme unos minutos. Y acabé perdiendo mucho tiempo.

Hay muchos más errores

Cuando busco información sobre datos económicos de sectores, o sobre fiscalidad y otros aspectos, es muy frecuente que la inteligencia artificial de proporcione datos equivocados o desactualizados. Por eso, desde que uso este tipo de herramientas, siempre hago lo mismo. Me sirve para tener una primera idea general sobre algunos temas, y luego voy buscando las fuentes por mi cuenta. Porque no es raro que ChatGPT o Grok te den un dato, enlacen una web como fuente, y que luego en esa página no este esa información.

Creo que puedo mantener un chiste que hice a mis amigos hace ya muchos meses: “ChatGPT es como ese amigo al que le preguntas algo y prefiere responderte algo inventado antes que quedarse callado.” Porque esas herramientas han sido diseñadas para responder a cualquier pregunta. Y no piensan. No saben diferenciar si una información es correcta o no. Si no tienen la información, responden de todos modos.

Y cuando contradicen lo que han dicho, hasta están programadas para minimizar sus errores, y contestan cosas como “tienes razón, mi respuesta anterior no fue precisa”. ¿No fue precisa? No es un problema de precisión. Fue equivocada, errónea, una metedura de pata completa.

El mal uso de la tecnología

Al igual que cuando salió Wikipedia, toda una generación de estudiantes se precipitaron a usar sus artículos para ahorrarse el trabajo. Hoy hacen lo mismo con ChatGPT y otras herramientas de inteligencia artificial. Y, a menudo son tan vagos que lo usan tal cuál, sin siquiera tomarse la molestia de expresar la información con sus propias palabras, por lo que se les nota el plumero. Y por supuesto, no se van a molestar en comprobar. También me pasa cuando alguien me pide un plan de empresa, y responde a las preguntas personalizadas que le hago usando esas herramientas.

En el mundo de los blogs, ha pasado algo parecido. Muchos creadores de contenidos se han limitado a pedirle a la IA que escribiese sobre diversos temas. Y han publicado sin mayores retoques. Es curioso, porque la IA usa la información disponible en Internet, y si al final el Internet se llena de la información generada por la IA, entramos en un bucle.

Personalmente, también he usado la IA para encontrar ideas de artículos. Pero creo que siempre he procurado escribir algo personal, aportando mis conocimientos sobre los temas, con sus aciertos y errores.

La disrupción tecnológica ha tenido sus consecuencias. Por ejemplo, el cambio de algoritmo de Google, destinado a perjudicar a las páginas que usaban mucho contenido generado por IA, acabó perjudicando a todos los blogs. Como ya comenté hace unas semanas, ahora las páginas mejor posicionadas son aquellas que vende productos o servicios, y que se han gastado dinero en SEO, y probablemente en comprar enlaces.

¿Qué quiero decir con todo eso?

Simplemente que aprendamos a usar correctamente las herramientas. Grok o ChatGPT son geniales para ahorrar mucho tiempo en algunos aspectos, y para tener respuestas fundamentadas en un montón de temas. Sin embargo, siempre hay que contrastar lo que responden, porque con los datos siguen fallando mucho. Y no queremos acostumbrarnos a dar por ciertas informaciones que no lo son.

Cuéntame, ¿usas mucho esas herramientas? ¿Cuál es el mayor fallo que has visto? No dudes en compartir tus experiencia con el resto de los lectores.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Salir de la versión móvil