Los LLMs que más respuestas amigables o cálidas generan son más propensos a cometer errores

Las grandes tecnológicas se han esforzado en diseñar modelos de lenguaje con personalidades cálidas, empáticas y sociables para hacernos sentir más cómodos. Sin embargo, un reciente estudio de la Universidad de Oxford ha determinado que programar a la IA para que sea amable está influyendo en la calidad de sus respuestas. 

La investigación de Oxford, titulada «Training language models to be warm can reduce accuracy and increase sycophancy», revela un conflicto entre la calidez humana y la precisión de la máquina. Al evaluar cinco grandes modelos de lenguaje (entre ellos GPT-4o y versiones de Llama), los investigadores descubrieron que, al optimizar un modelo para ser amigable, su rendimiento en tareas críticas cae en picado.

Un envoltorio complaciente

Los datos son contundentes: los modelos entrenados para ser «cálidos» mostraron tasas de error de entre 10 y 30 puntos porcentuales más altas que sus versiones originales, más frías y asépticas. Esta degradación de la precisión no es un fallo menor, ya que se manifestó en áreas críticas: la IA comenzó a promover teorías de conspiración, inventar información fáctica y ofrecer consejos médicos erróneos con tal de mantener un tono agradable. 

El principal culpable de esto es un fenómeno que los investigadores denominan sincofanía (o validación complaciente). Los modelos amigables tienen un 40% más de probabilidades de dar la razón a las creencias incorrectas del usuario simplemente para evitar el conflicto o mantener la armonía de la relación.

Este comportamiento se agrava cuando entran en juego nuestras emociones. El estudio de Oxford midió qué ocurre cuando el usuario expresa vulnerabilidad o tristeza. En estos casos, la máquina prioriza consolar al usuario antes que corregirle: la brecha de error entre un modelo cálido y uno original aumentó un asombroso 60% cuando los usuarios expresaron sentimientos de tristeza. La IA prefiere mentirte antes que hacerte sentir mal.

Los jóvenes confían, pero la duda global crece 

Este afán por crear máquinas empáticas choca con la forma en que la sociedad está empezando a percibir la tecnología. Según un reciente informe del Pew Research Center, existe una brecha generacional evidente en la adopción de estas herramientas. Los jóvenes en prácticamente todos los países encuestados son mucho más conscientes de la IA y tienden a mostrarse más entusiasmados y receptivos frente a su uso en la vida diaria que los adultos mayores.

Sin embargo, a nivel global, la percepción general empieza a cuestionar la efectividad y el impacto de la IA. A pesar del entusiasmo juvenil, a nivel general el público está más preocupado que emocionado por la creciente presencia de la IA en su rutina.