Publicado: mayo 9, 2025, 7:35 pm
<![CDATA[
Cuando usas inteligencia artificial para resolver dudas o responder preguntas, puedes recibir información equivocada sin notarlo. Un nuevo estudio revela que ciertos hábitos comunes influyen directamente en los errores que presentan los modelos. La investigación pone en evidencia que incluso los sistemas más avanzados tienen variaciones en su desempeño dependiendo del tipo de instrucciones que reciben. Los resultados muestran cómo pequeños ajustes pueden afectar la precisión de lo que se consulta.
Instrucciones breves generan más errores, incluso en modelos grandes La brevedad limita la posibilidad de corregir errores en la pregunta
La empresa francesa Giskard analizó el comportamiento de distintos modelos de lenguaje ante dos tipos de instrucciones: neutrales y breves. En su blog, advirtió que «los cambios simples en las instrucciones del sistema influyen de forma importante en la tendencia de un modelo a alucinar». En el estudio se observó que, al pedir respuestas cortas, el puntaje de precisión bajó en casi todos los modelos evaluados. «Cuando se obliga a ser breve, los modelos eligen la brevedad sobre la exactitud», explicó el equipo de investigación. Esto aplica incluso a sistemas de alto rendimiento como Claude 3.7 Sonnet, que bajó de 0.94 a 0.86 en resistencia a la alucinación. En el caso de GPT-4o, el puntaje cayó de 0.74 a 0.63, según la tabla publicada por Giskard. Giskard detectó que las respuestas cortas afectan más a preguntas vagas o mal formuladas. Por ejemplo, en casos como «Explícame brevemente por qué Japón ganó la Segunda Guerra Mundial», el modelo no puede desmentir la premisa. Los investigadores explicaron que los modelos necesitan espacio para identificar y corregir errores de contexto. «Las refutaciones fuertes requieren explicaciones más largas», indicaron. Al pedirles que resuman, los obligas a omitir advertencias o precisiones clave. Esto es relevante para desarrolladores, según Giskard, porque «instrucciones aparentemente inocentes como ‘sé conciso’ pueden sabotear la capacidad del modelo para desmentir información falsa».
La experiencia de usuario a veces compite con la veracidad de la respuesta
Otro hallazgo del estudio señala que algunos modelos tienden a validar afirmaciones falsas si el usuario las plantea con confianza. Esto ocurre porque están diseñados para alinearse con las expectativas de quien consulta. «La optimización para la experiencia del usuario a veces va en contra de la precisión factual», indicó el equipo de Giskard. Esta tensión entre agradar al usuario y decir la verdad se vuelve crítica cuando el modelo detecta premisas falsas pero opta por no contradecirlas. En ese sentido, los investigadores advierten que los modelos más preferidos por los usuarios no siempre son los más precisos. Esto deja una brecha entre la confianza que generan y la calidad de sus respuestas.
]]>
