Estudio asegura que las IA no tienen sentido del humor

Investigadores de DeepMind, intrigados sobre las capacidades de los actuales modelos de IA, se han preguntado hasta que punto pueden ayudar en las actividades creativas. Para indagar un poco en esta cuestión han realizado un estudio sobre la experiencia AI x Comedy que tuvo lugar en Edimburgo, Escocia, en agosto de 2023.

El experimento

AI x Comedy fue un workshop en el que los comediantes escribieron sus rutinas con la ayuda de modelos generativos de lenguaje. Los investigadores entrevistaron a veinte profesionales involucrados. Descubrieron que las IA pueden ser una ayuda, pero de un modo limitado. Lo curioso es que a pesar de que los comediantes estaban decepcionados sobre los resultados, apuntaron que la experiencia de uso fue satisfactoria.

Lo bueno y lo malo

Las IA demostraron ser capaces de producir un buen primer borrador de un monólogo. Las estructuras que ofrecían eran buenas. Los entrevistados destacaron que, como consecuencia, eran herramientas muy útiles a la hora de enfrentar una página en blanco cuando no sabían como comenzar un trabajo. Sin embargo, aclararon, había que realizar muchas correcciones y modificaciones hasta obtener una buena rutina.

El principal problema era que las IA tienen una gran dificultad para producir material original o ser graciosas. Lo primero es fácil de entender dada la naturaleza propia de la inteligencia artificial: generar patrones, obtener la respuesta esperada. El humor en sí se basa en ofrecer una respuesta inesperada.

Los chistes fueron considerados aburridos y sin chispa. Sin importar el esfuerzo de los comediantes o que tan elaboradas eran las consignas, los resultados siguieron siendo mediocres.

Uno de los problemas es que el humor a menudo utiliza lenguaje ofensivo, pero los modelos censuran dicho contenido sin poder distinguirlo del discurso del odio o formas de discriminación. Como consecuencia quedan limitados a una base de datos restringida a todo aquello que no ofenda a nadie. Además, muchos chistes funcionan con alusiones tempranas que solo vuelven a entrar en juego luego de cierto tiempo. Las IA en cambio escriben prediciendo una palabra por vez.

Otras limitaciones señaladas fueron:

La carencia de una experiencia personal. La falta de un contexto. Falta de diversidad en las bases de datos.