Ponente
Descripción
Antecedentes: La incorporaci´on de modelos de lenguaje de gran escala
(LLMs, por sus siglas en ingl´es) en los sistemas de recomendaci´on (RS) ofrece
ventajas significativas, principalmente debido a su capacidad para extraer
representaciones de alta calidad a partir de datos textuales y aprovechar el
conocimiento codificado en ellos. A diferencia de los sistemas tradicionales,
los modelos basados en LLMs capturan mejor la informaci´on contextual,
comprendiendo de manera m´as efectiva las consultas de los usuarios, las
descripciones de los elementos y otros datos relevantes.
Objetivos: Explorar y categorizar los diferentes enfoques de integraci´on
de los LLMs en sistemas de recomendaci´on, diferenciando entre modelos discriminativos y generativos, y analizar sus beneficios y aplicaciones pr´acticas.
Resultados: La fusi´on de modelos generativos con sistemas de recomendaci´on ofrece el potencial de aplicaciones a´un m´as innovadoras y pr´acticas.
Por ejemplo, se puede mejorar la interpretabilidad de las recomendaciones, ya
que los sistemas basados en LLM pueden proporcionar explicaciones basadas
en sus capacidades de generaci´on de lenguaje, lo que ayuda a los usuarios
a entender mejor los factores que afectan sus recomendaciones. Adem´as,
los modelos de lenguaje generativo permiten recomendaciones m´as personalizadas y conscientes del contexto, como las indicaciones personalizables para
los usuarios en el sistema de recomendaci´on conversacional, lo que mejora la
participaci´on y la satisfacci´on de los usuarios con la diversidad de resultados.
Otra de las grandes ventajas de estos modelos es su capacidad de generalizar
en candidatos no vistos previamente gracias a su extenso preentrenamiento
con informaci´on basada en hechos demostrables, conocimientos espec´ıficos
del dominio y razonamiento basado en sentido com´un. Esto les permite ofre1
cer recomendaciones razonables incluso sin exposici´on previa a elementos o
usuarios espec´ıficos. Todo esto, junto con la evoluci´on de los paradigmas
de aprendizaje de la IA, ha provocado que los modelos de lenguaje generativo est´en comenzando a ganar protagonismo. En general, los modelos de
lenguaje de gran escala est´an construidos con m´ultiples bloques de Transformers, como GPT, PaLM y LLaMA, entre otros. La entrada de esta arquitectura generalmente se compone de embeddings de tokens o embeddings de
posici´on, mientras que los embeddings o tokens de salida esperados se pueden
obtener en el m´odulo correspondiente. En estos modelos, tanto la entrada
como la salida consisten en secuencias de texto. De esta forma, los enfoques
o paradigmas de integraci´on de LLMs en sistemas de recomendaci´on pueden
dividirse en tres:
• Embeddings de LLM + RS: El modelo de lenguaje se usa como
extractor de caracter´ısticas para generar embeddings de usuarios y elementos, utilizados por modelos tradicionales de recomendaci´on.
• Tokens de LLM + RS: Se generan tokens a partir de las caracter´ısticas de los usuarios y elementos, capturando preferencias sem´anticas
para mejorar la toma de decisiones.
• LLM como Sistema de Recomendaci´on: Se usa un LLM preentrenado para realizar recomendaciones directamente a partir de perfiles
de usuario, interacciones y descripciones de tareas.
En aplicaciones pr´acticas, la elecci´on de modelos de lenguaje de gran
escala influye significativamente en el dise˜no de paradigmas de modelado
en sistemas de recomendaci´on. Generalmente, estos modelos se agrupan
en dos grandes categor´ıas: LLMs discriminativos y LLMs generativos. La
taxonom´ıa de estilos de desarrollo de LLMs para recomendaci´on se puede
subdividir a´un m´as en funci´on de la forma de entrenamiento. En general,
los modelos discriminativos son adecuados para integrarse dentro del primer
paradigma, mientras que la capacidad de generaci´on de respuestas de los
modelos generativos respalda a´un m´as los paradigmas segundo y tercero.
Modelos Discriminativos: En el ´ambito de los sistemas de recomendaci´on, los modelos discriminativos se refieren principalmente a aquellos de
la serie BERT. Debido a su especializaci´on en tareas de comprensi´on del
lenguaje natural, estos modelos suelen considerarse la base para la generaci´on
de embeddings en diversas tareas posteriores. Esto tambi´en se aplica a los
sistemas de recomendaci´on, donde la mayor´ıa de los estudios existentes alinean las representaciones de modelos preentrenados como BERT con datos
espec´ıficos del dominio mediante t´ecnicas como:
2
• Fine-tuning: Ajuste de los modelos preentrenados con datos espec´ıficos
de recomendaci´on, permitiendo la adaptaci´on del modelo a interacciones usuario-art´ıculo y descripciones contextuales.
• Prompt Tuning: En lugar de modificar los modelos directamente,
esta estrategia utiliza indicaciones (prompts) que alinean la tarea de
recomendaci´on con la p´erdida preentrenada del modelo, facilitando su
aplicaci´on sin necesidad de un reentrenamiento completo.
Modelos Generativos: En comparaci´on con los modelos discriminativos, los modelos generativos tienen mejores capacidades de generaci´on de
lenguaje natural. A diferencia de los enfoques discriminativos que alinean la
representaci´on aprendida por los LLMs con el dominio de recomendaci´on, los
modelos generativos traducen las tareas de recomendaci´on como problemas
de lenguaje natural y aplican t´ecnicas como:
• Aprendizaje en contexto (In-Context Learning): Los modelos
aprenden a realizar tareas sin ajuste de par´ametros, utilizando ejemplos
de entrada y salida en los prompts.
• Fine-tuning y Prompt Tuning: Mejora la capacidad del modelo
para realizar recomendaciones adaptadas a tareas espec´ıficas.
• Instruction Tuning: Permite a los modelos ajustarse a m´ultiples tareas mediante instrucciones diversas, mejorando su capacidad de generalizaci´on.
Conclusiones: La evoluci´on de los sistemas de recomendaci´on basados
en LLMs presenta oportunidades significativas para mejorar la interpretabilidad, personalizaci´on y diversificaci´on de los resultados. Sin embargo, a´un
se encuentran en una etapa temprana de exploraci´on y enfrentan desaf´ıos
t´ecnicos, incluyendo la equidad, transparencia y eficiencia computacional. Se
destaca la importancia de abordar cuestiones como la reducci´on de sesgos, optimizaci´on de recursos y adaptabilidad a distintos dominios. La combinaci´on
de enfoques discriminativos y generativos en modelos h´ıbridos representa una
l´ınea de investigaci´on prometedora para maximizar los beneficios de ambos
paradigmas.
