Finetune a un LLM para la creación de chats de apoyo al aprendizaje. Caso de estudio para la Ingeniería de Software
Date
2025-03-19
Authors
López Gómez, Juan José
García-Peñalvo, Francisco José
García-Holgado, Alicia
Journal Title
Journal ISSN
Volume Title
Publisher
Departamento de Informática y Automática. Universidad de Salamanca
Abstract
El avance continuo en la inteligencia artificial ha provocado un aumento de la popularidad y usos en distintas disciplinas de los modelos de lenguaje a gran escala, ofreciendo oportunidades sin precedentes en la educación mediante desarrollo de Chatbots debido a la flexibilidad y facilidad de interacción mediante lenguaje natural. En la actualidad el desarrollo de modelos de lenguaje a gran escala está liderado por la empresa OpenAI con sus modelos ChatGPT 3.5, ChatGPT 4 y el reciente ChatGPT-4o; otras empresas están tratando de desarrollar sus modelos de código libre para poder competir con los modelos privados de OpenAI. Haciendo uso de estos modelos de código libre esta investigación pretende abordar el desarrollo, y la comparación con los modelos privados mencionados, de un modelo de lenguaje a gran escala de código libre que será especializado mediante un proceso de finetuning realizado con un conjunto de datos, o corpus, desarrollado tanto en inglés como en español para poder observar cómo varía el comportamiento enfocado en la disciplina de la Ingeniería de Software. Los modelos de lenguaje a gran escala desarrollados, y el corpus creado para la especialización, como resultado de la investigación cumplen la función de poderse utilizar como herramientas de apoyo al aprendizaje para los estudiantes, pero la conclusión que se obtiene es que el proceso de especialización que se lleve a cabo no es viable si no se tiene un conjunto de datos con la calidad suficiente y el hardware necesario para ello no se van a poder obtener resultados como los que ofrecen los modelos de OpenAI tanto en su versión gratuita como en su versión de pago para ser utilizados como herramientas de apoyo al estudiante en la disciplina de la Ingeniería de Software.
Description
Keywords
Modelos de lenguaje a gran escala, especialización, educación, Ingeniería de Software, código libre, corpus
Citation
López Gómez, J. J., García-Peñalvo, F. J., & García-Holgado, A. (2025). Finetune a un LLM para la creación de chats de apoyo al aprendizaje. Caso de estudio para la Ingeniería de Software. In J. A. Cordón Muñoz & J. García Pechero (Eds.), Avances en Informática y Automática. Decimoséptimo Workshop (pp. 264-285). Departamento de Informática y Automática. Universidad de Salamanca.