Finetune a un LLM para la creación de chats de apoyo al aprendizaje. Caso de estudio para la Ingeniería de Software

Abstract

El avance continuo en la inteligencia artificial ha provocado un aumento de la popularidad y usos en distintas disciplinas de los modelos de lenguaje a gran escala, ofreciendo oportunidades sin precedentes en la educación mediante desarrollo de Chatbots debido a la flexibilidad y facilidad de interacción mediante lenguaje natural. En la actualidad el desarrollo de modelos de lenguaje a gran escala está liderado por la empresa OpenAI con sus modelos ChatGPT 3.5, ChatGPT 4 y el reciente ChatGPT-4o; otras empresas están tratando de desarrollar sus modelos de código libre para poder competir con los modelos privados de OpenAI. Haciendo uso de estos modelos de código libre esta investigación pretende abordar el desarrollo, y la comparación con los modelos privados mencionados, de un modelo de lenguaje a gran escala de código libre que será especializado mediante un proceso de finetuning realizado con un conjunto de datos, o corpus, desarrollado tanto en inglés como en español para poder observar cómo varía el comportamiento enfocado en la disciplina de la Ingeniería de Software. Los modelos de lenguaje a gran escala desarrollados, y el corpus creado para la especialización, como resultado de la investigación cumplen la función de poderse utilizar como herramientas de apoyo al aprendizaje para los estudiantes, pero la conclusión que se obtiene es que el proceso de especialización que se lleve a cabo no es viable si no se tiene un conjunto de datos con la calidad suficiente y el hardware necesario para ello no se van a poder obtener resultados como los que ofrecen los modelos de OpenAI tanto en su versión gratuita como en su versión de pago para ser utilizados como herramientas de apoyo al estudiante en la disciplina de la Ingeniería de Software.