Published date: Nov 09 2023

Journal Title: ESPOCH Congresses: The Ecuadorian Journal of S.T.E.A.M.

Issue title: Volume 3 Issue 1

Pages: 441–451

DOI: 10.18502/espoch.v3i1.14466

C Saavedra EscalanteEscuela Superior Politécnica Agropecuaria de Manabí “Manuel Félix López”. Calceta, Ecuador

D Alava SantanaEscuela Superior Politécnica Agropecuaria de Manabí “Manuel Félix López”. Calceta, Ecuador

F Moreira Moreirafmoreira@espam.edu.ecGrupo de Investigación SISCOM, ESPAM MFL. Calceta, Ecuador

R Moreira PicoGrupo de Investigación SISCOM, ESPAM MFL. Calceta, Ecuador

The purpose of this document is to describe the use of a natural language processing model in the multiplatform system ”Gamivity” by means of a sentence similarity algorithm to offer a personalized experience module based on the conceptual relationship between questions. For the selection process, certain criteria were chosen that will allow several pre-trained models under the “Transformers” architecture for evaluation, later. These criteria were the language with which the model was altered; Python was the programming language used for the implementation. Regarding the evaluation phase of the selected models, the ”Sentence Transformers” library of the Python programming language was used. In addition, a work environment analogous to the module present in the ”Gamivity” system was built, in which the development platform ”Google Colab” was used to test these models. The criteria for choosing the candidate model were based on its effectiveness in relation to questions as well as the computational cost involved while performing the operations in the said model Based on the applied methodology, the model that yielded the best results was ”paraphrase-multilingual- MiniLM-L12-v2,” modified with a large corpus of text in Spanish and 50 other languages, which showed a degree of precision. When it comes to conceptually relating the questions provided it was found to be optimal, having relatively low computational cost when performing these operations.

Keywords: sentence transformers, sentence similarity, relate questions, personalized learning.

Resumen

El presente documento, tiene como propósito el de describir la utilización de un modelo de procesamiento de lenguaje natural en el sistema multiplataforma “Gamivity”, por medio de un algoritmo de similitud de oraciones para ofrecer un módulo de experiencia personalizada a partir de la relación conceptual entre preguntas. Para el proceso de selección, se establecieron ciertos criterios que permitieron elegir varios modelos pre entrenados bajo la arquitectura “Transformers” para su posterior evaluación. Dichos criterios, fueron el idioma con el que fue entrenado el modelo, así como que el lenguaje de programación utilizado para la implementación fuese Python. En lo que concierne a la fase de evaluación de los modelos seleccionados, se hizo uso de la biblioteca “Sentence Transformers” del lenguaje de programación Python, además se construyó un entorno de trabajo análogo al módulo presente en el sistema “Gamivity”, en la plataforma de desarrollo “Google Colab” para poner a prueba dichos modelos, los criterios para la elección del modelo candidato, se resumen en la eficacia a la hora de relacionar preguntas, así como el coste computacional a la hora de realizar las operaciones involucradas en dicho proceso. A partir de la metodología aplicada, el modelo que mejor resultados generó fue “paraphrase-multilingual-MiniLM L12-v2”, entrenado con un gran corpus de texto en español, así como de otros 50 idiomas, el cual mostró un grado de precisión óptimo a la hora de relacionar conceptualmente las preguntas proporcionadas, así como su relativo bajo coste computacional a la hora de efectuar dichas operaciones.

Palabras Clave: sentence transformers, sentence similarity, relacionar preguntas, aprendizaje personalizado.

[1] UNESCO. “La educación transforma vidas”, UNESCO, 2021. https://es.unesco.org/themes/education/ (consultado jul. 04, 2022).

[2] León A. Qué es la educación. Scielo. 2017 Dec;11:595–604.

[3] Tu Índice para una Vida Mejor [Internet]. Oecdbetterlifeindex.org. 2015. Available from: https://www.oecdbetterlifeindex.org/es/topics/education-es/

[4] Roque Y, Sánchez A, López A, Fernández A, Moura D. Entorno de Aprendizaje Personalizado (PLE) para la asignatura de Investigación de Operaciones en Ingeniería Agrícola. Revista ciencias técnicas agropecuarias2016 Mar;25:55–59.

[5] UNESCO. “UNESCO Digital Library”, Aprendizaje personalizado, 2017. https://unesdoc.unesco.org/ark:/48223/pf0000250057_spa.

[6] Maraza B. “Hacia un aprendizaje personalizado en ambientes virtuales”, Campus virtuales: revista científica iberoamericana de tecnología educativa. 2016;20-29, 2016, [En línea]. Available: http://hdl.handle.net/11162/120601

[7] Muñoz M. Estudio de nuevos modelos de Deep Learning para el análisis y comprensión de grandes cantidades de datos. Zaragoza: Universidad Zaragoza; 2019.

[8] Vaswani A, et al., “Tensor2Tensor for Neural Machine Translation”. arXiv, 2018. doi: 10.48550/ARXIV.1803.07416.

[9] Afán de Ribera I, Blanco G, Díaz V, Jiménez A. “Utilización de modelos de Transformers en la gestión de respuestas a preguntas en PLN. Aplicaciones a asistentes conversacionales”. Colegio Universitario de Estudios Financieros. Madrid: CUNEF; 2021.

[10] Santander C. “Transformers: Redes Neuronales”, Linkedin, 2021. https://www.linkedin.com/pulse/transformers-redes-neuronales-cristian-santander/

[11] Pérez Guerrero J, Ahedo Ruiz J. “La educación personalizada según García Hoz”. Revista Complutense de Educación, vol. 31, núm. 2;153–161. abr. 2020, doi:10.5209/rced.61992.

[12] Hugging Face. Hugging Face – On a mission to solve NLP, one commit at a time. [Internet]. huggingface.co. Available from: https://huggingface.co/

[13] Reimers N, Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. 2019 Aug 27.

[14] Google Colaboratory [Internet]. colab.research.google.com. [cited 2023 Jul 4]. Available from: https://colab.research.google.com/notebooks/intro.ipynbenvenida

[15] Reimers N, Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. 2020 Apr 21.

[16] Mikolov T, Chen K, Corrado G, Dean J. “Efficient Estimation of Word Representations in Vector Space”. arXiv, 2013. doi: 10.48550/ARXIV.1301.3781

[17] Pennington J, Socher RCDD. Manning, “Glove: Global vectors for word representation”, en Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), 2014;1532–1543.

[18] Language Models and Contextualised Word Embeddings [Internet]. www.davidsbatista.net. Available from: https://www.davidsbatista.net/blog/2018/12/06/Word_Embeddings/

[19] Vaswani A, et al. Attention is all you need. Adv Neural Inf Process Syst. Volume 30. 2017.

[20] Firoozeh N, Nazarenko A, Alizon F, Daille B. Keyword extraction: Issues and methods. Natural Language Engineering. 2019 Nov 11;26(3):259–291.