¿Cómo realizar una revisión sistemática de literatura? Francisco José García-Peñalvo Grupo GRIAL Dpto. Informática y Automática Instituto Universitario de Ciencias de la Educación (https://ror.org/00xnj6419) Universidad de Salamanca (https://ror.org/02f40zc51), Salamanca, España fgarcia@usal.es https://orcid.org/0000-0001-9987-5584 http://grial.usal.es https://twitter.com/frangp Resumen Curso impartido en el ICE de la Universidad Politécnica de Madrid (ETSI Caminos) el 18 de abril de 2024 dentro del Plan de Formación del Profesorado del Curso 2023-2024. El objetivo del curso es introducir a los investigadores a la realización de una revisión de literatura. Se parte de la necesidad de realizar revisiones de literatura para conocer el estado de la cuestión, distinguiendo el concepto de revisión del de revisión sistemática. Hay varios tipos de revisiones sistemáticas que se presentan y se inciden en los tipos más utilizados, la revisión sistemática, las revisiones de ámbitos y los mapeos de literatura. Una vez que se tienen los conceptos básicos se introducen los marcos metodológicos de referencia para realizar las revisiones sistemáticas. Se describen en detalle las tres grandes fases de una revisión sistemática (planificación, realización e informe). Se termina con un sencillo caso de estudio de un mapeo sistemática de literatura. Es importante apoyarse en diferentes herramientas durante el proceso, se introducen varias, pero se pone un mayor énfasis en Parfisal y Bibliometrix. Los objetivos específicos del curso son: 1. Conocer qué se entiende por revisión sistemática de literatura. 2. Evaluar el esfuerzo necesario para realizar una revisión sistemática de literatura. 3. Planificar una revisión sistemática de literatura. 4. Realizar una revisión sistemática de literatura. 5. Plasmar el trabajo realizado en un informe o artículo de investigación. Los contenidos del seminario son: 1. Introducción a las revisiones sistemáticas 2. Revisiones sistemáticas de literatura vs. Revisiones de mapeo de literatura y Revisiones de alcance 3. Marcos metodológicos de referencia para la realización de revisiones sistemáticas de literatura 4. Fase de planificación 5. Fase de realización 6. Fase de informe 7. Caso de estudio 8. Colección de flujos de trabajo y herramientas para realizar revisiones de literatura 9. Bibliometrix 10. Conclusiones Palabras clave Mapeo de literatura; Revisión sistemática de literatura; Revisión de alcance; SLM; SLR; Scoping review; Parsifal; Bibliometrix Enlace al recurso educativo https://zenodo.org/record/10972526 DOI 10.5281/zenodo.10972526 Cita recomendada F. J. García-Peñalvo, "¿Cómo realizar una revisión sistemática de literatura?," presentado en el ICE de la Universidad Politécnica de Madrid (18 de abril de 2024), Salamanca, España, 2024. Disponible: https://bit.ly/49E62NI. doi: 10.5281/zenodo.10972526. Referencias [1] F. J. García-Peñalvo, "Developing robust state-of-the-art reports: Systematic Literature Reviews," Education in the Knowledge Society, vol. 23, art. e28600, 2022. doi: 10.14201/eks.28600. [2] V. Chavan y L. Penev, "The data paper: A mechanism to incentivize data publishing in biodiversity science," BMC Bioinformatics, vol. 12, no. 15, p. S2, 2011. doi: 10.1186/1471-2105-12-S15-S2. [3] G. V. Glass, "Primary, Secondary, and Meta-Analysis of Research," Educational Researcher, vol. 5, no. 10, pp. 3-8, 1976. [4] L. Codina. (2017, April 20th, 2017). Revisiones bibliográficas y cómo llevarlas a cabo con garantías: systematic reviews y SALSA Framework. Disponible en: https://goo.gl/CG6vL5 [5] J. A. Guirao-Goris, A. Olmedo Salas y E. Ferrer Ferrandis, "El artículo de revisión," Revista Iberoamericana de Enfermeria Comunitaria, vol. 1, no. 1, 2008. [6] M. T. Icart Isern y J. Canela Soler, "El artículo de revisión," Enfermería Clínica, vol. 4, no. 4, pp. 180-184, 1994. [7] B. Gastel y R. Day, How to Write and Publish a Scientific Paper, 8th ed. Santa Barbara, CA, USA: Greenwood, 2016. [8] M. Soto y G. Rada, "Formulación de preguntas en medicina basada en la evidencia," Revista Médica de Chile, vol. 131, no. 10, pp. 1202-1207, 2003. doi: 10.4067/S0034-98872003001000016. [9] H. Martín Rodero, "La búsqueda bibliográfica, pilar fundamental de la medicina basada en la evidencia: evaluación multivariante de las enfermedades nutricionales y metabólicas," PhD, Departamento de Salud Pública, Historia de la Ciencia y Ginecología, Universidad Miguel Hernández, Alicante, España, 2014. Disponible en: https://goo.gl/PpjQop [10] M. J. Grant y A. Booth, "A typology of reviews: an analysis of 14 review types and associated methodologies," Health Information and Libraries Journal, vol. 26, no. 2, pp. 91-108, 2009. doi: 10.1111/j.1471-1842.2009.00848.x. [11] S. Kulviwat, C. Guo y N. Engchanil, "Determinants of online information search: a critical review and assessment," Internet Research, vol. 14, no. 3, pp. 245-253, 2004. doi: 10.1108/10662240410542670. [12] C. Kelleher y R. Pausch, "Lowering the barriers to programming: A taxonomy of programming environments and languages for novice programmers," ACM Computing Surveys, vol. 37, no. 2, pp. 83-137, 2005. doi: 10.1145/1089733.1089734. [13] F. J. García-Peñalvo, D. Reimann, M. Tuul, A. Rees y I. Jormanainen, "An overview of the most relevant literature on coding and computational thinking with emphasis on the relevant issues for teachers," TACCLE3 Consortium, Belgium, 2016. doi: 10.5281/zenodo.165123. [14] F. J. García-Peñalvo y A. M. Seoane-Pardo, "Una revisión actualizada del concepto de eLearning. Décimo Aniversario," Education in the Knowledge Society, vol. 16, no. 1, pp. 119-144, 2015. doi: 10.14201/eks2015161119144. [15] A. Hall y G. Walton, "Information overload within the health care system: a literature review," Health Information & Libraries Journal, vol. 21, no. 2, pp. 102-108, 2004. doi: 10.1111/j.1471-1842.2004.00506.x. [16] L. I. González-Pérez, M. S. Ramírez-Montoya y F. J. García-Peñalvo, "Discovery Tools for Open Access Repositories: A Literature Mapping," en Proceedings of the Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM’16) (Salamanca, Spain, November 2-4, 2016), F. J. García-Peñalvo, Ed. ICPS: ACM International Conference Proceeding Series, pp. 299-305, New York, NY, USA: ACM, 2016. doi: 10.1145/3012430.3012532. [17] L. I. González-Pérez, M. S. Ramírez-Montoya, F. J. García-Peñalvo y J. E. Quintas Cruz, "Usability evaluation focused on user experience of repositories related to energy sustainability: A Literature Mapping," en Fifth International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM’17) (Cádiz, Spain, October 18-20, 2017) J. M. Dodero, M. S. Ibarra Sáiz y I. Ruiz Rube, Eds. ICPS: ACM International Conference Proceeding Series, New York, NY, USA: ACM, 2017. doi: 10.1145/3144826.3145385. [18] K. Petersen, R. Feldt, S. Mujtaba y M. Mattsson, "Systematic mapping studies in software engineering," en Proceedings of the 12th international conference on Evaluation and Assessment in Software Engineering (EASE'08), G. Visaggio, M. T. Baldassarre, S. Linkman y M. Turner, Eds. pp. 68-77, Swinton, UK: British Computer Society, 2008. [19] A. García-Holgado, S. Marcos-Pablos, R. Therón y F. J. García-Peñalvo, "Technological ecosystems in the health sector: A mapping study of European research projects," Journal of Medical Systems, vol. 43, art. 100, 2019. doi: 10.1007/s10916-019-1241-5. [20] M. Á. Conde, F. J. Rodríguez Sedano, C. Fernández-Llamas, J. Gonçalves, J. Lima y F. J. García-Peñalvo, "RoboSTEAM Project Systematic Mapping: Challenge Based Learning and Robotics," en 2020 IEEE Global Engineering Education Conference (EDUCON), (27-30 April 2020, Porto, Portugal) pp. 214- 221, USA: IEEE, 2020. doi: 10.1109/EDUCON45650.2020.9125103. [21] M. L. Saxton, "Reference service evaluation and meta-analysis: Findings and methodological issues," Library Quarterly, vol. 67, no. 3, pp. 267-289, 1997. doi: 10.1086/629952. [22] B. Means, Y. Toyama, R. Murphy y M. Baki, "The effectiveness of online and blended learning: A meta-analysis of the empirical literature," Teachers College Record, vol. 115, no. 3, pp. 1-47, 2013. [23] T. A. M. Kooij, R. Kanfer, M. Betts y C. W. Rudolph, "Future time perspective: A systematic review and meta-analysis," Journal of Applied Psychology, vol. 103, no. 8, pp. 867-893, 2018. doi: 10.1037/apl0000306. [24] Y. Sung, K. Chang y T. Liu, "The effects of integrating mobile devices with teaching and learning on students' learning performance: A meta-analysis and research synthesis," Computers & Education, vol. 94, pp. 252-275, 2016. doi: 10.1016/j.compedu.2015.11.008. [25] J. Shepherd et al., "Young people and healthy eating: a systematic review of research on barriers and facilitators," Health Education Research, vol. 21, no. 2, pp. 239-257, 2006. doi: 10.1093/her/cyh060. [26] M. N. K. Boulos, L. Hetherington y S. Wheeler, "Second Life: an overview of the potential of 3-D virtual worlds in medical and health education," Health Information & Libraries Journal, vol. 24, no. 4, pp. 233-245, 2007. doi: 10.1111/j.1471-1842.2007.00733.x. [27] F. Duggan y L. Banwell, "Constructing a model of effective information dissemination in a crisis," Information Research, vol. 9, no. 3, 2004. [28] G. Chantelle, N.-S. Barbara, H. Candyce y D. Declan, "Rapid reviews methods series: assessing the appropriateness of conducting a rapid review," BMJ Evidence-Based Medicine, art. bmjebm-2023-112722, 2024. doi: 10.1136/bmjebm-2023-112722. [29] S. L. Bryant y A. Gray, "Demonstrating the positive impact of information support on patient care in primary care: a rapid literature review," Health Information & Libraries Journal, vol. 23, no. 2, pp. 118-125, 2006. doi: 10.1111/j.1471-1842.2006.00652.x. [30] S. Marcos-Pablos y F. J. García-Peñalvo, "Emotional Intelligence in Robotics: A Scoping Review," en New Trends in Disruptive Technologies, Tech Ethics and Artificial Intelligence, J. F. de Paz Santana, D. H. de la Iglesia y A. J. López Rivero, Eds. Advances in Intelligent Systems and Computing no. 1410, pp. 66-75, Cham, Switzerland: Springer International Publishing, 2022. doi: 10.1007/978-3- 030-87687-6_7. [31] Á. Oliveira dos Santos, E. S. da Silva, L. Machado Couto, G. Valadares Labanca Reis y V. Silva Belo, "The use of artificial intelligence for automating or semi- automating biomedical literature analyses: A scoping review," Journal of Biomedical Informatics, vol. 142, 2023. doi: 10.1016/j.jbi.2023.104389. [32] P. A. Bath, "Data mining in health and medical information," Annual Review of Information Science and Technology, vol. 38, no. 1, pp. 331-369, 2004. doi: 10.1002/aris.1440380108. [33] B. Kitchenham y S. Charters, "Guidelines for performing Systematic Literature Reviews in Software Engineering. Version 2.3," School of Computer Science and Mathematics, Keele University Technical Report, EBSE-2007-01, 2007. Disponible en: https://goo.gl/L1VHcw [34] J. Cruz-Benito, F. J. García-Peñalvo y R. Therón, "Analyzing the software architectures supporting HCI/HMI processes through a systematic review of the literature," Telematics and Informatics, vol. 38, pp. 118-132, 2019. doi: 10.1016/j.tele.2018.09.006. [35] K. Manikas y K. M. Hansen, "Software ecosystems – A systematic literature review," Journal of Systems and Software, vol. 86, no. 5, pp. 1294-1306, 2013. doi: 10.1016/j.jss.2012.12.026. [36] R. Pazmiño‑Maji, M. Á. Conde y F. J. García‑Peñalvo, "Learning analytics in Ecuador: a systematic review supported by statistical implicative analysis," Universal Access in the Information Society, vol. 20, pp. 495-512, 2021. doi: 10.1007/s10209-020-00773-0. [37] S. Marcos-Pablos y F. J. García-Peñalvo, "Technological Ecosystems in Care and Assistance: A Systematic Literature Review," Sensors, vol. 19, no. 3, art. 708, 2019. doi: 10.3390/s19030708. [38] M. Collado-Sánchez, A. M. Pinto-Llorente y F. J. García-Peñalvo, "Pensamiento computacional en el profesorado de primaria: una revisión sistemática," Campus Virtuales, vol. 12, no. 2, pp. 147-162, 2023. doi: 10.54988/cv.2023.2.1418. [39] P. Humanante-Ramos, F. J. García-Peñalvo y M. Á. Conde-González, "Entornos personales de aprendizaje móvil: Una revisión sistemática de la literatura," RIED. Revista Iberoamericana de Educación a Distancia, vol. 20, no. 2, pp. 73-92, 2017. doi: 10.5944/ried.20.2.17692. [40] A. Vázquez-Ingelmo, F. J. García-Peñalvo y R. Therón, "Information Dashboards and Tailoring Capabilities - A Systematic Literature Review," IEEE Access, vol. 7, pp. 109673-109688, 2019. doi: 10.1109/ACCESS.2019.2933472. [41] L. J. Carroll, J. D. Cassidy, P. M. Peloso, C. Garritty y L. Giles-Smith, "WHO Collaborating Centre Task Force on Mild Traumatic Brain Injury. Systematic search and review procedures: results of the WHO Collaborating Centre Task Force on Mild Traumatic Brain Injury," Journal of Rehabilitation Medicine, vol. 43, pp. 11-14, 2004. doi: 10.1080/16501960410023660. PMID: 15083867. [42] C. Campos-Asensio. (2024). Revisión con «enfoque sistemático»: revisiones sistematizadas de la literatura. En: BiblioGETAFE. Blog de la Biblioteca Médica del Hospital Universitario de Getafe. Disponible en: https://d66z.short.gy/4izA7v [43] R. Cornet y N. de Keizer, "Forty years of SNOMED: a literature review," BMC Medical Informatics and Decision Making, vol. 8, no. 1, art. S2, 2008. doi: 10.1186/1472-6947-8-S1-S2. [44] J. K. Seida, M. B. Ospina, M. Karkhaneh, L. Hartling, V. Smith y B. Clark, "Systematic reviews of psychosocial interventions for autism: an umbrella review," Developmental Medicine & Child Neurology, vol. 51, no. 2, pp. 95-104, 2009. doi: 10.1111/j.1469-8749.2008.03211.x. [45] A. García-Holgado y F. J. García-Peñalvo, "Mapping the systematic literature studies about software ecosystems," en Proceedings TEEM’18. Sixth International Conference on Technological Ecosystems for Enhancing Multiculturality (Salamanca, Spain, October 24th-26th, 2018), F. J. García- Peñalvo, Ed. pp. 910-918, New York, NY, USA: ACM, 2018. doi: 10.1145/3284179.3284330. [46] L. M. Letelier, J. J. Manríquez y G. Rada, "Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia?," Revista Médica de Chile, vol. 133, no. 2, pp. 246-249, 2005. doi: 10.4067/S0034-98872005000200015. [47] A. Fink, Conducting literature research reviews: from paper to the Internet. Thousand Oaks, CA: Sage, 1998. [48] A. Sáenz, "Leer e interpretar una revisión sistemática," Boletín de la Sociedad de Pediatría de Asturias, Cantabria, Castilla y León, vol. 41, no. 177, pp. 215-221, 2001. [49] J. Gisbert y X. Bonfill, "¿Cómo realizar, evaluar y utilizar revisiones sistemáticas y metaanálisis?," Gastroenterología y Hepatología, vol. 27, no. 3, pp. 129-149, 2004. doi: 10.1016/S0210-5705(03)79110-9. [50] K. L. James, N. P. Randall y N. R. Haddaway, "A methodology for systematic mapping in environmental sciences," Environmental Evidence, vol. 5, no. 1, p. 7, 2016. doi: 10.1186/s13750-016-0059-6. [51] F. Campbell et al., "Mapping reviews, scoping reviews, and evidence and gap maps (EGMs): the same but different— the “Big Picture” review family," Systematic Reviews, vol. 12, no. 1, p. 45, 2023. doi: 10.1186/s13643-023-02178- 5. [52] CASCADE Project, "Mapping in literature reviews," University of Exeter, UK, 2012. Disponible en: https://goo.gl/cJCbMp [53] Z. Munn et al., "What are scoping reviews? Providing a formal definition of scoping reviews as a type of evidence synthesis," JBI Evidence Synthesis, vol. 20, no. 4, pp. 950-952, 2022. doi: 10.11124/JBIES-21-00483. [54] L. Codina, "Revisiones de la literatura con aproximación sistemática. Las scoping review y su rol en los trabajos académicos," presentado en AMMCI, México, 2022. Disponible: http://bit.ly/3HXhUzS [55] Z. Munn, M. D. J. Peters, C. Stern, C. Tufanaru, A. McArthur y E. Aromataris, "Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach," BMC Medical Research Methodology, vol. 18, no. 1, art. 143, 2018. doi: 10.1186/s12874-018-0611-x. [56] H. Arksey y L. O'Malley, "Scoping studies: towards a methodological framework," International Journal of Social Research Methodology, vol. 8, no. 1, pp. 19-32, 2005. doi: 10.1080/1364557032000119616. [57] A. Sutton, M. Clowes, L. Preston y A. Booth, "Meeting the review family: exploring review types and associated information retrieval requirements," Health Information & Libraries Journal, vol. 36, no. 3, pp. 202-222, 2019. doi: 10.1111/hir.12276. [58] A. Liberati et al., "The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration," PLOS Medicine, vol. 6, no. 7, art. e1000100, 2009. doi: 10.1371/journal.pmed.1000100. [59] D. Moher, A. Liberati, J. Tetzlaff y D. G. Altman, "Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement," International Journal of Surgery, vol. 8, art. e1000097, pp. 336-341, 2010. doi: 10.1016/j.ijsu.2010.02.007. [60] L. Shamseer et al., "Preferred reporting items for systematic review and meta- analysis protocols (PRISMA-P) 2015: elaboration and explanation," BMJ: British Medical Journal, vol. 349, p. g7647, 2015. doi: 10.1136/bmj.g7647. [61] M. J. Page et al., "The PRISMA 2020 statement: an updated guideline for reporting systematic reviews," BMJ, vol. 372, art. n71, 2021. doi: 10.1136/bmj.n71. [62] M. J. Page et al., "PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews," BMJ, vol. 372, art. n160, 2021. doi: 10.1136/bmj.n160. [63] W. Mengist, T. Soromessa y G. Legese, "Method for conducting systematic literature review and meta-analysis for environmental science research," MethodsX, vol. 7, 2020. doi: 10.1016/j.mex.2019.100777. [64] L. Codina, "Revisiones bibliográficas sistematizadas en Ciencias Humanas y Sociales. 1: Fundamentos," en Methodos. Anuario de Métodos de Investigación en Comunicación Social, C. Lopezosa, J. Díaz-Noci y L. Codina, Eds. no. 1, pp. 50- 60, Barcelona, España: Universitat Pompeu Fabra, 2020. doi: 10.31009/methodos.2020.i01.05. [65] M. Genero, J. A. Cruz-Lemus y M. Piattini, Métodos de Investigación en Ingeniería del Software. Madrid, España: RA-MA, 2014. [66] M. Petticrew y H. Roberts, Systematic reviews in the social sciences: A practical guide. New York, NY: John Wiley & Sons, 2005. [67] C. Stern et al., "Attack of zombie reviews? JBI Evidence Synthesis editors discuss the commentary “Definition, harms, and prevention of redundant systematic reviews”," JBI Evidence Synthesis, vol. 22, no. 3, 2024. doi: 10.11124/JBIES-23- 00548. [68] C. Campos-Asensio. [@biblioGetafe] (2024, 13 de marzo), “¿Ataque de "revisiones zombis"? ➡protocolos o registros que se abandonan, sin completarse ninguna revisión posterior los editores de @JBIEBHC en DOI: 10.11124/JBIES- 23-00548 sugieren diversas medidas para prevenir las #RevisionesSistemáticas duplicadas,” Disponible en: https://d66z.short.gy/7DpqhD [69] L. Puljak y H. Lund, "Definition, harms, and prevention of redundant systematic reviews," Systematic Reviews, vol. 12, no. 1, art. 63, 2023. doi: 10.1186/s13643- 023-02191-8. [70] C. Campos-Asensio. (2024). Establecer el alcance de nuestra revisión: Viabilidad y ámbito de aplicación de la revisión sistemática. En: BiblioGETAFE. Blog de la Biblioteca Médica del Hospital Universitario de Getafe. Disponible en: https://d66z.short.gy/EdAh71 [71] J. Cruz-Benito, R. Therón y F. J. García-Peñalvo, "Software Architectures Supporting Human-Computer Interaction Analysis: A Literature Review," en Learning and Collaboration Technologies. Third International Conference, LCT 2016, Held as Part of HCI International 2016, Toronto, ON, Canada, July 17-22, 2016, Proceedings, P. Zaphiris y I. Ioannou, Eds. Lecture Notes in Computer Science, no. 9753, pp. 125-136, Switzerland: Springer International Publishing, 2016. doi: 10.1007/978-3-319-39483-1_12. [72] J. P. T. Higgins et al., Cochrane Handbook for Systematic Reviews of Interventions. Version 6.2. Cochrane Training, 2021. Disponible en: https://bit.ly/2RgWEgh [73] A. Hidalgo Landa, I. Szabo, L. Le Brun, I. Owen y G. Fletcher, "Evidence Based Scoping Reviews," The Electronic Journal Information Systems Evaluation, vol. 14, no. 1, pp. 46-52, 2011. [74] A. Booth, A. Sutton y D. Papaioannou, Systematic Approaches to a Successful Literature Review, 2nd ed. London, UK: Sage, 2016. [75] W. S. Richardson, M. C. Wilson, J. Nishikawa y R. S. Hayward, "The well-built clinical question: a key to evidence-based decisions," ACP Journal Club, vol. 123, no. 3, art. A12, 1995. doi: 10.7326/ACPJC-1995-123-3-A12. [76] A. Cooke, S. D. y A. Booth, "Beyond PICO: the SPIDER tool for qualitative evidence synthesis," Qualitative Health Research, vol. 22, no. 10, pp. 1435-1443, 2012. doi: 10.1177/1049732312452938. [77] A. Booth, "Clear and present questions: formulating questions for evidence based practice," Library Hi Tech, vol. 24, no. 3, pp. 355-368, 2006. doi: 10.1108/07378830610692127. [78] D. Denyer y D. Tranfield, "Producing a systematic review," en The Sage Handbook of Organizational Research Methods, D. A. Buchanan y A. Bryman, Eds.f pp. 671-689, London, UK: Sage, 2009. [79] T. Ferreras-Fernández, H. Martín-Rodero, F. J. García-Peñalvo y J. A. Merlo- Vega, "The Systematic Review of Literature in LIS: An approach," en Proceedings of the Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM’16) (Salamanca, Spain, November 2-4, 2016), F. J. García-Peñalvo, Ed. pp. 291-298, New York, NY, USA: ACM, 2016. doi: 10.1145/3012430.3012531. [80] M. Dixon-Woods et al., "How can systematic reviews incorporate qualitative research? A critical perspective," Qualitative Research, vol. 6, no. 1, pp. 27-44, 2006. doi: 10.1177/1468794106058867. [81] A. García-Holgado, S. Marcos-Pablos y F. J. García-Peñalvo, "Guidelines for performing Systematic Research Projects Reviews," International Journal of Interactive Multimedia and Artificial Intelligence, vol. 6, no. 2, pp. 136-144, 2020. doi: 10.9781/ijimai.2020.05.005. [82] L. Codina, "Revisiones bibliográficas sistematizadas en Ciencias Humanas y Sociales. 2: Búsqueda y Evaluación," en Methodos. Anuario de Métodos de Investigación en Comunicación Social, C. Lopezosa, J. Díaz-Noci y L. Codina, Eds. no. 1, pp. 61-72, Barcelona, España: Universitat Pompeu Fabra, 2020. doi: 10.31009/methodos.2020.i01.06. [83] S. Marcos-Pablos y F. J. García-Peñalvo, "Decision support tools for SLR search string construction," en Proceedings TEEM’18. Sixth International Conference on Technological Ecosystems for Enhancing Multiculturality (Salamanca, Spain, October 24th-26th, 2018), F. J. García-Peñalvo, Ed. pp. 660-667, New York, NY, USA: ACM, 2018. doi: 10.1145/3284179.3284292. [84] S. Marcos-Pablos y F. J. García-Peñalvo, "Information retrieval methodology for aiding scientific database search," Soft Computing, vol. 24, no. 8, pp. 5551–5560, 2020. doi: 10.1007/s00500-018-3568-0. [85] E. Aromataris y D. Riitano, "Constructing a search strategy and searching for evidence. A guide to the literature search for a systematic review," American Journal of Nursing, vol. 115, no. 5, pp. 49-56, 2014. doi: 10.1097/01.NAJ.0000446779.99522.f6. [86] C. Hart, Doing a Literature Search: A Comprehensive Guide for the Social Sciences. London: Sage, 2002. [87] L. Codina. (2021). El proceso de búsqueda en revisiones de la literatura: cómo asegurar su consistencia lógica y su adecuación pragmática. En: Lluís Codina. Disponible en: http://bit.ly/3J39ciE [88] A. Vázquez-Ingelmo, F. J. García-Peñalvo y R. Therón, "Tailored information dashboards: A systematic mapping of the literature," en Proceedings of the XX International Conference on Human Computer Interaction (Donostia, Gipuzkoa, Spain — June 25 - 28, 2019) Article Number 26, New York, NY, USA: ACM, 2019. doi: 10.1145/3335595.3335628. [89] S. F. Phelps y N. Campbell, "Systematic Reviews in Theory and Practice for Library and Information Studies," Library and Information Research, vol. 36, no. 112, pp. 6-15, 2012. [90] S. Keshav, "How to read a paper," ACM SIGCOMM Computer Communication Review, vol. 37, no. 3, pp. 83-84, 2007. doi: 10.1145/1273445.1273458. [91] T. van der Zant, M. Kouw y L. Schomaker, "Generative artificial intelligence," en Philosophy and Theory of Artificial Intelligence, V. C. Müller, Ed. Studies in Applied Philosophy, Epistemology and Rational Ethics, no. 5, pp. 107-120, Berlin: Springer-Verlag, 2013. doi: 10.1007/978-3-642-31674-6_8. [92] F. J. García-Peñalvo y A. Vázquez-Ingelmo, "What do we mean by GenAI? A systematic mapping of the evolution, trends, and techniques involved in Generative AI," International Journal of Interactive Multimedia and Artificial Intelligence, vol. 8, no. 4, pp. 7-16, 2023. doi: 10.9781/ijimai.2023.07.006. [93] F. J. García-Peñalvo, "Avoiding the Dark Side of Digital Transformation in Teaching. An Institutional Reference Framework for eLearning in Higher Education," Sustainability, vol. 13, no. 4, art. 2023, 2021. doi: 10.3390/su13042023. [94] F. J. García-Peñalvo, J. Cruz-Benito, D. Griffiths y A. P. Achilleos, "Virtual placements management process supported by technology: Proposal and firsts results of the Semester of Code," IEEE Revista Iberoamericana de Tecnologías del Aprendizaje (IEEE RITA), vol. 11, no. 1, pp. 47-54, 2016. doi: 10.1109/RITA.2016.2518461. [95] L. Briz Ponce, "Análisis de la efectividad en las Aplicaciones m-health en dispositivos móviles dentro del ámbito de la formación médica," PhD, Programa de Doctorado en Formación en la Sociedad del Conocimiento, Universidad de Salamanca, Salamanca, 2016. Disponible en: https://goo.gl/4UMpEY [96] T. Ferreras-Fernández, "Visibilidad e impacto de la literatura gris científica en repositorios institucionales de acceso abierto. Estudio de caso bibliométrico del repositorio Gredos de la Universidad de Salamanca," PhD, Programa de Doctorado en Formación en la Sociedad del Conocimiento, Universidad de Salamanca, Salamanca, España, 2016. Disponible en: https://goo.gl/rrNeEJ [97] L. P. S. Dias, J. L. V. Barbosa y H. D. Vianna, "Gamification and serious games in depression care: A systematic mapping study," Telematics and Informatics, vol. 35, pp. 213-224, 2018. doi: 10.1016/j.tele.2017.11.002. [98] L. Codina, "Revisiones bibliográficas sistematizadas en Ciencias Humanas y Sociales. 3: Análisis y Síntesis de la información cualitativa," en Methodos. Anuario de Métodos de Investigación en Comunicación Social, C. Lopezosa, J. Díaz-Noci y L. Codina, Eds. no. 1, pp. 73-87, Barcelona, España: Universitat Pompeu Fabra, 2020. doi: 10.31009/methodos.2020.i01.07. [99] D. Peral-García, J. Cruz-Benito y F. J. García-Peñalvo, "Systematic Literature Review: Quantum Machine Learning and its applications," arXiv, art. arXiv:2201.04093v1, 2022. doi: 10.48550/arXiv.2201.04093. [100] A. J. Berlanga y F. J. García-Peñalvo, "Learning Technology Specifications: Semantic Objects for Adaptive Learning Environments," International Journal of Learning Technology, vol. 1, no. 4, pp. 458-472, 2005. doi: 10.1504/IJLT.2005.007155. [101] M. J. Casany et al., "Moodbile: A Framework to Integrate m-Learning Applications with the LMS," Journal of Research and Practice in Information Technology (JRPIT), vol. 44, no. 2, pp. 129-149, 2012. [102] F. J. García-Peñalvo y J. García Carrasco, "Educational hypermedia resources facilitator," Computers & Education, vol. 44, no. 3, pp. 301-325, 2005. doi: 10.1016/j.compedu.2004.02.004. [103] R. J. Light y D. B. Pillemer, Summing Up: The Science of Reviewing Research. Cambridge, MA, USA: Harvard University Press, 1984. [104] E. Barnett-Page y J. Thomas, "Methods for the synthesis of qualitative research: a critical review," BMC Medical Research Methodology, vol. 9, no. 1, art. 59, 2009. doi: 10.1186/1471-2288-9-59. [105] I. F. del Amo, J. A. Erkoyuncu, R. Roy, R. Palmarini y D. Onoufriou, "A systematic review of Augmented Reality contentrelated techniques for knowledge transfer in maintenance applications," Computers in Industry, vol. 103, pp. 47-71, 2018. doi: 10.1016/j.compind.2018.08.007. [106] P. R. Humanante Ramos, "Entornos Personales de Aprendizaje Móvil (mPLE) en la Educación Superior," PhD, Programa de Doctorado en Formación en la Sociedad del Conocimiento, Universidad de Salamanca, Salamanca, 2016. Disponible en: https://goo.gl/sc2FUV [107] A. García-Holgado, "Análisis de integración de soluciones basadas en software como servicio para la implantación de ecosistemas tecnológicos educativos," PhD, Programa de Doctorado en Formación en la Sociedad del Conocimiento, Universidad de Salamanca, Salamanca, 2018. Disponible en: https://goo.gl/LToHcq [108] R. Whittemore y K. Knafl, "The integrative review: updated methodology," Journal of Advanced Nursing, vol. 52, no. 5, pp. 546-553, 2005. doi: 10.1111/j.1365-2648.2005.03621.x. [109] M. S. Ramírez-Montoya y F. J. García-Peñalvo, "Co-creation and open innovation: Systematic literature review," Comunicar, vol. 26, no. 54, pp. 9-18, 2018. doi: 10.3916/C54-2018-01. [110] M. Á. Conde, F. J. Rodríguez-Sedano, C. Fernández-Llamas, J. Gonçalves, J. Lima y F. J. García-Peñalvo, "Fostering STEAM through Challenge Based Learning, Robotics and Physical Devices: A systematic mapping literature review," Computer Application in Engineering Education, vol. 29, pp. 46-65, 2021. doi: 10.1002/cae.22354. [111] J. Garrard, Health Sciences Literature Review Made Easy. The Matrix Method, 6th ed. Burlington, MA, USA: Jones & Bartlett Learning, 2022. [112] L. Codina. (2022). Análisis y síntesis del conocimiento con una matriz de revisión de la literatura. En: Lluís Codina. Disponible en: http://bit.ly/3HWsQNY [113] M. S. Ramírez-Montoya y J. R. Valenzuela González Eds., "Innovación educativa: Tendencias globales de investigación e implicaciones prácticas." Barcelona, España: Octaedro, 2019. [114] M. Aria y C. Cuccurullo, "Biblioshiny. Bibliometrix for no coders," K-Synth Srl 2024. Disponible en: https://d66z.short.gy/Ashzv3 [115] M. Aria y C. Cuccurullo, "bibliometrix: An R-tool for comprehensive science mapping analysis," Journal of Informetrics, vol. 11, no. 4, pp. 959-975, 2017. doi: 10.1016/j.joi.2017.08.007. [116] J. J. Randolph, "A Guide to Writing the Dissertation Literature Review. Practical Assessment," Research & Evaluation, vol. 14, no. 13, pp. 1-13, 2009. [117] D. Boote y P. Beile, "Scholars before Researchers: On the Centrality of the Dissertation Literature Review in Research Preparation," Educational Researcher, vol. 34, no. 6, pp. 3-15, 2005. doi: 10.3102/0013189X034006003. [118] F. J. García-Peñalvo, "The perception of Artificial Intelligence in educational contexts after the launch of ChatGPT: Disruption or Panic?," Education in the Knowledge Society, vol. 24, art. e31279, 2023. doi: 10.14201/eks.31279. [119] J. Cruz Benito. (2016). Systematic Literature Review & Mapping. Disponible en: https://bit.ly/3db1Fj8 [120] F. J. García-Peñalvo, "Diseminación y divulgación científica," presentado en Tecnológico de Monterrey, Monterrey, México, 2016. Disponible: https://goo.gl/C5VAQD. doi: 10.13140/RG.2.1.4131.4329. [121] F. J. García-Peñalvo, "Taller Diseminación en Innovación Educativa," presentado en I Congreso Internacional de Tendencias en Innovación Educativa, CITIE 2016, Arequipa, Perú 2016. Disponible: https://goo.gl/4rPiZn [122] F. J. García-Peñalvo, "Mapeos sistemáticos de literatura, revisiones sistemáticas de literatura y benchmarking de programas formativos," presentado en Seminario en el Tecnológico de Monterrey, Monterrey (México), 27 y 28 de noviembre, 2017. Disponible: https://goo.gl/K8Uca1. doi: 10.5281/zenodo.1067680. [123] F. J. García-Peñalvo, "Mapping sistemáticos de literatura. Caso práctico de definición usando Parsifal," presentado en Seminario en el Tecnológico de Monterrey, Monterrey (México), 4 de diciembre, 2017. Disponible: https://goo.gl/QDCpkd. doi: 10.5281/zenodo.1069690. [124] F. J. García-Peñalvo, "Revisión sistemática de literatura en los Trabajos de Final de Máster y en las Tesis Doctorales," presentado en Seminarios del Programa de Doctorado en Formación en la Sociedad del Conocimiento (16 de marzo de 2017), Salamanca, España, 2017. Disponible: https://goo.gl/RNn9tP. doi: 10.5281/zenodo.399302. [125] F. J. García-Peñalvo, "Revisión sistemática de literatura para artículos," presentado en Seminario Tecnológico de Monterrey, Monterrey, México, 25 de enero, 2017. Disponible: https://goo.gl/7nVEmB. doi: 10.13140/RG.2.2.15223.42403. [126] F. J. García-Peñalvo, "Taller de revisión sistemática de literatura," presentado en Taller en el Centro Regional de Formación Docente e Investigación Educativa del Estado de Sonora (CRFDIES) Hermosillo, Sonora, México, 30 de enero, 2017. Disponible: https://goo.gl/kizkfZ. doi: 10.13140/RG.2.2.34015.87206. [127] F. J. García-Peñalvo, "Revisiones y mapeos sistemáticos de literatura," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en Sistemas Inteligentes. Curso 2018-2019, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2019. [Online]. Disponible en: https://goo.gl/yt7wKt. doi: 10.5281/zenodo.2586725. [128] F. J. García-Peñalvo, "Método para la revisión sistemática de literatura," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en Sistemas Inteligentes. Curso 2019-2020, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2020. [Online]. Disponible en: https://bit.ly/38a3Uxl. doi: 10.5281/zenodo.3692796. [129] F. J. García-Peñalvo, "SLR, mappings y meta-análisis," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en Sistemas Inteligentes. Curso 2020-2021, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2021. [Online]. Disponible en: https://bit.ly/32tc7wm. doi: 10.5281/zenodo.4700155. [130] F. J. García-Peñalvo, "Las revisiones sistemáticas de la literatura," Doctorado en Gestión Estratégica. Consorcio de Universidades, Perú, 24 de abril de 2021. Salamanca, España: Grupo GRIAL, 2021. [Online]. Disponible en: https://bit.ly/3ayEYDV. doi: 10.5281/zenodo.4716246. [131] F. J. García-Peñalvo y A. García-Holgado, "Técnicas para llevar a cabo mapeos y revisiones sistemáticas de la literatura," presentado en Seminarios del Programa de Doctorado Formación en la Sociedad del Conocimiento (3-6 de mayo de 2021), Salamanca, España, 2021. Disponible: https://zenodo.org/record/4732089. doi: 10.5281/zenodo.4732089. [132] F. J. García-Peñalvo, "Cómo hacer una Systematic Literature Review (SLR)," Plan de Formación del Profesorado de la Universidad Internacional de Valencia (17 y 21 de mayo de 2021), Salamanca, España, 2021. Disponible: https://zenodo.org/record/4745223. doi: 10.5281/zenodo.4745223. [133] F. J. García-Peñalvo, "Revisiones sistemáticas y meta-análisis en Ciencias Sociales y Humanidades," Sociedad Científica de Bibliometría y Cienciometría, 25 de mayo – 15 de junio de 2021. Salamanca, España: Grupo GRIAL, 2021. [Online]. Disponible en: https://bit.ly/2Ru5mZk. doi: 10.5281/zenodo.4777633. [134] F. J. García-Peñalvo, "Los métodos de revisión sistemática de literatura," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en Sistemas Inteligentes. Curso 2021-2022, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2022. [Online]. Disponible en: https://bit.ly/3vy0MdZ. doi: 10.5281/zenodo.6320299. [135] F. J. García-Peñalvo, "La sistematización del proceso de revisión del estado de la cuestión," Plan de Formación del Profesorado de la Universidad Internacional de Valencia (31 de marzo y 4 de abril de 2022), Salamanca, España, 2022. Disponible: https://bit.ly/3LddrHL. doi: 10.5281/zenodo.6384489. [136] F. J. García-Peñalvo y A. García-Holgado, "La revisión sistemática de literatura en las tesis doctorales," presentado en Seminarios del Programa de Doctorado Formación en la Sociedad del Conocimiento (10 de mayo de 2022), Salamanca, España, 2022. Disponible: https://bit.ly/3w9WoAr. doi: 10.5281/zenodo.6522136. [137] F. J. García-Peñalvo, "Metodología para la revisión sistemática de literatura," presentado en la Facultad Psicología de la Pontificia Universidad Católica del Perú (7 de octubre de 2022), Salamanca, España, 2022. Disponible: https://bit.ly/3Cbg7mF. doi: 10.5281/zenodo.7144360. [138] F. J. García-Peñalvo, "Importancia de las revisiones sistemáticas de literatura," presentado en la Jornada Científica Internacional Estado de la Ciencia y de la Tecnología – 2022, Universidad Nacional Pedro Ruiz Gallo, Perú (13 de octubre de 2022), Salamanca, España, 2022. Disponible: https://bit.ly/3fMkJrB. doi: 10.5281/zenodo.7185161. [139] F. J. García-Peñalvo, "¿Cómo realizar una revisión sistemática de literatura?," presentado en la ETSI de la Universidad Politécnica de Madrid (12 de diciembre de 2022), Salamanca, España, 2022. Disponible: http://bit.ly/3uaA09w. doi: 10.5281/zenodo.7381345. [140] F. J. García-Peñalvo, “Revisiones sistemáticas de literatura: métodos y herramientas," Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en Sistemas Inteligentes. Curso 2022-2023, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2023. [Online]. Disponible: https://bit.ly/3YJ95P7. doi: 10.5281/zenodo.7725299. [141] F. J. García-Peñalvo, "El rol de las revisiones sistemáticas de literatura en las tesis doctorales: Procesos y herramientas," presentado en Seminarios del Programa de Doctorado Formación en la Sociedad del Conocimiento (19 de abril de 2023), Salamanca, España, 2023. Disponible: https://bit.ly/41btE8Y. doi: 10.5281/zenodo.7831074. [142] F. J. García-Peñalvo, “Systematic Literature Reviews como método de investigación," Plan de Formación del Profesorado de la Universidad Internacional de Valencia (20 y 25 de abril de 2023), Salamanca, España, 2023. Disponible: https://bit.ly/41bvCWL. doi: 10.5281/zenodo.7830939. [143] F. J. García-Peñalvo, “El estado de la cuestión en los trabajos académicos: Las revisiones sistemáticas de literatura,” Recursos docentes de la asignatura Procesos y Métodos de Modelado para la Ingeniería Web y Web Semántica. Máster Universitario en Sistemas Inteligentes. Curso 2023-2024, F. J. García-Peñalvo, Ed., Salamanca, España: Universidad de Salamanca, 2024. [Online]. Disponible: https://bit.ly/3PePMew. doi: 10.5281/zenodo.10801556.