TESIS DOCTORAL UNIVERSIDAD DE SALAMANCA DEPARTAMENTO DE INFORMÁTICA Y AUTOMÁTICA GENERADOR DE PRUEBAS OBJETIVAS ADAPTADAS A LAS PREFERENCIAS DE PRESENTACIÓN DE LOS USUARIOS RESUMEN Doctorando D. HÉCTOR GONZALO BARBOSA LEÓN Directores Dr.D. FRANCISCO JOSÉ GARCÍA PEÑALVO Dra. Dña. MARÍA JOSÉ RODRÍGUEZ CONDE Septiembre 2010 R E S U M E N Los sistemas de exámenes adaptados son capaces de presentar las preguntas adecuadas a las características personales de cada estudiante, detectando de forma automática su nivel de conocimientos a partir de la respuesta a la última pregunta presentada (método tradicional). No obstante, conviene considerar otro tipo de adaptación además de la adaptación basada en el nivel de conocimientos, basado en cómo perciben los alumnos la información que se les presenta, buscando disminuir el estrés que, de forma habitual está presente en ellos al momento de resolver un examen. Para enfrentar esta situación, esta tesis propone emplear la especificación IMS Question and Test Interoperability (IMS QTI) como método de marcado en la anotación y modelado de test adaptables, que considera, además de la adaptación en el nivel de complejidad de las preguntas, la adaptación del material multimedia que acompañe a cada pregunta, según el estilo de aprendizaje detectado en cada estudiante. Asimismo, para garantizar la interoperabilidad, estos test son definidos totalmente usando la especificación QTI de forma innovadora. Para establecer los atributos con los que cuenta un test adaptable, se tomaron en cuenta la caracterización, técnicas y elementos para realizar la adaptación basada en los sistemas de autoría de test adaptados desarrollados hasta el momento y que se basan en categorizar el nivel de complejidad de cada pregunta al momento de su definición, para que, en el momento de ejecución por parte del alumno, se presente la siguiente pregunta basada en la respuesta (correcta o no) a la actual pregunta, además se incorpora un segundo proceso de adaptación basado en el estilo de aprendizaje, presentando además, material multimedia alternativo que permite a cada estudiante captar mejor lo que se le pregunta y respondiendo, por ende, de forma mas asertiva. La propuesta de esta tesis ha servido, además, como base para desarrollar una herramienta de autor que permite la creación de test adaptados. Dicha herramienta se ha empleado para realizar un experimento que permitió evaluar la propuesta a través de un caso práctico. El experimento desarrollado para probar la hipótesis de esta tésis fue la de elaborar un test objetivo de conocimientos del idioma ingles a estudiantes universitarios, creando un grupo de control y otro al que se le presentó el test adaptado a su estilo de aprendizaje, diseñando además varias pruebas estadísticas que permitieran evaluar la hipótesis de esta tesis, contrastando los resultados obtenidos en diversos parámetros en los dos grupos. Se seleccionó el tema de conocimiento del idioma ingles porque es un tópico que puede ser evaluado independientemente de la formación académica de los estudiantes y porque permite la incorporación de gran material multimedia en formatos de audio y video, además del tradicional formato de texto. PALABRAS CLAVE: Test Adaptados, Lenguajes de Marcado Educativo, IMS QTI, Sistemas de evaluación adaptativa. A B S T R A C T The adaptative assessment systems are able to shwo the right questions adapted to the personal characteristics of each student by automatically detecting his/her level of knowledge based in the response to the las question presented (this is the traditional mehtod). However, we consider another kind of adaptation in addition to the tradional one, based on how the students perceive the information presented to them, with the purpose to ease the stress that traditionally is present in the users at the time there are performing a test. To address this situation, this thesis proposes the use of the IMS Question and Test Imteroperability (IMS QTI) as a method for annotating and modeling an adaptive test, incorporating two adaptation processes: in the level of complexity of each question and adapting the accompaing multimedia material in every question to the learning style of the student. Also, to ensure interoperability, these tests are fully defined using the QTI specification in an innovative way. To define the attributes of an adaptative test, we took into account the characterization techniques and elements for adaptation based in the actual authoring systems to define adaptative tests which use mostly the categorization of the level of complexity for each question. When this test is executed by the student, the level of complexity of the next question is selected based in the response to the actual question being showed to the student. Also we incorporate a second adaptation process based on the student learning style, by showing alternative multimedia material accompainng each question, allowing every student to understand better what is asked and answer, therefore, in a more assertive way. The experiment designed to test the hypothesis of this thesis was to develop an objective test of English skills to students in the University of Salamanca, creating a control group wich answered a test not adapted to their needs and the other group which answered a test adapted to the learning style of each student. Also, several statistical tests were designed to evaluate the hyphotesis of this study, contrasting the results of various parameters in the two groups. The topic of English skill was selected because is a topic that can be evaluated independently of the academic field of the students and because it allows the incorporation of multimedia material in audio and video formats, in addition to the traditional text format. KEYWORDS: Adaptive Tests, Educational Markup Languages, IMS QTI, Adaptative Assessment Systems. Referencias -303- Referencias Alfonseca, E., Carro, R., Ortigoza, A., Pérez, A., & Rodríguez, P. (2005). Authoring of Adaptive Computer Assisted Assessment of free-text answers. Eucational Technology and Society, 8, (págs. 53-65). Alonso, C., Gallego, D., & Honey, P. (1997). Los estilos de aprendizaje: Procedimientos de diagnóstico y mejora.Bilbao: Mensajero. Anastasi, A. (1982). Psycological Testing. New York: Mc Millan. Anderson, J. R. (2000). Congnitive Psychology and its implementations. New York: W.H. Freeman. Anstey, J. (1976). Test Psicológicos. Madrid: Marcova. APIS. (2004). Assessment Provision through Interoperable Segments. Recuperado el 7 de Septiembre de 2010, de http://ford.ces.strath.ac.uk/APIS Atkins, P., & Hannon, J. (2002). Doing Assessment online. Recuperado el Junio de 2007, de http://project.vetonline.vic.edu.au/ letsdoit/2002/index.html. Barbosa, H., & García, F. (2005). A Model for online Assessment in Adaptive e- Learning Platform. 3rd International Conference on Multimedia and Information and Communication Technologies in Education m-ICTE (págs. 16-20). Cáceres: m- ICTE. Barbosa, H., & García, F. (2005b). Importance of the on-Line Assessment in the e- Learning process. IEEE 6th International Conference on Information Technology- Based Higher Education and Training ITHET. Santo Domingo: ITHET. Barbosa, H., & García, F. (2006). An authoring Tool to construct Adaptive Assessment Items. Proceedings of 2nd International Conference on Web Information Systems adn Technologies Society, e-Business and e-Goverment WEBIST (págs. 379 - 382). Setubal: WEBIST. Barbosa, H., & García, F. (2006b). An Authoring Tool for Adaptative Assessment Items. Proceedings of IEEE International Multi-Conference on Computing in the Global Information Technology. Bucarest. Barbosa, H., & García, F. (2006c). Setting and Sharing Adaptive Assessments Assets. SIIE. Leon: SIIE. Barbosa, H., & García, F. (2006d). An AuthoringTool to Construct Adaptive Assessments. Proceedings onf the International Conference on Engineering Education Instructional Technology Assessment & e-Learning (EIAE).Bridgeport (Virtual): Springer. Barbosa, H., Garcia, F., & Rodriguez-Conde, M. (2007). Defining Adaptive Assessments. Proceedings of 3th International Conference on Web Information Systems and Technologies (Webist).Barcelona: WEBIST. -304- Referencias Barbosa, H., García, F., & Rodriguez-Conde, M. (2007b). Constructing Learning Objects for Adaptive Assessments. 6th International Conference on Web-based Education. Chamonix. Barbosa, H., García, F., & Rodriguez-Conde, M. (2007c). Construction of Assessments with double Adaptation Processes. 3rd International Conference on Engineering Education Instructional Technology Assessment and e-Learning (EIAE). Bridgeport: IEEE. Barbosa, H., García, F., & Rodriguez-Conde, M. (2008). A tool to Construct Adpative Assessments using IMS QTI. E-Universal Learning. Salamanca. Barbosa, H., García, F., & Rodriguez-Conde, M. (2008b). Defining Adaptive Assessments using Open Specifications. CISSE 08. Bridgeport (Virtual): Maged Iskander, SPRINGER. Barbosa, H., & García, F. (2009). Exámenes Adaptados usando Estádares Abiertos. IEEE XI Reunion de Otoño de Potencia, Electrónica y Computación.Morelia: IEEE. Barbosa, H., García, F., & Rodriguez-Conde, M. (2009b). Adaptive Assessments using Open Standards. International Joint Conferences on Computer, Information, and Systems Sciences, and Engineering CISSE 09.Bridgeport USA: Springer. Barbosa, H., García, F., & Rodriguez-Conde, M. (2010). Use of the Question and Test Specification to Define Adaptive Test. 3rd World Summit on the Knowledege Society WSKS 2010.Corfu, Grecia. Barcino, R. (2005). Panorámica Institucional del proceso de evaluacion en la enseñanza y aprendizaje electrónico. Alcalá: RIEND, Universidad de Alcalá. Berlanga, A., & García, F. (2006a). Diseños Instructivos Adaptativos: Formacion personalizada y reutilizable en entornos educativos. Salamanca: Tesis Doctoral Vitor. Berlanga, A., & García, F. (2006b). Diseños Instructivos Adaptativos: Formacion personalizada y reutilizable en entornos educativos. Revista Iberoamericana de Informatica Educativa , 11-12. Berlanga, A., García, F., & Carabias, J. (2006). Authoring Adaptive Learning Designs Using IMS LD. Proceeding of the 4th International Conference Adaptive Hypermedia adn Adaptive Web-based systems /AH). Berlin: V. Wade, H. Ashman & B. Smith. Lecture Notes in Computer Science, Springer Verlag. Berners, L. (1996). WWW: Past, Present and Future. IEEE Computer 29 (10) , 69-77. Berners-Lee, T., Hendler, J., & Lassila, O. (2001). The Semantic Web. Scientific American 284 (5) , 34-43. Berry, L. H. (2000). Cognitive effects of Web page Design. Instructional and Cognitive Impacts of Web-based Education (págs. 41-51). Hershey, U.S.A.: B. Abbey. Booth, R., Berwyn, C., Hartcher, R., Hungar, S., Hyde, P., & Wilson, P. (2003). The Develompent of quality online assessment in vocational education and training. Australian Flexible Learning Framework (1) , 211-233. Referencias -305- Borrell, N. (1995). Modelos para la evaluación externa e interna de los centro deocentes. Evaluacion de programas educativos, centros y profesores . Bray, T., Paoli, J., Sperberg-Mac Queen, C., Maler, E., & Yergeau, F. (2004). Extensible Markup Languaje. Recuperado el Mayo de 2008, de w3.org: http://www.w3.org Brown, D., & Clement, J. (1989). Overcoming misconceptions via analogical reasoning: Abstract transfer versus explanatory model construction. Instructional Science, (págs. 237-261). Calpoly, H. (2008). Objetive test taking.Recuperado el Semptiembre de 2009, de http://www.calpoly.edu/~sas/asc/ael/tests.objective.html Cano, M. (2008). La evaluación por competencias en la educacion superior. Revista de Curriculum y formación del profesorado, Universitat de Barcelona . Caplan, P. (2003). Metadata fundamentals for all librarians. Chicago: American Library Association. Carabias, J., García, F., & Berlanga, A. (2006). Integration of CopperCore learning design engine in HyCo. Proceedings of the 8th International Symphosium on Computer in Education (SIIE).Leon. Carro, R. (2001). Un mecanismo basado en tareas y reglas para la creacion de sistemas hypermedia adaptativos: aplicación a la educación a través de Internet. Tesis Doctoral. Madrid, España: Universidad Autónoma de Madrid. Casanova, M. (1998). La evaluación educativa. México: Biblioteca para la actualizacion del Maestro, SEP-MURALLA. Cetis. (2007). Assessment Test Chapter. Recuperado el Mayo de 2008, de http://wiki.cetis.ac.uk/AssessmentTest_Chapter Chester, H. (1974). The relationship between objective vs. subjective classroom tests and Student evaluations of their Instructors. Education Resources Information Center # ED 110144. Clayton, B., & Booth, R. (2000). How Flexible is Assessment in Online Delivery?Recuperado el Diciembre de 2005, de http://flexiblelearning.net.au/nw2000/talkback/p34.htm COM-PRUEBA. (2007). Com-prueba. Recuperado el Mayo de 2008, de http://alamo.sim.ucm.es/comprueba/intro.htm Cronbach, L. (1971). Test Validation. En Educational Measurement. Washington: Thomdike, American Council on Education. Devine, C., & Yahlian, G. (2006). Construction of Objective Tests.Recuperado el Abril de 2008, de http://www.clt.cornell.edu/campus/teach/faculty/Materials/TestConstructionManual. pdf -306- Referencias Dick, W., Carey, L., & Carey, O. (2000). The systematic design of instruction. Recuperado el Febrero de 2008, de http://www.netwerkopenhogeschool.org/Docs/Faculteiten/OW/ Duval, E., Hodgins, W., Sutton, S., & Weibel, S. (2002). Metadata: Principles and Practiacalities. Recuperado el Mayo de 2008, de D-Lib Magazines: http://www.dlib.org/dlib/april02/weibel/04weibel.html. East, R. (2008). Formative vs. Summative Assessment. University of Glamoran. Educational Modelling Languaje. (2008). Recuperado el Mayo de 2008, de Learning Networks: http://www.learningnetworks.org/?q=EML e-Learning Consortium. (2002). Making Sense of Learning Specifications & Standards: A desicion marker´s guide to their adoption (1rst edition).NY: Saratoga Springs MASIE Centre . Elola, N., & Toranzos, L. (2000). Evaluación educativa, una aproximación conceptual. Recuperado el Enero de 2006, de http://www.campus- oei.org/calidad/luis2.pdf#search='nydia%20elolaevaluacion%20educativa' Embreston, S. (2000). Item Response Theory for Psychologists. Mahwah, NJ: Lawrence Erlbaum. Felder, R. (1993). Reaching the second tier: Learning and Teaching Styles in College Science Education. College Science Teaching 23(5) , 286-290. Felder, R., & Silverman, L. (1988). Learning and Teaching Styles in Engineering Education. North Carolina State University and Institute for the Study of Advanced Development Engineering Education. Foix, C., & Zavando, S. (2002). Estándares e_learning Estado del arte.Corporacion de Investigacion Tecnologica de Chile INTEC. Fosnot, C. (1996). Constructivism: Theory, perspectives and practice. Teacher College Press , 8-33. Gardner, H. (2000). Can Technology exploit our many ways of knowing? The Hardvard Education Letter , 32-35. Gardner, H. (2008). Frames of Mind: The theory of multiple intelligences. Nueva York: Basic Books. Gargallo, B. (1997). Estilos Cognitivos: Reflexividad-impulsividad. Su modificacion en el Aula. Recuperado el Marzo de 2007, de http://www.aidex.es/publicaciones/jorn- cc/cc-07.pdf. Gaudioso, E. (2002). Contribuciones al Modelado del usuario en entornos adaptativos de aprendizaje. Gerald, F. (2005). Évaluer des competences. Guide pratique. Formation et Profession , 14-17. Referencias -307- Giacomini, E., Trigano, P., & Alupoaie, S. (2004). A QTI editor integrated using IMS LD. Proceedings World Conference on e-Learning in Corporative, Government Heath. Gouli, E., Komilakis, H., Papanicolau, K., & Grigoriadou, :. (2001). Adaptive Assessment Improving Interaction in an Educational Hypermedia Systems. Proceedings of Panhellenic Conference on Human-COmputer Interaction. Patras, Greece. Graham, J., & Lilly, R. (1984). Psicological Testing. Englewood Cliffs, NJ: Prentice- Hall. Guzman, E., Machuca, E., Conejo, R., & Libbrecht, P. (2005). LeActiveMath, Integrated Adaptive Assessment Tool.Recuperado el Abril de 2006, de Polux: http://polux.lcc.uma.es/siette/doc/D16.pdf#search='leactivemath'. Hall, K., & Burke, W. (2003). Making formative Assessment work . En Effective practice in the primary classroom. Maidenhead, UK: Open University Press. Hernández, R., Fernández, C., & Baptista, P. (2003). Metodología de la Investigación. Mexico: Mc-Graw-Hill. Holzman, P., & Klein, G. (1954). Cognitive System-principles of leveling and sharpening: individual differences in visual time-error assimilation effects. Journal of Psychology , 105-122. Horizon. (2006). Vimba Horizon. Recuperado el Abril de 2006, de http://www.horizonvimba.com Hudson, L. (1966). Contrary Imaginations. Penguin. Hummel, H., Manderveld, J., Tattersall, C., & Koper, R. (2004). Educational Modelling Languaje and Learning Design: new opportunities for instructional reusability and personalized learning. International Journal in Learning Technology 1 , 111-126. Hyde, P., Booth, R., & Wilson, P. (1998). Forthcoming in Online Learning Research Readings. NCVER . IEEE. (2002). Recuperado el Mayo de 2008, de Institute of Electrical and Electronics Engineers: http://www.ieee.org IEEE LOM. (2002). Learning Object Metadata 1484.12.1-2002. Recuperado el 7 de Septiembre de 2010, de IEEE LOM: http://itsc.ieee.org IEEE PAPI. (2001). Draft Standard for Learning Technology Public and Private Information (PAPI) for Learners (PAPI Learner).Recuperado el Abril de 2008, de IEEE PAPI: http://jtc1sc36.org/doc/36N0175.pdf IMS CP. (1 de Marzo de 2007). IMS GLOBAL . Recuperado el 7 de Septiembre de 2010, de Content Packaging v. 1.2: http://www.imsglobal.org/content/packaging IMS EP. (2005). IMS ePortfolio Specification V. 1.0.Recuperado el Mayo de 2008, de http://www.imsglobal.org -308- Referencias IMS LD. (20 de Enero de 2003). IMS GLOBAL. Recuperado el 7 de Septiembre de 2010, de Learning Design: http://www.imsglobal.org/digitalrepositories/index.html IMS LD. (2003). Learning Design Specification.Recuperado el Mayo de 2008, de IMS global: http://www.imsglobal.org/learningdesign. IMS LOM. (2001). Learning Resource Metadata Specification v.1.1.2.Recuperado el Mayo de 2008, de IMS global: http://www.imsglobal.org/metadata IMS QTI. (2005). IMS GLOBAL LEARNING CONSORTIUM.Recuperado el 15 de Agosto de 2010, de Question and Test Interoperability v. 2.1: http://www.imsglobal.org/question/qti_v2p0/imsqti_oviewv2p0.html IMS SS. (2003). Simple Sequencing v 1.0.Recuperado el Mayo de 2008, de http://www.imsglobal.org/simplesequencing Johnston, P. (1997). Knowing literacy: Constructive literacy assessments. Stenhouse Publishers. Jonassen, D., & Grabowsky, B. (1993). What Makes for a good assessment? Hillsdale N.J.: Lawrewnce Erlbaum Associates. Kaftan, J. (2006). Using Formative Assessments to Individualize Instruction and Promote Learning. Middle School Journal , 44-49. Kagan, J. (1966). Reflection-impusivity the generality and dynamic of conceptual tempo. Journal of Abnormal Psychology 71 , 17-24. Keefe, J. (1979). Learning Style: An overview Student Learning Styles: Diagnosing and Prescribing Programs.Recuperado el 2 de Marzo de 2006, de IdPride: http://www.idepride.net/learningstyles.MI.htm Kendle, A., & Northcote, M. (2000). The struggle for balance in the use of quantitative and qualitative online assessment tasks. Recuperado el Junio de 2006, de ASCILITE (Australian Society for Computers in Learning in Tertiary Education Conference): http://www.ascilite.org.au/conferences/coffs00/ papers/amanda_kendle.pdf Kibby, M. (1999). Assesing Students on-Line. Recuperado el Junio de 2005, de http://www.newcastle.edu.au/discipline/ sociol- anthrop/staff/kibbymarj/online/assess.html. Laurier, M. (2005). Evaluer les competences: pas si simple. Formation et Profession , 14-17. López-Cuadrado, J., Armendáriz, A., & Pérez, T. (2005). A Supporting tool for the adaptive assessment of an e-Learning system.Recuperado el Febrero de 2008, de m- icte 2005: www.formatex.org/micte2005/1.pdf Lozano, L. (2006). Fudamentos de la Medición Psicológica. Recuperado el Marzo de 2007, de http://www4.ujaen.es/lmlozano Mager, R. (1988). Making Instruction Work. Belmont, CA.: Lake Publishing Co. Martínez, M. (2002). Beyond classroom solutions: new design perspectives for online learning excellence. Discussion summaries. Recuperado el Abril de 2005, de Journal Referencias -309- of International forum of Educational Technology & Society and IEEE task force: http://ifets.ieee.org/periodical/vol_1_2001/martinez.html. Martínez, R. (1995). Psicometría: Teoría de lso Test Psicoloógicos y Educativos. Sintesis. McDonald, R., Boud, D., Francis, J., & Gonczi, A. (2000). Nuevas Perspectivas sobre la evaluacióm. Boletin Cintefor 149 , 41-72. MCERL. (2002). Marco Común Europeo de Referencia para las Lenguas: aprendizaje, enseñanza y evaluación.Madrid: Instituto Cervantes - Anaya. McLoughlin, C., & Luca, J. (2001). Quality in Online Delivery: What Does it Mean for Assessment in e-Learning Environments? Recuperado el Febrero de 2006, de Meeting at the Crossroads proceedings of Australian Society for Computers in Learning in Tertiary Education (ASCILITE): http://www.ascilite.org.au/conferences/melbourne01/pdf/papers/mcloughlinc2.pdf. MERCATEST. (2008). Recuperado el Junio de 2008, de https://www.mercatest.com Miller, A., Imrie, B., & Cox, K. (1998). Student Assessment in higher education a handbook for assessing performance. Routledge. Miller, G. (1956). The magical number seven, plus or minus tow: same limits on our capacity for processing information. The Phsycological Review , 81-97. Mills, D. (2002). Applying what we know. Recuperado el Junio de 2009, de Student Learning Styles Christian School Resources. Morales, E., & García, F. (2005). Quality content management for e-Learning: General issues for a decision support system. Proceedings of 7th International Conference on Enterprise Information Systems. C.Chen, j. Filipe, I. Serrucha & J. Cordeiro. Morales, García, F., Barbosa, H., Rego, H., & Moreira, T. (2005). Knowledge Management of e-Learning based on Learning Objects: a cualitative focus. IEEE 6th International Conference on Information Technology-Based Higher Education and Training.Santo Domingo: ITHET. Moreira, T., García, F., Barbosa, H., Morales, E., & Rego, H. (2005). An e-Learning platform based on metadata representation and management. Proceedings of the 3rd International Conference on Multimedia and Information and Communication Technologies in Education m-ICTE.Cáceres: m-ICTE. MQAT. (2008). Math QTI An That. Recuperado el 7 de Septiembre de 2010, de http://mqat.sourceforge.net: http://mqat.sourceforge.net Myers-Briggs, G., & Kolb. (2003). PSYCH 4703 Course Requeriment. Recuperado el Junio de 2009, de http://chat.carleton.ca/~tblouin/index.html. newAPIS. (29 de 10 de 2007). newApis. Recuperado el 7 de Septiembre de 2010, de qti Library: http://newapis.sourceforge.net O´Leary, M., Calsyn, D., & Fauria, T. (1980). The Group Embedded Figures Test: A measure of Cognitive Style or Cognitive Impairment. Journal of Personality Assessment Vol 44, No. 5 , 532-537. -310- Referencias O´Reilly, M., & Patterson, K. (1998). Assesing Learners trhough the WWW. Recuperado el Junio de 2005, de 7th International Word Wide Web Conference: http://www7.scu.edu.au/programme/posters/1908/com1908.htm. Olmos, S., Rodriguez-Conde, M., & García-Raiza, B. (2007). Actitud del Profesorado universitario ante la incorporacion de las tecnologías en la evaluación de competencias adquiridas por los estudiantes. IV Jornadas Internacionales de Innovacion Universitaria . OUNL. (2006). Recuperado el Mayo de 2008, de Open University of the Netherlands: http://www.learningnetworks.org/?q=EML. Papineni, K., Roukos, S., Ward, T., & Zhu, W. (2001). BLEU: A method for automatic evaluation of machine translation. . Proceedings of the 40th annual Meeting of the Association for Computational Linguistic (LREC-2004). Pérez, D., Alfonseca, E., & Rodriguez, P. (2004). Application of the Bleu Method for evaluating free-text answers in an e-Learning Environment. Proceedings of the Languaje Resources and Evaluation Conference (LREC-2004). Piaget, J. (1972). Psicología y Pedagogía. Barcelona : Ariel. Polanco, H. (2004). Estudio . VIII Congreso de Educacion a Distancia.Cordoba. Popham, W. (1975). Educational evaluation . Englewood: Prentice-Hall. Prieto, M., & García, F. (2006). METHADIS: Methodology of the Design of Adaptive Hypermedia Systems for Leaning based on Learning and Cognitive Styles. Proceedings of the 6th IEEE International Conference on Advanced Learning Technologies (ICALT).Kerkrade. QTed. (30 de 10 de 2007). QTed. Recuperado el 7 de Septiembre de 2010, de http://qted.sourceforge.net Ragett, D. (1998). Ragett on HTML 4. Addison-Wesley. Rash, G. (1963). Probabilistic Models for some Intelligente and attainment tests. Copenhagen, Denmark: Pedagogiske Institut. Real Academia Española. (2001). Diccionario de la Lengua Española, Vigésima Segunda Edicion. Rego, H., Moreira, T., & García, F. (2006a). AHKME Learning Object Manager Tool. Proceedings of 18th Word Conference on Educational Multimedia, Hypermedia & Telecommunications.Orlando, USA: Media Ed. Rego, H., Moreira, T., & García, F. (2006). Learning Object Management and Evaluation - Working with IMS Specifications and Metadata en AHKME LOM Tool. Proceedings of 2nd International Conference on Web Information Systems and Technologies (WEBIST).Setubal, Portugal: WEBIST. Rego, Moreira, T., García, F., & Barbosa, H. (2005). Educational Technological Specifications Support Distance Education in an e-Learning platform. IEEE 6th International Conference on Information Technology-Based HIgher Education and Training. Santo Domingo: ITHET. Referencias -311- Rehaz, D., & Mason, R. (2003). Keeping the Learning in Learning Objects. Journal of Interactive Media in Education Special Issue on Reusing online resources (Vol. 1) . Ridding, R. (2001). The nature and effects of cognitive styles. Perspectives on thinking, learning, and cognitive styles (págs. 47-71). Mahwah, NJ: Lawrence Erlbaum Associates. Riding, R., & Cheema, I. (1991). Cognitive Styles - an overview and Integration. Educational Psychology , 193-215. Riding, R., & Sadler-Smith, E. (1992). Type of instructional material cognitive style and learning perfomance. Educational Studies 18 , 323-340. Rodriguez-Conde, M., & García, F. (2005). Assessment Processes in Learning Programmas. Practice Educational Virtual Spaces in The Odiseam Approach (págs. 161-178). Barcelona: García, F.J., López, M., López, R. and Verdú, E. Rojas, M., & Salcedo, P. (2004). Curso UML Multiplataforma Adaptativo basado en la Teoria de Respuesta al Item. Concepcion, Chile: Universidad de Concepcion. Rojas, M., Manriquez, G., Gatica, Y., & Salcedo, P. (2004). Curso UML multiplataforma Adaptativo Basado en la Teoria de Respuesta al Item. Recuperado el Junio de 2010, de Dialnet: http://dialnet.unirioja.es Rose, M. (2006). Make Room fro Rubics. Recuperado el Abril de 2006, de http://teacher.scholastic.com/professional/ assessment/roomforubrics.htm#author#author Sarasin, L. (1998). Learning Style Perspectives, Impact in the classroom. Madison. Scallon, G. (2004). La evaluation des apprentisages dans une approche par competences. Renouveau Pédagogique . SCORM. (2004). Shareable Conten Object Reference Model v 1.3.1.Recuperado el Mayo de 2008, de adlnet: http://www.adlnet.org Scriven, M. (1967). Them Methodology of evaluation. Perspectives of Curriculum Evaluation (págs. 39-83). Chicago: AERA Monograph. Seisedos, N. (1989). Test de Figuras Ocultas. Madrid: TEA Ediciones. Seoane, A., García, F., Bosom, A., Fernández, E., & Hernández, M. (2006). Tutoring on-line as quiality garantee on e-Learning based lifelong learning. Virtual Campus. Selected and Extended papers (págs. 41-55). CEUR Workshop. Short, K., & Burke, C. (1994). Three paradigms of assessment. Recuperado el Enero de 2006, de http://serafini.nevada.edu/WebArticles/ThreeParadigms_files/ThreeParadigms.htm Solomon, B. (1988). Index of Learning Styles Questionarie.Recuperado el Junio de 2007, de http.//www.engr.ncsu.edu Squires, G. (1981). Cognitive Styles and Adult Learning. Universidad of Nottingham. -312- Referencias Stash, N., & De Bra, P. (2004). Incorporating cognitive styles in Aha (The adaptive hipermedia architecture). Proceedings of the IASTED International Conference Web- based Education (págs. 378-383). Calgary: ACTA. Stephen, R., & Smith, R. (2003). Assesing Students' Performances in a Competency based Curriculum. Academic Medicine 78 , 97-107. Stern, M., & Woolf, B. (1998). Curriculum Sequencing in a Web-based tutor. Proceedings of Intelligent Turoring Systems. Lecture Notes in Computer Science , Vol. 1422, 574-578. Tennant, M. (1988). Psychology and Adult Learning. London: Routledge. The Learning Federation. (2008). Metadata Application Profile ANZ LOM v. 1.01. Recuperado el 7 de Septiembre de 2010, de http://www.thelearningfederation.edu.au. Tzanavari, A., Retalis, S., & Pastellis, P. (2004). Giving More Adaptation Flexibility to Authors of Adaptive Assessments. Adaptive Hipermedia and Adaptive Web-based Systems (págs. 340-343). Berlin: Lecture notes in Computers Science, Springer Verlag. Vygotsky, L. (1979). El desarrollo de los procesos psicológicos superiores. Barcelona: Critica. W. H., Oltman, P., Raskin, E., & Karp, S. (1987). Test de Figuras Enmascaradas. En Psicologia Aplicada 2da. Ed. Madrid: TEA Publicaciones. Wiley, D. (2002). Connecting learning objects to instructional design theory: A definition, a methapor and a taxonomy.Recuperado el Mayo de 2008, de Reusability: http://reusability.org/read/chapters/wiley.doc Wilson, J. (1981). Student Learning in Higher Education. London: Croom Helm. Wineberg, S., & Eliot, T. (1997). Collaboration and the quandaries of assessment in a rapidly changing world. Phi Delta Kappan. Witkin, H., & Goodenough, D. (1985). Estilos Cognitivos: Naturaleza y Orígenes. Madrid: Pirámide. Witkin, H., Oltman, P., Raskin, E., & Karp, S. (1987). EFT, GEFT, CEFT. Test de figuras enmascaradas, Manual. Madrid: TEA Ediciones. Wonacott, M. (2000). Web-based training and Constructivism in brief. Recuperado el Noviembre de 2007, de Fast Facts for Policy and Practice # 2 National Dissemination Center: http://www.nccte.org/publications/infosynthesis/in-brief/in- brief02/index.asp Zarzar, C. (1993). Diseño de actividades de evaluacion de los aprendizajes. Mexico: Patria.