The role of chance in multiple choice tests

Authors

  • César Medina Facultad de Ciencias Exactas y Tecnología, Universidad Nacional de Tucumán, Av. Independencia 1800, CP 4000, San Miguel de Tucumán, Tucumán. Argentina.
  • Sandra Velazco Facultad de Ciencias Exactas y Tecnología, Universidad Nacional de Tucumán, Av. Independencia 1800, CP 4000, San Miguel de Tucumán, Tucumán. Argentina.

DOI:

https://doi.org/10.55767/2451.6007.v33.n1.33276

Keywords:

Evaluation, Multiple Choice, Pass by Chance, Binomial Distribution

Abstract

A summary is presented about some important issues of evaluation as a fundamental stage of the educational process, highlighting its instrumental role which fits different purposes and versions. Some methodological aspects are discussed related to design and development of multiple-choice tests, emphasizing those connected with the need to reduce the probability of students passing by chance. In this respect, two strategies are discussed with mathematical detail: a) Negative scoring for wrong answers and b) Test design considering three crucial variables: the number of items, the number of options and the degree of demand. It is highlighted that increasing the number of items solely, not only does not reduce the probability of passing by chance, but even may raise it if the other two variables are not properly designed.

References

Aspa Marco, F. y Rodríguez de Castro, F. (2010). Evaluación final: ¿sirve el examen MIR? Educ Med, 13(1), 73-77.

Belloch, C. (s/f). Entornos Virtuales de Aprendizaje (documento inédito), Unidad de Tecnología Educativa, Universidad de Valencia. Recuperado de https://www.uv.es/bellochc/pedagogia/EVA3.pdf.

Cano, M. (2008). La evaluación por competencias en la educación superior. Revista de Currículum y Formación de Profesorado, 12(3). Recuperado de http://www.ugr.es/local/recfpro/rev123COL1.pdf

Centro de Estudios Científicos y Tecnológicos Nº 13. (2010). Manual Cómo Elaborar Pruebas Objetivas (documento inédito). Manual, Instituto Politécnico Nacional, México. Recuperado de https://www.repositoriodigital.ipn.mx/bitstream/123456789/5792/1/pruebas%5B1%5D.pdf

Chernoff, H. (1962). The Scoring of Multiple-Choice Questionnaires. Ann. Math. Statist. 33(2), 375-393. Recuperado de https://projecteuclid.org/journals/annals-of-mathematical-statistics/volume-33/issue-2/The-Scoring-of-Multiple-Choice-Questionnaires/10.1214/aoms/1177704565.full

Devore, J. (2016). Probability and Statistics for Engineering and the Siences (9th. Ed.). Boston: Cencage Learning.

Educrea (s/f). Pruebas de Selección Múltiple. https://educrea.cl/pruebas-de-seleccion-multiple/ Visitado el 24/10/2020.

Entorno virtual de aprendizaje. (2020). En Wikipedia, la enciclopedia libre. https://es.wikipedia.org/w/index.php?title=Entorno_virtual_de_aprendizaje&oldid=135037758 Visitado el 24/10/2020.

García-Garro, A., Ramos-Ortega, G., Díaz de León-Ponce, M. y Olvera-Chávez, A. (2007). Instrumentos de evaluación. Revista Mexicana de Anestesiología, 30(3), 158-164.

López Meneses, E. y Miranda Velasco, M. (2007). Influencia de la Tecnología de la Información en el Rol del Profesorado y en los Procesos de Enseñanza-Aprendizaje. Revista Iberoamericana de Educación a Distancia, 10(1), 51-60.

López Rayón Parra, A., Ledesma Saucedo, R. y Escalera Escajeda, S. (2009). Ambientes Virtuales de Aprendizaje (documento inédito). Recuperado de www.comunidades.ipn.mx/.../168ambientes%20virtuales%20de%20aprendizaje

Macías Calvillo, E. (2011). Validación y confiabilidad de pruebas de opción múltiple para la evaluación de habilidades (tesis de maestría no publicada), Centro de Investigación en Matemáticas, A. C., Guanajuato. Recuperada de https://cimat.repositorioinstitucional.mx/jspui/bitstream/1008/245/2/TE%20373.pdf

Millán Núñez-Cortés, J. (2010). Evaluación del alumno. Educ Med, 13(1), 57-60.

Mousalli-Kayat, G. (2017). Los instrumentos de Evaluación en la Investigación Educativa (documento inédito), Universidad de los Andes, Mérida. Recuperado de https://www.researchgate.net/publication/321397866

Noriega Echevarría, I. (2010). Evaluación objetiva: el punto de vista de los estudiantes. Educ Med, 13(1), 79-82.

Onrubia, J. (2005). Aprender y enseñar en entornos virtuales: actividad conjunta, ayuda pedagógica y construcción del conocimiento. Revista de Educación a Distancia, (monográfico II). Recuperado de http://www.um.es/ead/red/M2/

Ruiz Betancourt, T. A., Rodríguez Guaraca, N. M., Gallegos Arias, L. Villacis Vallejo, J. M. (2018). Las Pruebas Objetivas como Instrumento de Medición de los Resultados de Aprendizaje. Revista Atlante: Cuadernos de Educación y Desarrollo. Recuperado de https://www.eumed.net/rev/atlante/2018/06/pruebas-resultados-aprendizaje.html .

Published

2021-06-08

How to Cite

The role of chance in multiple choice tests. (2021). Journal of Physics Teaching, 33(1), 61-72. https://doi.org/10.55767/2451.6007.v33.n1.33276