Responsible assessment and open science: reform agenda
DOI:
https://doi.org/10.61203/2347-0658.v12.n2.42029Keywords:
assessment, open science, reformsAbstract
Both globally and regionally, academic and research evaluation systems have been the focus of questioning in recent years, while the gradual but sustained transition towards open science entails a series of changes not only in the models of production and circulation of knowledge, but also in the criteria, methodologies and practices of evaluation. Using a qualitative and descriptive approach, based on the collection of primary documentary sources, the paper synthesizes the main trends in the international policy agenda on academic and research evaluation. On the other hand, it describes various diagnoses on evaluation systems in the Latin American region and the central challenges they face. In an overview, some recent research assessment reform initiatives in three countries in the region are introduced. The central argument of the paper argues for the existence of a more or less broad consensus around a set of principles of evaluative reform, with an impact on the global and regional science and higher education policy agenda, which at the local level are reconfigured through a diversity of competing rationalities, methodologies and instruments.
Downloads
References
Albagli, S.; Clinio, A.; Raychtock, S. (2014). Ciência aberta: correntes interpretativas e tipos de ação. Liinc em Revista,10(2), 434-450. https://doi.org/10.18617/liinc.v10i2.749
Albagli, S. (2017) Ciencia abierta como instrumento de democratización del saber. Trabalho, Educação e Saúde, 15(3), 663-664. Recuperado de: https://doi.org/10.1590/1981-7746-sol00093
Araujo, S. M. (2014). La evaluación y la Universidad en Argentina: políticas, enfoques y prácticas. Revista de la Educación Superior, XLIII 4(172), 57-77. https://www.redalyc.org/7009.pdf
Arocena, R., y Sutz, J. (2013). “Innovación y democratización del conocimiento como contribución al desarrollo inclusivo”, en G. Dutrenit y J., Sutz (eds.), Sistemas de Innovación para un Desarrollo Inclusivo. La experiencia latinoamericana, Foro Consultivo Científico y Tecnológico (pp.19-34). Ciudad de México: Editorial FCCyT.
Atairo, D., y Rovelli., L. (2019). Procesos de cambio en las universidades nacionales: Un estudio sobre los diseños institucionales de la Carrera Docente / Académica en Argentina. Trayectorias Universitarias, 5(8), 1-11. https://doi.org/10.24215/24690090e001
Babini, D. (2011). Acceso abierto a la producción científica de América Latina y el Caribe. Identificación de principales instituciones para estrategias de integración regional. Revista CTS. 6(17), 31-56. Recuperado de: http://www.revistacts.net/volumen-6-numero-17/101-articulos/390-acceso-abierto-a-la-produccion-cientifica-de-america-latina-y-el-caribe-identificacion-de-principales-instituciones-para-estrategias-de-integracion-regional
Babini, D., y Rovelli, L. (2020). Tendencias recientes en las políticas científicas de ciencia abierta y acceso abierto en Iberoamérica. Buenos Aires, Argentina: CLACSO-Fundación Carolina.
Balbachevsky, E. (2019). The Academic Market in Latin America: Challenges and Opportunities for Early Career Scholars. En: Mahat, M., and Tatebe, J. (Ed.) Achieving Academic Promotion (Surviving and Thriving in Academia) (pp. 127-142). Bingley: Emerald Publishing Limited.
Beigel, F. (2021). A multi-scale perspective for assessing publishing circuits in non-hegemonic countries. Tapuya: Latin American Science, Technology and Society, 4(1), 1 - 16. https://doi.org/10.1080/25729861.2020.1845923
Beigel, M. F. (2022). El proyecto de ciencia abierta en un mundo desigual. Relaciones Internacionales, Volumen (50),163–181. https://doi.org/10.15366/relacionesinternacionales2022.50.008
Bianco, M., Gras, N. & Sutz, J. (2016). Academic Evaluation: Universal Instrument? Tool for Development? Minerva (54),399–421.https://doi.org/10.1007/s11024-016-9306-9
Budapest Open Access Initiative (BOAI). (Ed.) (2022). La Iniciativa de Acceso Abierto de Budapest: recomendaciones en su 20° Aniversario. https://www.budapestopenaccessinitiative.org/boai20/boai20-spanish-translation/
Chalela Naffah, S., Corral Strassman, M. M., Lucio-Arias, D., Pallares, C., Tejada, M. A., Rendón Valencia, C. A., Muñoz Vélez, H., Acosta-Ortiz, A. M., Bernal Gamboa, E., & Ruiz Serna, L. (2023). Definición Responsable de Métricas para la Evaluación de la Investigación en Colombia (Version 1). Zenodo. Recuperado de: https://doi.org/10.5281/zenodo.7633359
Chen, G. & Chan, L. (2021). University Rankings and Governance by Metrics and Algorithms. In Hazelkorn. E. and Mihut, G. (eds). Handbook on University Rankings: Theory, Methodology, Influence and Impact (OA version of a chapter) Zenodo. Recuperado de: https://zenodo.org/record/4730593#.Y2Ls24LMLlw)
Curry, S; de Rijcke, S; Hatch, A; Pillay,D; van der Weijden, I.; Wilsdon, J.(2020). The changing role of funders in responsible research assessment: progress, obstacles and the way ahead (RoRI Working Paper No.3). Research on Research Institute. Report. Recuperado de: https://doi.org/10.6084/m9.figshare.13227914.v2
CLACSO (2021). Diagnóstico y propuestas para una iniciativa regional. Recuperado de: https://biblioteca-repositorio.clacso.edu.ar/bitstream/CLACSO/3349/1/FOLEC-Diagnostico.pdf
CLACSO (2022a). Declaración “Una nueva evaluación académica y científica para una ciencia con relevancia social en América Latina y el Caribe”. Recuperado de: https://bibliotecarepositorio.clacso.edu.ar/bitstream/CLACSO/169563/1/Declaracion-CLACSO-FOLEC-version-extendida.pdf
CLACSO (2022b). Documento de trabajo sobre Política nacional de Ciencia Abierta en Colombia 2022-2031. https://biblioteca-repositorio.clacso.edu.ar/bitstream/CLACSO/169821/1/Politica-nacional-ciencia-abierta-Colombia.pdf
Comisión Europea, Dirección General de Investigación e Innovación, (2023). Políticas de acceso abierto en América Latina, el Caribe y la Unión Europea: avances para un diálogo político, Oficina de Publicaciones de la Unión Europea. https://data.europa.eu/doi/10.2777/162
Foro CILAC (2018). Declaración de Panamá sobre Ciencia Abierta. https://forocilac.org/declaracion-de-panama-sobre-ciencia-abierta/
de la Fare, M. (2021). Los doctorados en Brasil: características y reorientación de la política de evaluación del sistema nacional de posgrado stricto sensu. En: Unzué, M. y Emiliozzi, S. (comps.). Formación doctoral, universidad y ciencias sociales (p. 79-95.) Buenos Aires, Argentina: Instituto de Investigaciones Gino Germani, Facultad de Ciencias Sociales de la Universidad de Buenos Aires, Agencia I+D+i.
de la Fare, M. y Rovelli, L. (2020). Los Doctorados en los sistemas nacionales de posgrado de la Argentina y Brasil. Revista de Actualidades Investigativas en Educación, 21(Número), 1-29: https://revistas.ucr.ac.cr/index.php/aie/article/view/42596/44914
Fecher B. y Friesike S. (2014). Open Science: One Term, Five Schools of Thought. En Bartling S. y Friesike S. (Eds). Opening Science. Springer,Cham. Ciudad, País: Editorial. Recuperado de: https://link.springer.com/chapter/10.1007/978-3-319-00026-8_2
Fressoli, M.; Arza, V. (2018). Los desafíos que enfrentan las prácticas de ciencia abierta. Teknokultura 15(2), 429-448. http://dx.doi.org/10.5209/TEKN.60616
Fritch R, Hatch A, Hazlett H, and Vinkenburg C. (2021). Using Narrative CVs. Recuperado de: https://zenodo.org/record/5799414#.YeM-41lOlPY
Foster. (2018). Manual de Capacitación sobre Ciencia Abierta. https://book.fosteropenscience.eu/es/
Gras (2021). Formas de evaluación de propuestas de investigación orientadas a problemas del desarrollo. Prácticas y perspectivas desde organizaciones nacionales de ciencia y tecnología e instituciones de educación superior de América latina y el Caribe. IDRC- CLACSO-FOLEC. Recuperado de: https://bibliotecarepositorio.clacso.edu.ar/bitstream/CLACSO/168954/1/Formas-evalucion-ropuestas.pdf
Gras, N., Ardanche Figueredo, M., Cohanoff, C., & Simón Delfino, L. (2023). La producción de conocimiento en interacción social y los desafíos para la evaluación. Integración Y Conocimiento, 12(1), 23–40. https://revistas.unc.edu.ar/index.php/integracionyconocimiento/article/view/40074
Giménez Toledo, E. (Coord.). (2022). Conclusiones y recomendaciones del grupo de trabajo sobre publicaciones científicas y difusión de la ciencia [Informe Técnico]. (CCHS-IFS) Informes y documentos de trabajo Recuperado de: http://hdl.handle.net/10261/284851
Hicks, D., Wouters, P., Waltman, L., De-Rijcke, S., Ràfols, I. (2015). Bibliometrics: the Leiden Manifesto for research metrics. Nature, 520(7548),429-431. Recuperado de: https://doi.org/10.1038/520429a
Kraemer-Mbula, E., Tijssen R., Wallace, M. y McLean, R. (2020). Introduction. Transforming Research Excelence. New ideas from the Global South (pp.1-18). Cape Town, South Africa:
African Minds. Recuperado de: https://www.africanminds.co.za/wp-content/uploads/2019/12/AMT-Research-Excellence-FINAL-WEB-02012020.pdf
Ministerio de Ciencia, Tecnología en Innovación (2022a) Plan Nacional de Ciencia, Tecnología e Innovación -PNCTI 2030. Recuperado de: https://www.argentina.gob.ar/sites/default/files/plan_nacional_de_cti_2030.pdf
Ministerio de Ciencia, Tecnología en Innovación (2022b). DIAGNÓSTICO Y LINEAMIENTOS PARA UNA POLÍTICA DE CIENCIA ABIERTA EN ARGENTINA. Comité Asesor en Ciencia Abierta y Ciudadana. https://www.argentina.gob.ar/sites/default/files/2023/01/documento_final_comite_cayc_-_dic_22.pdf
Naidorf, J. y Alonso, M. (2018). La movilización social del conocimiento en tres tiempos. Revista Lusófona de Educação, 39(39), 81-95. Recuperado de: https://doi.org/10.24140/issn.1645-7250.rle39.06
Perrotta, D. (2019) “Conocimiento y geopolítica desde América Latina: la narrativa por detrás de los rankings y la evaluación”, Cuadernos del Pensamiento Crítico Latinoamericano, (69), 1-4, Segunda Época. CLACSO. http://biblioteca.clacso.edu.ar/clacso/se/20190913020616/CuadernoPLC-N69- SegEpoca.pdf
Piovani, J.I. (2015). Reflexiones metodológicas sobre la evaluación académica. Política Universitaria(2), 43-69. ; Federación Nacional de Docentes Universitarios. Instituto de Estudios y Capacitación. Instituto de Estudios y Capacitación. Recuperado de: https://iec.conadu.org.ar/revista-politica-universitaria/
Política nacional de ciencia abierta en Colombia 2022-2031 (2022). Resolución 0777 del 3-8-2022, Ministerio de Ciencia, Tecnología e Innovación- Colombia.
Projeto Métricas. (2022). Institutional challenges and perspectives for responsible evaluation in Brazilian Higher Education: Projeto Métricas DORA partnership summary of findings. Zenodo. Recuperado de: https://doi.org/10.5281/zenodo.7259476
Ràfols, I. (2019). S&T Indicators ‘In the Wild’: Contextualisation and Participation for Responsible Metrics. Research Evaluation,28(1),7-22. Recuperado de: https://doi.org/10.1093/reseval/rvy030.
Roca, A. y Versino M. (2016): “Producción y legitimación de conocimientos en las universidades nacionales: una mirada desde las políticas de ciencia y tecnología y la evaluación de la investigación”, Revista Política Universitaria(3), 21-32.Instituto de Estudios y Capacitación, CONADU. Recuperado de: https://iec.conadu.org.ar/revista-politica-universitaria/
Rovelli, L. y de la Fare, M. (2021). Mutar sin retroceder. Formación e inserción doctoral en transición hacia la educación superior en pospandemia Revista Mexicana de Investigación Educativa,26(91), 1245-1266. Recuperado de: https://www.comie.org.mx/v5/sitio/wp-content/uploads/2021/11/RMIE_91.web_.pdf
San Francisco Declaration on Research Assessment – DORA (2013). Declaración. Recuperado de: https://sfdora.org/read/
Science Europe, EUA y European Commission (2022). COARA- Agreement on Reforming Research Assessment. Recuperado de: https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf
Sivertsen, G. (2017). Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective. Palgrave Communications, 3, 17078. Recuperado de: https://doi.org/10.1057/palcomms.2017.78
UNESCO (2021). Recomendación sobre la ciencia Abierta. Recuperado de: https://unesdoc.unesco.org/ark:/48223/pf0000378841_spa
UNESCO-LEBENSE (2022). Checklist for universities on implementing the UNESCO Recommendation on Open Science. Recuperado de: https://doi.org/10.54677/NWEE2539.
Vasen, F., Sarthou, N. F., Romano, S., Gutiérrez, B. D., Ortiz, M. E. y Pintos, M. (2021). Sistemas Nacionales de Categorización de Investigadores en Iberoamérica: la configuración de un modelo regional. Documentos de trabajo PICT2018-2794 nro 1. Recuperado de: https://ssrn.com/abstract=3891052
Vélez Cuartas, G., de Oliveira, T., Collazo, F., Uribe Tirado, A., Rovelli, L., Naidorf, J. [Comp.] (2022). Métricas de la producción académica evaluación de la investigación desde América Latina y el Caribe. CLACSO, Latmétricas. Recuperado de: https://www.clacso.org.ar/libreria-latinoamericana/libro_detalle.php?orden=&id_libro=2736&pageNum_rs_libros=0&totalRows_rs_libros=1678
Versino, M. (2021). Repensando (una vez más) la vinculación de las universidades con el entorno social y productivo. Revista Pensamiento Universitario, 20 (20). Recuperado de: https://www.pensamientouniversitario.com.ar/index.php/2021/10/19/repensando-una-vez-mas-la-vinculacion-de-las-universidades-con-el-entorno-social-y-productivo/
Vommaro, P. y Rovelli, L. (2022). Desafíos a la evaluación de la investigación orientada a la movilización del conocimiento en transición hacia la ciencia abierta: un análisis a partir del caso de los GT de CLACSO. Revista Analecta Política, 12(23), 1-18. Recuperado de: http://dx.doi.org/10.18566/apolit.v12n23.a02
Tennant, J., Francuzik, W., Dunleavy, D. J., Fecher, B., Gonzalez-Marquez, M. y Steiner, T. (2020). Open Scholarship as a mechanism for the United Nations Sustainable Development Goals. Recuperado de: https://doi.org/10.31235/osf.io/8yk62
Walker, V. (2020). “El trabajo docente universitario y su evaluación. Políticas, tensiones y desafíos”. Educação em Revista,36,1-28. Recuperado de: https://doi.org/10.1590/0102-4698221045
Waltman, L., Kaltenbrunner, W., Pinfield, S., & Woods, H. B. (2022). How to improve scientific peer review: Four schools of thought. Preprint: SocArXiv. Recuperado de: https://doi.org/10.31235/osf.io/v8ghj
Downloads
Published
Issue
Section
License
Copyright (c) 2023 Integración y Conocimiento
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Authors who have publications with this journal accept the following terms:
a. Authors shall retain their copyright and guarantee the journal the right of first publication of their work, which shall simultaneously be subject to the Creative Commons License of Recognition which allows third parties to share the work as long as its author is indicated and its first publication is this journal.
b. Authors may adopt other non-exclusive licensing agreements for the distribution of the published version of the work (e.g., depositing it in an institutional telematic archive or publishing it in a monographic volume) provided that the initial publication in this journal is indicated.
c. Authors are allowed and encouraged to disseminate their work via the Internet (e.g. in institutional telematic archives or on their website) after publication of the article, which may lead to interesting exchanges and increased citations of the published work. (See The Effect of Open Access).