Invarianza factorial de una medida de burnout académico entre estudiantes universitarios de Perú, México y Colombia
Contenido principal del artículo
Resumen
El objetivo de este estudio fue analizar la invarianza de medición de una escala de agotamiento emocional académico entre estudiantes universitarios de Perú (n = 472; 76.059% mujeres; Medad = 20.636), México (n = 362; 66.298% mujeres; Medad =21.063) y Colombia (n = 288; 88.194% mujeres; Medad = 21.780). La estructura interna se estudió con un análisis factorial confirmatorio para comprobar la unidimensionalidad de la Escala de Cansancio Emocional (ECE) en cada muestra, y la invarianza del modelo fue analizada con un análisis factorial multigrupo. Los resultados mostraron que el modelo unidimensional obtiene evidencias favorables en cada muestra respecto a sus cargas factoriales y confiablidad, y es invariante entre las muestras en su estructura (invarianza configural), cargas factoriales (invarianza métrica), thresholds (invarianza fuerte) y residuales (invarianza estricta). Aunque se necesita investigación adicional, el ECE parece ser una medida prometedora para su uso con estudiantes universitarios colombianos, mexicanos y peruanos.
Detalles del artículo
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
La RACC aplicará la licencia internacional de atribuciones comunes creativas (Reconocimiento 4.0 Internacional: https://creativecommons.org/licenses/by/4.0/).
Bajo esta licencia, se permite cualquier explotación de la obra, incluyendo la explotación con fines comerciales y la creación de obras derivadas, la distribución de las cuales también está permitida sin ninguna restricción. Esta licencia es una licencia libre según la Freedom Defined. La única condición es que siempre y en todos los casos se cite a los autores y a la fuente original de publicación (i.e., RACC). Esta licencia fue desarrollada para facilitar el acceso abierto, gratuito y libre a trabajos originales científicos y artísticos.
Cómo citar
Referencias
Alarcón, G., Edwards, J., & Menke, L. (2011). Student Burnout and Engagement: A Test of the Conservation of Resources Theory. The Journal of Psychology, 145(3), 211-227. doi: 10.1080/00223980.2011.555432.
Asencio-Lopez, L., Almaraz-Celis, G. D., Carrillo Maciel, V., Huerta Valenzuela, P., Silva Goytia, L., Muñoz Torres, M., … Flores Lepe, R. (2016). Burnout syndrome in first to sixth-year medical students at a private university in the north of Mexico: descriptive cross-sectional study. Medwave, 16(3), e6432. doi: 10.5867/medwave.2016.03.6432.
Asociación Médica Mundial (1964). Declaración de Helsinki. Recuperado de: http://www.conamed.gob.mx/prof_salud/pdf/helsinki.pdf.
Asparouhov, T., & Muthén, B. (2006). Robust chi square difference testing with mean and adjusted test statistics. Recuperado de: https://www.statmodel.com/download/webnotes/webnote10.pdf.
Athié Gutiérrez, C., Cardiel Marmolejo, L. E., Camacho Aguilera, J., Mucientes Avellaneda, V. M., Terronez Girón, A. d. M., Cabrera Mora, N. A., … Sainos Ramírez, C. A. (2016). Burnout en médicos internos de pregrado del Hospital General de México Dr. Eduardo Liceaga. Investigación en Educación Médica, 5(18), 102-107. doi: 10.1016/j.riem.2016.01.020.
Ato, M., López, J., & Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29(3), 1038-1059. doi: 10.6018/analesps.29.3.178511
Barrigón, M. L., Rico-Romano, A. M., Ruiz-Gomez, M., Delgado-Gomez, D., Barahona, I., Aroca, F., ... MEmind Study Group. (2017). Estudio comparativo de los formatos en lápiz y papel y electrónicos de los cuestionarios GHQ-12, WHO-5 y PHQ-9. Revista de Psiquiatría y Salud Mental, 10(3), 160-167. doi: 10.1016/j.rpsm.2016.12.002.
Bekker, M. H. J., Croon, M. A., & Bressers, B. (2005). Child care involvement, job characteristics, gender and work attitudes as predictors of emotional exhaustion and sickness absences. Work & Stress, 19(3), 221-237. doi: 10.1080/02678370500286095.
Caballero, C., Abello, R., & Palacio, J. (2007). Relación del burnout y el rendimiento académico con la satisfacción frente a los estudios en estudiantes universitarios. Avances en Psicología Latinoamericana, 25(2), 98-111.
Caballero, C., Gutiérrez, O., & Palacio, J. (2015). Relación del burnout y el engagement con depresión, ansiedad y rendimiento académico en estudiantes universitarios. Salud Uninorte, 31(1), 59-69. doi: 10.14482/sun.31.1.5085
Caballero, C., Hederich, C., & Palacio, J. (2010). El burnout académico: delimitación del síndrome y factores asociados con su aparición. Revista Latinoamericana de Psicología, 42(1), 131-146. doi: 10.14349/rlp.v42i1.403.
Campos, J. A. D. B., & Marôco, J. (2012). Maslach Burnout Inventory – Student Survey: Portugal – Brazil cross – cultural adaptation. Revista de Saúde Pública, 46(5), 816-824. doi: 10.1590/S0034-89102012000500008.
Charry, C., Garzón, A., Pozo, C., & Bretones, B. (2018). Invarianza factorial del burnout académico para estudiantes hispanohablantes. Revista Mexicana de Investigación Educativa, 23(79), 1195-1215.
Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling, 14(3), 464-504. doi: 10.1080/10705510701301834.
Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. doi: 10.1037/0033-2909.112.1.155.
Colegio de Psicólogos del Perú (2017). Código de ética y deontología. Recuperado de: https://www.cpsp.pe/documentos/marco_legal/codigo_de_etica_y_deontologia.pdf
Demerouti, E., Mostert, K., & Bakker, A. B. (2010). Burnout and work engagement: A thorough investigation of the independency of both constructs. Journal of Occupational Health Psychology, 15(3), 209-222. doi: 10.1037/a0019408.
Dias, J. C. R., Maroco, J., & Campos, J. A. D. B. (2015). Weight concerns scale applied to college students: comparison between pencil-and-paper and online formats. Cyberpsychology, Behavior, and Social Networking, 18(3), 188-192. doi: 10.1089/cyber.2014.0392.
Dimitrov, D. M. (2010). Testing for factorial invariance in the context of construct validation. Measurement and Evaluation in Counseling and Development, 43(2), 121-149. doi: 10.1177/0748175610373459.
DiStefano, C., Liu, J., Jiang, N., & Shi, D. (2018). Examination of the weighted root mean square residual: Evidence for trustworthiness? Structural Equation Modeling: A Multidisciplinary Journal, 25(3), 453-466. doi: 10.1080/10705511.2017.1390394.
Domínguez-González, A. D., Velasco-Jiménez, M. T., Meneses-Ruiz, D. M., Valdivia-Gómez, G., & Castro-Martínez, M. G. (2017). Síndrome de burnout en aspirantes a la carrera de medicina. Investigación en Educación Médica, 6(24), 242-247. doi: 10.1016/j.riem.2016.11.007
Dominguez-Lara, S. (2013). Análisis psicométrico de la Escala de Cansancio Emocional en estudiantes de una universidad privada. Revista Digital de Investigación y Docencia Universitaria, 7(1), 45-55. doi: 10.19083/ridu.7.186.
Dominguez-Lara, S. (2014). Escala de Cansancio Emocional: estructura factorial y validez de los ítems en estudiantes de una universidad privada. Avances en Psicología, 21, 89-97. doi: 10.33539/avpsicol.2014.v22n1.275.
Dominguez-Lara, S. (2018a). Análisis complementario del MBI-SS en el contexto académico colombiano. Revista CES Psicología, 11(1), 144-148. doi: 10.21615/cesp.11.1.12.
Dominguez-Lara, S. (2018b). Invarianza longitudinal y error transitorio de una medida de burnout académico en universitarios. Avaliação Psicológica, 17(3), 311-320. doi: 10.15689/ap.2018.1703.14421.04.
Dominguez-Lara, S. (2018c). Propuesta de puntos de corte para cargas factoriales: una perspectiva de fiabilidad de constructo. Enfermería Clínica, 28(6), 401-402.doi: 10.1016/j.enfcli.2018.06.002.
Dominguez-Lara, S. (2019). Correlación entre residuales en análisis factorial confirmatorio: una breve guía para su uso e interpretación. Interacciones, 11(3), e207. doi: 10.24016/2019.v5n3.207.
Dominguez-Lara, S., Fernández-Arata, M., Manrique-Millones, D., Alarcón-Parco, D., & Díaz-Peñaloza, M. (2018). Datos normativos de una escala de agotamiento emocional académico en estudiantes universitarios de psicología de Lima (Perú). Educación Médica, 19(3), 246-255 doi: 10.1016/j.edumed.2017.09.002.
Dominguez-Lara, S. A., Gravini-Donado, M., & Torres-Villalobos, G. (2019). Análisis psicométrico de dos versiones de la Connor-Davidson Resilience Scale en estudiantes universitarios peruanos: propuesta del CD-RISC-7. Revista Argentina de Ciencias del Comportamiento, 11(2), 36-51. doi: 10.32348/1852.4206.v11.n2.23774.
Dominguez-Lara, S., & Merino-Soto, C. (2018). Análisis de las malas especificaciones en modelos de ecuaciones estructurales. Revista Argentina de Ciencias del Comportamiento, 10(2), 19-24. doi: 10.30882/1852.4206.v10.n2.19595.
Dominguez-Lara, S., & Merino-Soto, C. (2019). Medición con ítem único del agotamiento emocional académico en estudiantes universitarios peruanos: evidencias de validez y confiabilidad. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 50(1), 45-56. doi: 10.21865/RIDEP50.1.04.
Estela-Villa, L. M., Jiménez-Román, C. R., Landeo-Gutiérrez, J. S., Tomateo-Torvisco, J. D., & Vega-Dienstmaier, J. M. (2010). Prevalencia de síndrome de burnout en alumnos del séptimo año de medicina de una universidad privada de Lima, Perú. Revista de Neuropsiquiatría, 73(4), 147-156. doi: 10.20453/rnp.v73i4.1700.
Fernández, M., Juárez, A., & Merino, C. (2015). Análisis estructural e invarianza de medición del MBI-GS en trabajadores peruanos. Liberabit, 21(1), 9-20.
Flora, D. B., & Curran, P. J. (2004). An empirical evaluation of alternative methods of estimation for confirmatory factor analysis with ordinal data. Psychological Methods, 9(4), 466-491. doi:10.1037/1082-989X.9.4.466.
Foldnes, N., & Grønneberg, S. (2020). Pernicious polychorics: The impact and detection of underlying non-normality. Structural Equation Modeling: A Multidisciplinary Journal, 27(4), 525-543. doi: 10.1080/10705511.2019.1673168.
Fontana, S. (2011). Estudio preliminar de las propiedades psicométricas de la escala de desgaste emocional para estudiantes universitarios. Revista Argentina de Ciencias del Comportamiento, 3(2), 44-48. doi: 10.32348/1852.4206.v3.n2.5227.
Fornell, C., & Larcker, D. F. (1981). Evaluationg structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(3), 39-50. doi: 10.1177/002224378101800104.
Fraile Aranda, A. (2006). El sistema universitario europeo como modelo posible para la educación superior latinoamericana. Revista Electrónica de Investigación Educativa, 8(1), 1-15.
Galvan-Molina, J. F., Jimenez-Capdeville, M. E., Hernandez-Mata, J. M., & Arellano-Cano, J. R. (2017). Sistema de tamizaje de psicopatología en estudiantes de Medicina. Gaceta Médica de México, 153(1), 75-87.
González, M., & Landero, R. (2007a). Escala de Cansancio Emocional (ECE) para estudiantes universitarios: propiedades psicométricas en una muestra de México. Anales de Psicología, 23(2), 253-257.
González, M., & Landero, R. (2007b). Factor Structure of the Perceived Stress Scale (PSS) in a Sample from Mexico. The Spanish Journal of Psychology, 10(1), 199-206. doi: 10.1017/ S1138741600006466.
Hakanen, J., & Schaufeli, W. (2012). Do burnout and work engagement predict depressive symtoms and life satisfaction? A three-wave seven-year prospective study. Journal of Affective Disorders, 141(2-3), 415-424. doi: 10.1016/j.jad.2012.02.043.
Heene, M., Hilbert, S., Draxler, C., Ziegler, M., & Bühner, M. (2011). Masking misfit in confirmatory factor analysis by increasing unique variances: A cautionary note on the usefulness of cutoff values of fit indices. Psychological Methods, 16(3), 319-336. doi: 10.1037/a0024917.
Herrera, L., Mohamed, L., & Cepero, S. (2016). Cansancio emocional en estudiantes universitarios. Revista de Educação e Humanidades, 9(1), 173-191.
Hu, Q., & Schaufeli, W. B. (2009). The factorial validity of the Maslach Burnout Inventory – Student Survey in China. Psychological Reports, 105(2), 304-408. doi: 10.2466/PR0.105.2.394-408
Hunsley, J., & Marsh, E. J. (2008). Developing criteria for evidence-based assessment: An introduction to assessment that work. En J. Hunsley & E. J. Marsh (Eds.), A guide to assessments that work (pp. 3-14). Oxford: Oxford University Press.
Kranabetter, C., & Niessen, C. (2017). Managers as role models for health: Moderators of the relationship of transformational leadership with employee exhaustion and cynicism. Journal of Occupational Health Psychology, 22(4), 492-502. doi: 10.1037/ocp0000044.
Lai, K., & Green, S. B. (2016). The Problem with Having Two Watches: Assessment of Fit When RMSEA and CFI Disagree. Multivariate Behavioral Research, 51(2-3), 220-239. doi: 10.1080/00273171.2015.1134306.
Li, B., Wu, Y., Wen, Z., & Wang, M. (2014). Adolescent student burnout inventory in mainland China: measurement invariance across gender and educational track. Journal of Psychoeducational Assessment, 32(3), 227-235. doi: 10.1177/0734282913508246.
Lowe, P. A. (2019). Exploring Cross-Cultural and Gender Differences in Test Anxiety Among US and Canadian College Students. Journal of Psychoeducational Assessment, 37(1), 112-118. doi: 10.1177/0734282917724904.
Mahler, C. (2016). The Influence of Model Components and Misspecification Type on the Performance of the Comparative Fit Index (CFI) and the Root Mean Square Error of Approximation (RMSEA) in Structural Equation Modeling [Tesis de maestría]. University of Calgary, Canadá. doi: 10.11575/PRISM/28214.
Mardia, K. (1970). Measures of multivariate skewness and kurtosis with applications. Biometrika, 57(3), 519-530. doi: 10.1093/biomet/57.3.519.
Martínez, I., & Salanova, M. (2003). Niveles de burnout y engagement en estudiantes universitarios. Relación con el desempeño y desarrollo profesional. Revista de Educación, 330, 361-384.
Maslach, C. (1982). Burnout: the cost of caring. New York: Prentice Hall.
Maslach, C., & Leiter, M. (2008). Early Predictors of Job Burnout and Engagement. Journal of Applied Psychology, 93(3), 498-512. doi: 10.1037/0021-9010.93.3.498.
Maslach, C., Schaufeli, W. B., & Leiter, M. P. (2001). Job burnout. Annual Review of Psychology, 52, 397-422. doi: 10.1146/annurev.psych.52.1.397
Máynez-Guaderrama, A. I., Cavazos-Arroyo, J., & Reyes-Flores, G. (2017). Efecto de la violación del contrato psicológico y el agotamiento emocional sobre el cinismo del empleado. Estudios Gerenciales, 33(143), 124-131. doi: 10.1016/j.estger.2017.04.002.
McDonald, R. P., & Ho, M. H. R. (2002). Principles and practice in reporting structural equation analyses. Psychological Methods, 7(1), 64-82. doi: 10.1037/1082-989X.7.1.64.
Mészáros, V., Ádám, S., Szabó, M., Szigeti, R., & Urbán, R. (2014). The Bifactor Model of the Maslach Burnout Inventory– Human Services Survey (MBI-HSS)—An Alternative Measurement Model of Burnout. Stress & Health, 30(1), 82-88. doi: 10.1002/smi.2481.
Morán, V. E., García, F. E., & Hormazabal, P. (2018). Validación transcultural del Cuestionario de Habilidades Sociales para Universitarios en estudiantes chilenos y argentinos (CHS-U). Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 47(2), 111-123. doi: 10.21865/RIDEP47.2.08.
Moreno-Jiménez, B., Garrosa-Hernández, E., Benevides-Pereira, A. M., & Gálvez-Herrer, M. (2003). Estudios transculturales del burnout: Los estudios transculturales Brasil-España. Revista Colombiana de Psicología, 12, 9-18.
Muthén, L. K., & Muthén, B. O. (1998-2015). Mplus User’s guide (7° Ed.). Los Angeles, CA: Muthén & Muthén.
Nikodijević, A., Labrović, J. A., & Đoković, A. (2012). Academic Burnout among Students at Faculty of Organizational Sciences. Education Management, 64, 565-570. doi: 10.7595/management.fon.2012.0019.
Ortega, M. E., Ortiz, G. R., & Martínez, A. J. (2014). Burnout en estudiantes de pregrado de medicina y su relación con variables de personalidad. Terapia Psicológica, 32(3), 235-242. doi: 10.4067/S0718-48082014000300006
Pendergast, L. L., von der Embse, N., Kilgus, S. P., & Eklund, K. R. (2017). Measurement equivalence: A non-technical primer on categorical multi-group confirmatory factor analysis in school psychology. Journal of School Psychology, 60, 65-82. doi: 10.1016/j.jsp.2016.11.002.
Pornprasertmanit, S. (2014). A Note on Effect Size for Measurement Invariance. Recuperado de: http://cran.irsn.fr/web/packages/semTools/vignettes/partialInvariance.pdf
Portoghese, I., Leiter, M. P., Maslach, C., Galletta, M., Porru, F., D’Aloja, E., … Campagna, M. (2018). Measuring Burnout among University Students: Factorial Validity, Invariance, and Latent Profiles of the Italian Version of the Maslach Burnout Inventory Student Survey (MBI-SS). Frontiers in Psychology, 9, 2105. doi: 10.3389/fpsyg.2018.02105.
Preciado-Serrano, M. d. L., & Vázquez-Goñi, J. M. (2010). Perfil de estrés y síndrome de burnout en estudiantes mexicanos de odontología de una universidad pública. Revista Chilena de Neuro-Psiquiatría, 48(1), 11-19. doi: 10.4067/S0717-92272010000200002
Ramos, F., Manga, D., & Morán, C. (2005). Escala de cansancio emocional (ECE) para estudiantes universitarios: Propiedades psicométricas y asociación. Interpsiquis, 6, 1-9.
Reis, D., Despoina, X., & Tsaousis, I. (2015). Measuring job and academic burnout with the Oldenburg Burnout Inventory (OLBI): Factorial invariance across samples and countries. Burnout Research, 2(1), 8-18. doi: 10.1016/j.burn.2014.11.001.
Rodríguez, M., & Ruiz, M. (2008). Atenuación de la asimetría y de la curtosis de las puntuaciones observadas mediante transformaciones de variables: Incidencia sobre la estructura factorial. Psicológica: Revista de Metodología y Psicología Experimental, 29(2), 205-227.
Rohland, B., Kruse, G., & Rohrer, J. (2004). Validation of a single-item measure of burnout against the Maslach Burnout Inventory among physicians. Stress & Health, 20(2), 75-79. doi: 10.1002/smi.1002.
Rosales, Y., & Rosales, F. (2013). Burnout estudiantil universitario: Conceptualización y estudio. Salud Mental, 4(36), 337-345.
Rostami, Z., Reza, M., Schaufeli, W. B., Ahmadi, A., & Sadeghi, A. H. (2014). The psychometric characteristics of Maslach Burnout Inventory Student Survey: Among students of Isfahan University. Zahedan Journal of Research in Medical Sciences, 16(9), 55-58.
Rudman, A., & Gustavsson, J. (2012). Burnout during nursing education predicts lower occupational preparedness and future clinical performance: A longitudinal study. International Journal of Nursing Studies, 49(8), 988-1001. doi: 10.1016/j.ijnurstu.2012.03.010.
Ruiz, F. J., Suárez-Falcón, J. C., Flórez, C. L., Odriozola-González, P., Tovar, D., López-González, S., & Baeza-Martín, R. (2019). Validity of the Satisfaction with Life Scale in Colombia and factorial equivalence with Spanish data. Revista Latinoamericana de Psicología, 51(2), 58-65. doi: 10.14349/rlp.2019.v51.n2.1
Salanova, M., Bresó, E., & Schaufeli, W. (2005). Hacia un modelo espiral de las creencias de eficacia en el estudio del Burnout y el Engagement. Ansiedad y Estrés, 11(2-3), 215-231.
Saris, W. E, Satorra, A., & van der Veld, W. M. (2009). Testing structural equation modeling or detection of misspecifications? Structural Equation Modeling: A Multidisciplinary Journal, 16(4), 561-582. doi: 10.1080/10705510903203433.
Savalei, V. (2012). The relationship between root mean square error of approximation and model misspecification in confirmatory factor analysis. Educational and Psychological Measurement, 72(6), 910-932. doi: 10.1177/0013164412452564.
Schaufeli, W. B., Martínez, I. M., Marques, A., Salanova, M., & Bakker, A. B. (2002). Burnout and engagement in university students. A cross – national study. Journal of Cross – Cultural Psychology, 33(5), 464-481. doi: 10.1177/0022022102033005003
Torres, L. H., Mohand, L. M., & Espinosa, S. C. (2016). Cansancio emocional en estudiantes universitarios. DEDiCA. Revista de Educação e Humanidades, 9, 173-191.
Tsubakita, T., & Shimazaki, K. (2016). Constructing the Japanese version of the Maslach Burnout Inventory – Student Survey: confirmatory factor analysis. Japan Journal of Nursing Science, 13(1), 183-188. doi: 10.1111/jjns.12082.
Valer, D. B., Aires, M., Fengler, F. L., & Paskulin, L. M. G. (2015). Adaptación y validación del Inventario de Sobrecarga del Cuidador para uso en cuidadores de ancianos. Revista Latino-Americana de Enfermagem, 23(1), 130-138. doi: 10.1590/0104-1169.3357.2534.
Van Dierendonck, D., Schaufeli, W. B., & Sixma, H. (1994). Burnout among general practicioners: A perspective from equity theory. Journal of Social and Clinical Psychology, 13(1), 86-100. doi: 10.1521/jscp.1994.13.1.86.
Vergara, A. I., & Balluerka, N. (2000). Metodología en la investigación transcultural: perspectivas actuales. Psicothema, 12(2), 557-562.
Visoso-Salgado, A., Sánchez-Reyna, P. A., & Montiel-Bastida, N. M. (2012). Síndrome de Burnout en la Facultad de Odontología de la Universidad Autónoma del Estado de México: un Estudio Comparativo. International Journal of Odontostomatology, 6(2), 129-138. doi: 10.4067/S0718-381X2012000200003.
Walburg, V. (2014). Burnout among high school students: A literature review. Children and Youth Services Review, 42, 28-33. doi: 10.1016/j.childyouth.2014.03.020
West, S. G., Taylor, A. B., & Wu, W. (2012). Model fit and model selection in structural equation modeling. En R. H. Hoyle (Ed.), Handbook of Structural Equation Modeling (pp. 209-231). New York, NY: Guilford.
Wong, C. A., & Spence, H. K. (2015). The influence of frontline manager job strain on burnout, commitment and turnover intention: A cross-sectional study. International Journal of Nursing Studies, 52(12), 1824-1833. doi: 10.1016/j.ijnurstu.2015.09.006.
Wu, H., & Estabrook, R. (2016). Identification of confirmatory factor analysis models of different levels of invariance for ordered categorical outcomes. Psychometrika, 81(4), 1014-1045. doi: 10.1007/s11336-016-9506-0.
Xanthopoulou, D., Bakker, A. B., Kantas, A., & Demerouti, E. (2012). Measuring burnout and work engagement: Factor structure, invariance, and latent mean differences across Greece and the Netherlands. International Journal of Business Science & Applied Management, 7(2), 40-52.
Żemojtel‐Piotrowska, M., Piotrowski, J., Rogoza, R., Baran, T., Hitokoto, H., & Maltby, J. (2018). Cross‐cultural invariance of NPI‐13: Entitlement as culturally specific, leadership and grandiosity as culturally universal. International Journal of Psychology, 54(4), 439-447. doi: 10.1002/ijop.12487.