1 Introducción
Las instituciones de Educación Superior (IES) demuestran su compromiso con la calidad del proceso formativo mediante el ejercicio de la autoevaluación para identificar información relevante para la mejora continua, la consolidación de las fortalezas y la corrección de las debilidades. Para que la calidad sea óptima debe ser gestionada con un enfoque de mejora continua, por lo que la autoevaluación debe realizarse sistemáticamente y no solo como un requisito previo para la evaluación externa con vistas a la acreditación.
La formación virtual, dada su estrecha vinculación con las tecnologías de la información y la comunicación (TIC), presenta características intrínsecas que afectan las relaciones entre los diferentes actores del proceso formativo. Por lo tanto, para la formación virtual no resulta factible emplear los enfoques pedagógicos y didácticos utilizados en la formación presencial, sino que estos deben ser modificados a través de la innovación del cómo se aprende (García-Aretio, 2021a).
Una exhaustiva revisión bibliográfica y la propia experiencia del investigador como miembro del claustro de tres programas académicos de posgrado, así como la entrevista a miembros del Comité Evaluador de Maestrías de la Junta de Acreditación Nacional (JAN), demuestran que en el Sistema de Evaluación y Acreditación de Maestrías (SEA-M) se han incorporado algunos elementos generales aplicables a los programas en la modalidad virtual, sin que exista una profundización suficiente de todos los indicadores que se requerirían para realizar una autoevaluación detallada por parte de los comités académicos de los programas virtuales de maestría.
En consecuencia, no es suficiente utilizar el SEA-M vigente para realizar una detallada y profunda autoevaluación de los programas de posgrado académico virtuales, con vistas a su mejora continua. De esta forma, se identifica el problema científico siguiente:
¿Qué elementos conceptuales y metodológicos se deben considerar para la autoevaluación de la calidad de los programas virtuales de maestría en Cuba?
Esta investigación tiene como objeto de estudio la evaluación de la calidad de los programas de posgrado académico y se enfoca en el campo de estudio definido por la autoevaluación de la calidad de los programas virtuales de maestría. Su objetivo está orientado a establecer un instrumento para la autoevaluación de la calidad de los programas virtuales de posgrado académico de maestría.
2 Revisión de la literatura
Las instituciones de Educación Superior, como parte de su encargo social dan continuidad a la formación profesional de los estudiantes. Se busca con ello educarlos a lo largo de la vida para que sean capaces de profundizar y actualizar sus conocimientos, habilidades, actitudes y destrezas en su profesión, o vincularlos con áreas complementarias del saber, y de esta forma puedan acceder al manejo de tecnologías y procedimientos novedosos para conseguir un desempeño laboral o personal óptimos.
El proceso formativo de posgrado es un proceso transformador del objeto de aprendizaje y su entorno, del propio graduado y de otras partes interesadas que se benefician de la posibilidad de aprender durante toda la vida y alcanzar una elevada cultura general integral (Bernaza Rodríguez et al., 2020).
Por otra parte, la virtualización es al mismo tiempo un proceso y un producto de la representación informática de objetos y procesos (Luzbet Gómez & Laurencio Leyva, 2020). La virtualización «trasciende la digitalización de las prácticas escolares para su operación a través de lo que se conoce como campus y aulas virtuales», supone gestionar «los entornos de aprendizaje físicos y digitales, considerando que en unos y en otros hay mediación de las TIC para la representación o evocación de los objetos de conocimiento y el modelamiento de las interacciones para el aprendizaje» (Chan-Núñez, 2016, p. 3).
De acuerdo con lo anterior, el autor suscribe la definición que aportan Zambrano-Acosta, et al. (2018) de la virtualización de la Educación Superior, como el
[...] proceso mediante el cual la Universidad congrega sus fortalezas tecnológicas, pedagógicas e institucionales, en virtud de la generación de una alternativa de potenciación formativa, basada en una lógica de integración progresiva de las TIC, a los efectos de la generación, implementación y actualización permanente de entornos virtuales, que redunden productivamente en el desarrollo de sus actores, procesos y funciones fundamentales. (p. 161).
En las últimas décadas ha podido apreciarse a escala internacional un aumento de la demanda del acceso a la formación permanente y continua y en particular a los programas de posgrado académico (African Virtual University [AVU], 2014; García-Aretio, 2021b) en cualesquiera de sus formas organizativas: la maestría, la especialidad de posgrado, el doctorado y el posdoctorado (Ministerio de Educación Superior, 2019b).
La virtualización de la Educación Superior ha permitido hacer frente a este fenómeno al ampliar el acceso a la formación de posgrado, por lo que se reconoce que la aplicación de las tecnologías de internet en la educación superior impacta significativamente en el desarrollo de los métodos de enseñanza relacionados con la formación virtual (García-Aretio, 2021a).
En esta investigación se defiende la posición de que la calidad en la educación superior se logra desde el interior de las instituciones, mediante la gestión de sus procesos y con un enfoque en la satisfacción de las crecientes necesidades de los estudiantes y otros beneficiarios, sobre la base de la excelencia académica, la equidad y la pertinencia social de los programas. Los beneficiarios del servicio educativo son aquellas personas o grupos de personas que se benefician de los productos y servicios de una organización educativa que debe servirles en virtud de su misión (Norma ISO 21001, 2018).
En Cuba, la calidad del posgrado académico se define como «la conjunción de la excelencia académica y la pertinencia social dada por los fines del desarrollo de nuestro proyecto sociocultural y económico» (Ministerio de Educación Superior, 2019a, p. 3).
Con respecto a los factores que promueven la buena calidad de los programas virtuales de posgrado académico, Ardila Rodríguez (2011) considera que el más importante es el que estimula el desarrollo de las capacidades de interacción e interrelación de los estudiantes con sus docentes y sus compañeros de estudio con el objetivo de potenciar el aprendizaje en un ambiente educativo mediado por las TIC. Directamente relacionado con esto y desde la perspectiva docente, coincidimos con Seoane Pardo y García Peñalvo (2006) cuando afirman que «el factor humano es el único capaz de adaptarse rápida y autónomamente a la multiplicidad de variables que pueden modificarse en un contexto formativo»; por tanto, es el factor más adecuado para «adaptar todos los demás instrumentos a su disposición a un modelo formativo, unos objetivos, unas herramientas, unos contenidos y unos estudiantes que están al otro lado, en un contexto en el que todos estos elementos interactúan recíprocamente» (p. 39).
Los autores concuerdan con Canales y Silva (2020), quienes conciben la formación virtual como una evolución educativa más que un complemento, la cual requiere un enfoque que integre sus elementos y procesos múltiples, complejos y dinámicos en las estrategias y planes institucionales. Esto implica que las características vinculadas a los atributos específicos de la formación virtual deben incorporarse a los rasgos generales de calidad de los programas de maestría, agrupados según las variables establecidas por el Ministerio de Educación Superior (2019a): pertinencia e impacto social, claustro, estudiantes, infraestructura y currículo.
De manera general, una evaluación se lleva a cabo a través de un proceso sistemático que contiene las actividades de recolección, procesamiento, análisis e interpretación de los datos. Se basa en criterios específicos, diseñados para determinar el nivel de cumplimiento de los objetivos y proveer retroalimentación sobre los éxitos y fracasos del propósito del proceso formativo (Vlachopoulos, 2016). Debe estar enfocada en apoyar, reconocer y difundir las buenas prácticas de enseñanza y aprendizaje para alentar y lograr la mejora continua (Cheng, 2016).
También es necesario gestionar los riesgos asociados al proceso de autoevaluación de programas virtuales, con el objetivo de elevar los niveles de calidad alcanzados a través de los procesos de evaluación externa y acreditación de estos (Suárez-Pérez & Nieto-Acosta, 2020).
En la literatura consultada se aprecian dos posiciones que, aunque no son antagónicas, expresan diferencias sustanciales en cuanto al enfoque que debe ser utilizado para evaluar la calidad de los programas virtuales de maestría. Estas diferencias versan sobre los criterios de calidad a utilizar en estos programas de posgrado presenciales.
Los académicos y las instituciones que concuerdan con el empleo de las mismas herramientas de evaluación que se utilizan en los programas presenciales (Butcher & Hoosen, 2014; Ministerio de Educación Superior, 2019c; Padilla-Vargas, 2005) consideran que, dada la experiencia adquirida en la enseñanza presencial, las estrategias, técnicas y criterios para su evaluación son aplicables a la formación virtual por igual, vista la escasa probabilidad de que el crecimiento de la oferta provoque cambios radicales en los procesos institucionales de evaluación de la calidad. De esta forma, al planificar e implementar programas virtuales de maestría, las IES deben garantizar similares niveles de calidad en los servicios y recursos, que los proporcionados a los estudiantes de la formación presencial.
En contraposición a los criterios de los autores anteriores, al analizar las características organizacionales, pedagógicas y metodológicas que distinguen a los programas virtuales, otros autores (Marciniak & Gairín Sallán, 2018) concluyen que no es posible utilizar las herramientas para la evaluación de la calidad de los programas presenciales sin realizar antes una profunda reforma de la filosofía, los principios y estándares aplicados en estos.
Por su parte, Veytia-Bucheli y Chao-González (2012) afirman que la evaluación de la calidad educativa en las modalidades presencial y virtual requiere «parámetros distintos, que den respuesta al modelo pedagógico en el que se sustentan, a sus fines y objetivos, y a los perfiles de ingreso y egreso que caracterizan a los estudiantes en cada una de las modalidades de estudio» (p. 12).
Los autores de este trabajo coincide con aquellos que abogan por la evaluación de programas virtuales a través de criterios que tomen en consideración sus especificidades para la evaluación de su calidad, sin desconocer la legislación vigente en Cuba. Esto es primordial para la autoevaluación de los programas en el contexto de la gestión de calidad, que debe propiciar su mejora continua en respuesta a las necesidades del entorno. De esta forma, para la autoevaluación se deben profundizar y detallar los indicadores que garanticen el éxito de la formación virtual desde su planificación y ejecución, y como premisa para obtener categorías superiores de acreditación en los procesos de evaluación externa.
3 Método
El estudio se realizó en el Centro de Biomateriales de la Universidad de La Habana, específicamente en la Cátedra de Calidad, Metrología y Normalización. Se utilizó el enfoque global como criterio de selección de las herramientas a analizar dada la integralidad de la evaluación que permiten (Lizárraga-Juárez et al., 2021). Se identificaron en la literatura siete herramientas de evaluación utilizadas por organismos de acreditación, instituciones de educación superior y asociaciones dedicadas a la formación virtual.
El estudio es de tipo explicativo, ya que trata de «[...] encontrar las razones o causas que provocan ciertos fenómenos» (Hernández-Sampieri et al., 2014, p. 99), al establecer las relaciones entre las variables, sus criterios e indicadores en la evaluación de los programas virtuales.
Los métodos científicos del nivel teórico utilizados en la investigación son:
• Analítico-sintético: para el estudio del contexto, de los elementos y especificidades del tema de investigación, así como para fijar sus cualidades y rasgos principales.
• Inductivo-deductivo: para extraer mediante la identificación y estudio de las teorías generales básicas, conclusiones específicas para el diseño e implementación de un instrumento para la evaluación de programas virtuales.
• Histórico-lógico: para el estudio de la evolución de la formación virtual y de los mecanismos empleados para su evaluación, así como la identificación de los elementos comunes a estos mecanismos y que marcan la pauta en el mundo.
Los métodos científicos del nivel empírico empleados en este estudio son:
• Observación científica: para el conocimiento integral, descripción y análisis de las características de los programas virtuales a partir de técnicas de recolección de datos e información como las siguientes: fuentes documentales, entrevistas, encuestas y consulta a expertos.
• Medición: para precisar información numérica acerca de las cualidades de la formación virtual y efectuar el análisis y la comparación de resultados.
También se utilizaron los siguientes métodos estadísticos:
• Análisis descriptivo: para representar los datos y esbozar los parámetros que distinguen las características fundamentales de las herramientas estudiadas y de las respuestas obtenidas en la consulta a expertos.
• Análisis inferencial: para comprender los datos mediante la detección de características sobresalientes, inesperadas y valores atípicos; para verificar la fiabilidad de las escalas utilizadas por los diferentes instrumentos empleados, y para conocer, mediante el uso de pruebas no paramétricas de muestras relacionadas, el nivel de concordancia entre expertos, como parte de la validación de los instrumentos utilizados y a través de pruebas de hipótesis.
En el desarrollo del instrumento propuesto se tuvieron en cuenta los siguientes elementos que lo conforman (de Armas Ramírez et al., 2012):
• componentes de su estructura,
• modo de proceder.
Los componentes estructurales del instrumento son dos: el aparato teórico y el aparato propiamente metodológico. Según Fernández Sotelo (2011), el aparato teórico incluye los conceptos y las categorías que explican los principales aspectos del objeto de estudio, así como los principios o requerimientos que sistematizan la aplicación de los procedimientos, los métodos y las técnicas. El aparato metodológico está integrado por los «métodos teóricos y empíricos, las técnicas, procedimientos y acciones que se utilizan para el logro de los objetivos» (p. 121).
El modo de proceder requiere la definición del funcionamiento del instrumento en la práctica, la explicación de la relación entre los procedimientos, los métodos y las técnicas, la forma en que se utilizan los requisitos para el desarrollo de los procesos, así como las actividades proyectadas para alcanzar los objetivos.
El instrumento propuesto se fundamenta en la importancia de la autoevaluación en el ciclo de mejora de la calidad de los programas virtuales. A los conocimientos aportados por el estado del arte nacional, el instrumento integra las experiencias de aquellos países en los que la formación virtual tiene mayor desarrollo. Esta integración considera el contexto específico de los programas virtuales cubanos y dota al instrumento elaborado de un mayor nivel de detalle e integralidad en la evaluación de la calidad de estos programas.
El componente teórico del instrumento que se propone está descrito en el mapa conceptual elaborado a partir de sus categorías e interrelaciones y que conforman su aparato cognitivo. Se empleó un mapa conceptual (Figura 1) por ser un instrumento versátil, capaz de poner en evidencia los significados atribuidos a los conceptos y relaciones entre estos, en el contexto de un cuerpo de conocimientos de una disciplina.
Figura 1 Mapa conceptual del componente teórico del instrumento elaborado
Nota: Elaboración propia.
El instrumento se desarrolló en un contexto caracterizado por las siguientes categorías: formación continua y permanente, educación a distancia, y tecnologías del aprendizaje y el conocimiento, las que se conceptualizan a continuación.
La formación continua y permanente está dirigida a aquellas personas que desean incrementar su competencia profesional para el desempeño de sus funciones, así como para aquellas que desean ampliar su currículum académico. Puede darse de manera presencial o virtual y sus beneficios se expresan en una mejor adaptación de los trabajadores a los cambios tecnológicos, aumento de su motivación, un recurso para planes de promoción interna y rotación, beneficios económicos y planes de formación a medida (Instituto Europeo de Estudios Empresariales, 2020).
La educación a distancia es una forma de estudio caracterizada por la separación física y temporal entre el profesor y el estudiante. Está basada en el diálogo didáctico que se promueve, con una intencionalidad pedagógica, mediante los recursos y tecnologías de internet y que es flexible respecto al tiempo, al espacio, al ritmo, y a los recursos y a los métodos (García-Aretio, 2021b). Esta modalidad permite el acceso al aprendizaje a aquellas personas que no pueden, o que no prefieren asistir a los cursos en la forma de estudio presencial; por este motivo, es ampliamente utilizada en la formación continua y permanente.
Las tecnologías del aprendizaje y el conocimiento (TAC) se basan en la utilización de las TIC con una intencionalidad pedagógica y didáctica. Dado el aumento vertiginoso de la cobertura y velocidad de internet, las TAC se convierten en el medio ideal para la educación a distancia.
En el eje central del mapa conceptual de la Figura 1 se muestran las dos categorías de la investigación. Estas categorías son las siguientes: calidad de los programas virtuales y autoevaluación de la calidad de los programas virtuales. Los programas virtuales son aquellos programas de posgrado académico diseñados de forma tal que los servicios educativos y administrativos que brindan se implementan a través de procesos que hacen un uso exhaustivo de las TAC. Sus procesos de formación y desarrollo se llevan a cabo a través de un diálogo didáctico basado en las TAC entre los estudiantes y los miembros del claustro, apoyado por la labor del personal de servicios técnicos y el adecuado desempeño de los servicios administrativos. Un programa virtual de posgrado académico se caracteriza por estimular en los estudiantes el estudio independiente en el que el aprendizaje es autónomo y personalizado, en colaboración con otros participantes del programa virtual.
Por su parte, la autoevaluación de la calidad de los programas virtuales es un proceso sistemático de recogida de datos e información, llevado a cabo por las mismas personas que realizan el proceso formativo, orientado a valorar la efectividad del programa en el cumplimiento de sus objetivos. Este constructo se operacionaliza a partir de seis variables (Figura 2) y sus criterios e indicadores para evaluar la calidad de los programas virtuales.
Figura 2 Variables para la autoevaluación de los programas virtuales de maestría
Nota: Elaboración propia.
La mejora es uno de los principios de los sistemas de gestión de las organizaciones educativas (Norma ISO 21001, 2018). Es de vital importancia para el adecuado desempeño de los programas virtuales, se relaciona con el perfeccionamiento de los productos y procesos y también con la creatividad e innovación para la adaptación a los cambios del contexto y el logro del éxito sostenido (Guerra-Bretaña & Meizoso-Valdés, 2019).
4 Resultados
El análisis de las siete herramientas seleccionadas: AVU, 2014; Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES), 2017; Consejo Nacional de Acreditación (CNA), 2010; European Association of Distance Teaching Universities (EADTU), 2016; European Foundation for Management Development (EFMD), 2019; Ministerio de Educación Superior de Argentina, 2011; y Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa (SINEACE), 2016, permitió identificar 16 criterios para evaluar programas virtuales de posgrado académico que integran las características inherentes de los programas virtuales de maestría. Los criterios identificados son los siguientes:
1. Análisis de necesidades
2. El contexto interno y externo
3. Objetivos del programa
4. Diseño curricular
5. Programa de los cursos
6. Núcleo académico básico
7. Infraestructura de aprendizaje y recursos
8. Investigación y producción científica
9. Evaluación del estudiante
10. Perfil de ingreso
11. Perfil de egreso
12. Apoyo al estudiante
13. Perfil del profesor
14. Apoyo al personal
15. Internacionalización, alianzas estratégicas e inserción en redes científicas mundiales
16. Evaluación y mejora del programa
Cuatro de las herramientas analizadas incorporan más del 80 % de los criterios identificados, por lo que se consideran las más integrales dentro del conjunto; son las siguientes: Comités Interinstitucionales para la Evaluación de la Educación Superior de México (CIEES, 2017), con el 94 % de los criterios; European Foundation for Management Development (EFMD, 2019), con el 8 %; European Association of Distance Teaching Universities (EADTU, 2016), con el 85 %, y el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa (SINEACE, 2016), con el 81 %. Estas herramientas también son las más recientes dentro del análisis, por lo que reflejan los avances logrados en el tema en los últimos años.
En el análisis de las herramientas identificadas se aprecia que todas coinciden en valorar la calidad de los objetivos del programa y la forma en que se evalúa el aprendizaje de los estudiantes. El 90 % considera necesario evaluar el programa de los cursos, la infraestructura y los recursos de aprendizaje, el perfil de ingreso y el apoyo a los estudiantes. Además, el 80 % refiere los siguientes criterios: el análisis del contexto, el diseño del currículo, la investigación y producción científica. Todas las herramientas identificadas reconocen que el grado de aptitud técnica y experiencia de los estudiantes no necesariamente se traduce en mayor efectividad para la formación virtual (Dabbagh & Kitsantas, 2012; George-Reyes & Martinell, 2019).
Por otra parte, se aprecia que no hay consenso en la evaluación de las medidas tomadas por el programa virtual de maestría para el análisis de las necesidades de formación, algo vital en su planificación, pues es donde se identifican los requisitos, las demandas y limitaciones de un servicio educativo (International Organization for Standardization, 2017). En este caso solo la herramienta del CIEES (2017) propone un indicador bastante general que establece que «el programa educativo debe contar con un estudio de factibilidad actualizado» (CIEES, 2017, p. 8).
El apoyo al personal es otro de los elementos en los que no hubo consenso. Solo tres herramientas proponen requisitos de calidad para evaluar este aspecto cuyo objetivo es permitir que el personal académico, técnico y administrativo contribuya de lleno con el desarrollo de la formación virtual y la prestación de los servicios asociados. El personal académico necesita un apoyo especial enfocado en la transición desde la enseñanza presencial hacia la enseñanza a través de un entorno virtual de enseñanza-aprendizaje (EADTU, 2016).
Respecto de la evaluación y optimización del programa virtual en cuanto al cumplimiento de sus objetivos, a la satisfacción de los estudiantes, profesores y otras partes interesadas y a sus impactos, con la finalidad de su mejora continua, solo cuatro herramientas proponen algún método. En este sentido, CNA (2010) y SINEACE (2016) proponen evaluar la calidad del programa virtual a través de la producción científica de los graduados y el impacto del programa en su entorno. Además, EFMD (2019) apela a que la institución tenga implementado un sistema de gestión de la calidad riguroso y efectivo que permita cubrir el diseño y aprobación de programas, el monitoreo de la entrega del programa y llevar a cabo revisiones periódicas de todos los aspectos del programa de manera eficiente.
El análisis de las características comunes de las herramientas seleccionadas permitió identificar las variables que ofrecen la posibilidad de realizar una evaluación de la calidad de forma integral de los programas virtuales de maestría. Las variables identificadas son las siguientes:
Variable 1. Pertinencia integral: tiene en cuenta la identificación y descripción de requisitos, demandas y restricciones de un programa virtual, así como la identificación del marco y el contexto en que se desarrolla, incluida la pertinencia social del programa.
Variable 2. Diseño y realización del programa virtual: tiene en cuenta los objetivos del programa virtual, su diseño curricular; la representación de los contenidos; el desarrollo de modelos didácticos basados en teorías pedagógicas y de aprendizaje; la definición de los papeles, tareas, responsabilidades y derechos de los actores; la representación de las condiciones generales relevantes para el proceso de aprendizaje; y el mantenimiento de los contenidos.
Variable 3. Infraestructura y recursos para el aprendizaje: tiene en cuenta la infraestructura de aprendizaje y recursos como el entorno virtual de enseñanza-aprendizaje, los materiales educativos digitales y su accesibilidad y el mantenimiento técnico.
Variable 4. Claustro: tiene en cuenta el perfil del docente en línea y su desarrollo profesional; el soporte técnico; el registro, y la gestión de quejas. Comprende la investigación y producción científica así como las alianzas estratégicas y la inserción en las redes mundiales de producción de conocimientos.
Variable 5. Estudiantes: tiene en cuenta el proceso de matrícula y las comunidades de estudiantes en relación con la permanencia de estos en el programa virtual, así como lo relacionado con su producción científica y su satisfacción con el programa virtual.
Variable 6. Impacto económico-social: tiene en cuenta la implementación de una herramienta para la determinación del impacto de la formación del programa virtual y sus efectos en los egresados, las organizaciones y la sociedad.
Las seis variables identificadas estructuran el instrumento elaborado para la autoevaluación de la calidad de los programas virtuales de maestría y su mejora continua (Tabla 1).
Tabla 1 Estructura del instrumento
Variables | Criterios | Cantidad de indicadores |
Pertinencia integral | Análisis de necesidades | 2 |
Análisis del marco institucional | 8 | |
Diseño y realización del programa virtual | Diseño curricular | 9 |
Diseño e implementación de los cursos | 9 | |
Infraestructura y recursos para el aprendizaje | Infraestructura técnica | 1 |
Entorno virtual de enseñanza-aprendizaje | 2 | |
Recursos de apoyo | 3 | |
Claustro | Composición y producción científica | 9 |
Estudiantes | Ingreso | 3 |
Promoción | 4 | |
Impacto económico-social | Seguimiento del impacto | 4 |
Nota: Elaboración propia. | ||
La mejora es uno de los principios de los sistemas de gestión de las organizaciones educativas (Norma ISO 21001, 2018), es de vital importancia para el adecuado desempeño de los programas virtuales, se relaciona tanto con el perfeccionamiento de los procesos y productos existentes como con la innovación y la creatividad para adaptarse a los cambios del entorno y alcanzar el éxito sostenido (Guerra-Bretaña & Meizoso-Valdés, 2019).
Para valorar cada indicador se utiliza una escala de cuatro niveles de calidad:
• Nivel superior: se cumple plenamente. El evaluador asignará este nivel de calidad al indicador correspondiente si considera que los parámetros ligados a los procesos y actividades del programa virtual son consecuentes con el objetivo del indicador.
• Nivel medio: se cumple con reservas. El evaluador asignará este nivel al indicador correspondiente si considera que los parámetros ligados a los procesos y actividades del programa virtual discrepan del objetivo del indicador pero sin provocar una afectación al desempeño y, por ende, a la calidad.
• Nivel bajo: se cumple insatisfactoriamente. El evaluador asignará este nivel al indicador correspondiente si considera que los parámetros ligados a los procesos y actividades del programa virtual discrepan del objetivo del indicador y perjudican el desempeño y la calidad.
• No cumple: el evaluador asignará este nivel de calidad al indicador correspondiente si considera que los parámetros ligados a los procesos y actividades del programa virtual son antagónicos o no consideran lo establecido por el objetivo del indicador.
La calificación final de cada variable será:
• Nivel superior: si el 80 % o más de sus indicadores es calificado de nivel superior y ninguno de nivel bajo o no cumple.
• Nivel medio: si el 75 % o más de sus indicadores es calificado de nivel medio o nivel superior y ninguno de no cumple.
• Nivel bajo: si más del 25 % de sus indicadores es calificado de nivel bajo y el 10 % o menos es calificado de no cumple.
• No cumple: para cualquier otra combinación.
Una de las funciones del comité académico es organizar y realizar procesos de autoevaluación al concluir cada edición del programa y poner en práctica las acciones que propicien el mejoramiento cualitativo del programa (Ministerio de Educación Superior, 2020). En consecuencia, para llevar a cabo el ejercicio autoevaluativo se sugiere lo siguiente:
1. Designar el equipo evaluador: estará compuesto por integrantes del claustro y al menos un integrante del personal técnico y administrativo del programa evaluado.
2. Comprensión del instrumento de autoevaluación: el equipo evaluador estudiará los indicadores, criterios y variables del instrumento y llegará a un consenso dentro de la diversidad de sus criterios para el desarrollo exitoso del ejercicio autoevaluativo.
3. Organización y realización del ejercicio autoevaluativo: el equipo evaluador deberá realizar la planificación del trabajo, la sensibilización del personal, el diseño de técnicas e instrumentos, la compilación y clasificación de la información y la elaboración del informe final.
4. Planificación del trabajo: el equipo evaluador especificará los elementos que permitan desarrollar y controlar todo el ejercicio autoevaluativo (establecimiento de un calendario de trabajo e identificación de posibles cooperantes).
5. Sensibilización del personal: el equipo evaluador organizará sesiones de información para todo el personal involucrado, enfatizando sobre la orientación a la mejora continua del ejercicio autoevaluativo.
6. Diseño de técnicas e instrumentos: el equipo evaluador diseñará los instrumentos que le sean necesarios para facilitar el cumplimiento de sus objetivos, como pueden ser: encuestas, entrevistas, listas de chequeo y guías de observación.
7. Recopilación y organización de la información: el equipo evaluador reunirá la información y rellenará el registro de autoevaluación. La información deberá organizarse por variables y archivarse como soporte de la evaluación.
8. Elaboración del informe final: el equipo evaluador elaborará un informe descriptivo en el que estén registrados los resultados del ejercicio autoevaluativo. El informe final estará estructurado como sigue: introducción, conclusiones generales de la autoevaluación, valoración integral, recomendaciones y anexos.
La validación de la estructura del instrumento para la autoevaluación de la calidad de los programas virtuales se realizó mediante el criterio de expertos, los cuales fueron consultados a través del método Delphi como vía para estructurar la comunicación grupal (Bermúdez-Camps et al., 2019).
La primera actividad de la validación del instrumento estuvo relacionada con la selección de los candidatos a expertos. La preselección de los expertos tuvo en cuenta que los candidatos tuvieran experiencia laboral en el ámbito de la formación virtual de posgrado académico, así como en la evaluación de la calidad de los programas. Para ello se utilizó un muestreo no probabilístico de tipo opinático mediante el cual se eligieron 49 candidatos, en su mayoría profesores e investigadores vinculados a la Universidad de La Habana, y a otras esferas de la sociedad en Cuba y en el extranjero. Para determinar la experticia de los candidatos seleccionados se utilizó el instrumento propuesto por Cruz-Ramírez y Martínez-Cepena (2012). Entre los candidatos a expertos contactados, el 88 % tenía el grado científico de doctor, un promedio de edad de 55 años y una experiencia laboral promedio de 29 años. De los 49 candidatos contactados, 18 aceptaron colaborar con la investigación. Entre estos fueron seleccionados aquellos cuyo coeficiente de competencia fue medio o alto. De esta forma, fueron elegidos 16 expertos, de los cuales el 75 % tuvo un coeficiente de competencia alto.
Para la validación del instrumento se utilizó una herramienta tipo cuestionario, implementada en un libro de Excel para facilitar el trabajo. Esta herramienta, adecuadamente validada, les fue enviada por correo electrónico a los expertos seleccionados. De esta forma, se les solicitó que valoraran los componentes del instrumento en función de las variables descritas en la Tabla 2. Cada una de las variables se midió a través de una escala tipo Likert en la que: 1 = totalmente en desacuerdo; 2 = en desacuerdo; 3 = ni de acuerdo ni en desacuerdo; 4 = de acuerdo; 5 = totalmente de acuerdo. Además, la herramienta permitió que los expertos escribieran sus observaciones con respecto a cada indicador, así como sus opiniones o sugerencias respecto al instrumento en general.
Tabla 2 Variables utilizadas para validar los
indicadores del instrumento
Variables | Descripción |
Claridad en la redacción | El indicador es preciso e inequívoco, es decir, no existe duda sobre lo que se pretende medir |
Pertinencia | El indicador es apropiado y mide aspectos importantes de la calidad del programa virtual |
Objetividad | El modo de pensar, el punto de vista y las emociones del evaluador no influyen en el indicador en forma alguna |
Correspondencia directa | Existe relación entre lo que se quiere medir con el indicador y el criterio al cual pertenece |
Apropiación de la escala valorativa | La forma para valorar el indicador es adecuada |
Relevancia de la evidencia | La evidencia solicitada representa significativamente el indicador |
Nota: Elaboración propia con base en la Secretaría de Hacienda y Crédito Público de México (2016). | |
Los criterios emitidos por los expertos fueron estudiados y clasificados teniendo en cuenta su similitud en seis puntos, cuyo análisis se tradujo en el perfeccionamiento de la estructura del instrumento:
• reducir en lo posible el número de criterios e indicadores,
• mejorar la precisión de algunas de las evidencias solicitadas y en ciertos casos incluir otras para demostrar el cumplimiento con el objetivo del indicador,
• mejorar la redacción y selección de los términos utilizados, en el sentido de ganar en claridad y coherencia respecto a lo establecido en la descripción de algunos indicadores,
• valorar la pertinencia y contextualización de las exigencias establecidas en la descripción de algunos indicadores,
• mejorar la exactitud de los intervalos con que se miden algunos indicadores cuya escala es cuantitativa, y
• revisar que la descripción se ajuste al alcance del objetivo en algunos indicadores.
Las mejoras efectuadas al instrumento como resultado de la consulta a los expertos se materializaron en la reducción del número de indicadores de 59 a 54 y la fusión de dos criterios. También se mejoró la redacción del objetivo de dos indicadores, se ganó en claridad y coherencia en la descripción de siete indicadores, se modificó la escala valorativa en dos de los indicadores y se aumentó la precisión y la especificidad de las evidencias solicitadas por 10 indicadores.
En la segunda ronda de la consulta a los expertos se les envió el instrumento con las mejoras realizadas para que emitieran sus criterios utilizando la misma herramienta empleada en la primera ronda. Esta segunda ronda evidenció una alta valoración de cada una de las variables por los expertos y alcanzó más de un 70 % de consenso frente al 52.5 % alcanzado en la primera ronda. Los expertos, además, no emitieron ningún criterio significativo. De esta forma, quedó comprobada la validez teórica del instrumento.
5 conclusiones
El instrumento propuesto no incluye la variable escenario laboral establecida por el Ministerio de Educación Superior (2015) y que está relacionada con las especialidades de posgrado, en las que se incluyen las actividades encaminadas a perfeccionar las habilidades de los participantes para la realización de sus actividades profesionales que en muchos programas requiere la presencialidad. Sin embargo, se comprobó que es aplicable en especialidades en que estas actividades se pueden realizar en entornos virtuales, por lo que el instrumento puede ser aplicado a estos programas con las seis variables establecidas y evaluar el escenario laboral, según los criterios establecidos por la JAN.
Se recomienda dar seguimiento continuo al desarrollo de las tecnologías del aprendizaje y el conocimiento para la mejora continua del instrumento, incluidos nuevos aspectos a evaluar en las variables.
El estudio del estado del arte con respecto a la acreditación de programas de posgrado en Cuba y el mundo permitió identificar los elementos que son necesarios considerar en una herramienta específica, detallada e integral, para la autoevaluación de los programas virtuales de posgrado académico. Como resultado se elaboró un instrumento para la autoevaluación de la calidad de los programas virtuales de maestría. El instrumento elaborado está conformado por 6 variables, 9 criterios y 54 indicadores. En él se integran los requisitos específicos de la formación virtual a los establecidos por el SEA-M, por lo que es adecuado para evaluar los programas virtuales de maestría. También es aplicable en aquellos programas virtuales de especialidades de posgrado, cuyos objetivos de aprendizaje profesional estén directamente vinculados con las TIC.
El instrumento fue sometido a un proceso de validación mediante la participación de expertos. De este proceso se obtuvieron evidencias que demuestran su validez.
Contribución de autores
Conceptualización: F.R., R.G.; metodología: F.R., R.G.; software: F.R., R.G.; validación: F.R., R.G.; análisis formal: F.R., R.G.; investigación: F.R., R.G.; recursos: F.R., R.G.; curaduría de datos: F.R., R.G.; escritura (borrador original): F.R., R.G.; escritura (revisión y edición): F.R., R.G.; visualización: F.R., R.G.; supervisión: F.R., R.G.; administración del proyecto: F.R., R.G.; adquisición de fondos: F.R., R.G.
6 Referencias bibliográficas
African Virtual University. (2014). Quality Assurance (QA) Framework for Open, Distance and eLearning Programmes. African Virtual University (AVU).
Ardila Rodríguez, M. (2011). Indicadores de calidad de las plataformas educativas digitales. Educación y Educadores, 14(1), 1-9.
https://doi.org/10.5294/edu.2011.14.1.10
Bermúdez Camps, I., Téllez López, A., López Orozco, M., García Pérez, M., Flores Mera, J., & Reyes Hernández, I. (2019). Validación por método Delphi de indicadores de calidad para evaluar un servicio de educación sanitaria. Revista Cubana de Farmacia, 52(1). https://r.issu.edu.do/l?l=12056Yjb
Bernaza Rodríguez, G., Aparicio Suárez, J., de la Paz Martínez, E., Torres Alfonso, A., & Alfonso Manzanet, J. (2020). La educación de posgrado ante el nuevo escenario generado por la COVID-19. Educación Médica Superior, 34(4). https://r.issu.edu.do/l?l=12027zTb
Butcher, N., & Hoosen, S. (2014). A Guide to Quality in Post-Traditional Online Higher Education. Academic Partnerships.
https://r.issu.edu.do/l?l=131322da
Canales Reyes, R., & Silva Quiroz, J. (2020). De lo presencial a lo virtual, un modelo para el uso de la formación en línea en tiempos de Covid-19. Educar em Revista 36(1), 1-20. https://doi.org/10.1590/0104-4060.76140
Chan Núñez, M. (2016). La virtualización de la educación superior en América Latina: entre tendencias y paradigmas. RED-Revista de Educación a Distancia, 48(1), 1-32. https://doi.org/10.6018/red/48/1
Cheng, M. (2016). Quality in Higher Education. Sense Publishers.
https://doi.org/10.1007/978-94-6300-666-8
Comités Interinstitucionales para la Evaluación de la Educación Superior. (2017). Principios y estándares para la evaluación y acreditación de programas educativos en instituciones de educación superior 2017. Modalidad a distancia. Comités Interinstitucionales para la Evaluación de la Educación Superior. https://r.issu.edu.do/l?l=13133lT5
Consejo Nacional de Acreditación. (2010). Autoevaluación con fines de acreditación de alta calidad de programas de maestría y doctorado: guía de procedimiento. Consejo Nacional de Acreditación.
https://r.issu.edu.do/l?l=13134Kad
Cruz Ramírez, M., & Martínez Cepena, M. C. (2012). Perfeccionamiento de un instrumento para la selección de expertos en las investigaciones educativas. Revista Electrónica de Investigación Educativa, 14(2), 167-179.
https://r.issu.edu.do/l?l=120325ZU
Dabbagh, N., & Kitsantas, A. (2012). Personal Learning Environments, social media, and self-regulated learning: A natural formula for connecting formal and informal learning. Internet and Higher Education, 15(1), 3-8.
https://doi.org/10.1016/j.iheduc.2011.06.002
de Armas Ramírez, N., Lorences González, J., & Perdomo Vázquez, J. (2012). Caracterización y diseño de los resultados científicos como aportes de la investigación educativa. https://r.issu.edu.do/l?l=13135t8b
European Association of Distance Teaching Universities. (2016). Quality Assessment for E-learning: a Benchmarking Approach. European Association of Distance Teaching Universities. EADTU.
https://r.issu.edu.do/l?l=12037knp
European Association of Distance Teaching Universities. (2019). Programme Accreditation System. Standards and Criteria. EFMD.
https://r.issu.edu.do/l?l=12038st4
Fernández Sotelo, A. (2011). Obtención de una metodología, como resultado científico, en investigaciones sobre dirección. Saber, Ciencia y Libertad, 6(1), 119-126. https://doi.org/10.18041/2382-3240/saber.2011v6n1.1766
García Aretio, L. (26 de marzo de 2021b). La Educación a Distancia Digital: PreCOVID, COVID y PosCOVID [Archivo de vídeo]. YouTube.
https://youtu.be/KAZa4jEMxnc
García Aretio, L. (28 de mayo de 2021a). Un mes un ODS: educación de Calidad. Declaración de Incheon [Archivo de vídeo]. YouTube.
https://youtu.be/ktECUhn5IkQ
George Reyes, C. E., & Martinell, A. R. (2019). Competencias investigativas y saberes digitales de estudiantes de posgrado en la modalidad virtual. Certiuni Journal, 5, 65-78. https://r.issu.edu.do/l?l=12057nbj
Guerra Bretaña, R. M., & Meizoso Valdés, M. (2019). Gestión de la Calidad. Conceptos, principios, modelos y herramientas (2.ª ed.). Universidad de La Habana.
Hernández Sampieri, R., Fernández Collado, C., & Baptista Lucio, M. (2014). Metodología de la investigación (6.ª ed.). McGraw-Hill.
Instituto Europeo de Estudios Empresariales. (2020). Instituto Europeo de Estudios Empresariales. https://r.issu.edu.do/l?l=12040xNe
International Organization for Standardization. (2017). Information technology - Quality for learning, education and training - Fundamentals and reference framework (ISO/IEC 40180). https://r.issu.edu.do/l?l=12041Dx6
Lizárraga Juárez, A., López Martínez, R. E., & López Ramírez, E. (2021). Evaluación de la calidad de la modalidad semipresencial en Educación Superior: una revisión sistemática de la literatura. RIITE Revista Interuniversitaria de Investigación en Tecnología Educativa, 11, 131-149.
https://doi.org/10.6018/riite.482601
Luzbet Gómez, F. R., & Laurencio Leyva, A. (2020). La virtualización como alternativa para la educación de posgrado. Revista Cubana de Educación Superior, 39(3). https://r.issu.edu.do/l?l=13136X5z
Marciniak, R., & Gairín Sallán, J. (2018). Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes. RIED. Revista Iberoamericana de Educación a Distancia, 21(1), 217-238.
https://doi.org/10.5944/ried.21.1.16182
Ministerio de Educación Superior de Argentina. (2011). Resolución 160/2011. Ministerio de Educación Superior de Argentina.
https://r.issu.edu.do/l?l=12044yZG
Ministerio de Educación Superior. (2015). Sistema de Evaluación y Acreditación de Especialidades de Postgrado de la República de Cuba (SEA-EP). Ministerio de Educación Superior.
Ministerio de Educación Superior. (2019a). Resolución N.º 11/2019. Patrón de calidad de maestrías (SEA-M). Ministerio de Educación Superior.
Ministerio de Educación Superior. (2019b). Resolución N.º 138/2019. Formación continua. Ministerio de Educación Superior.
Ministerio de Educación Superior. (2019c). Resolución N.º 140/2019. Reglamento de la educación de posgrado de la República de Cuba. Ministerio de Educación Superior.
Ministerio de Educación Superior. (2020). Instrucción N.º 01/2020. Manual para la gestión del posgrado. Ministerio de Educación Superior.
Norma ISO 21001. (2018). Organizaciones educativas - Sistemas de gestión para organizaciones educativas - Requisitos con orientación para su uso.
https://r.issu.edu.do/l?l=120465TC
Padilla Vargas, I. (2005). Educación a Distancia: Ofrecimientos con Calidad y Eficacia. https://r.issu.edu.do/l?l=12047lUu
Secretaría de Hacienda y Crédito Público de México. (2016). Guía para el diseño de indicadores estratégicos. Secretaría de Hacienda y Crédito Público.
Seoane Pardo, A. M., & García Peñalvo, F. J. (2006). Criterios de calidad en formación continua basada en eLearning. Una propuesta metodológica de tutoría on-line. Actas del Virtual Campus 2006. V Encuentro de Universidades & eLearning (pp. 37-48). Clay Formación Internacional.
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa. (2016). Modelo de Acreditación para Programas de Estudios de Educación Superior Universitaria. SINEACE.
Suárez Pérez, Y., & Nieto Acosta, O. (2020). Metodología para gestionar riesgos en la autoevaluación de las maestrías del Instituto de Farmacia y Alimentos de la Universidad de La Habana. Revista Cubana de Educación Superior, 39(3), 1-12. https://r.issu.edu.do/l?l=13140HoS
Veytia Bucheli, M., & Chao González, M. (2012). Las competencias como eje rector de la calidad educativa. Revista Electrónica de Divulgación de la Investigación, 4, 1-15. https://r.issu.edu.do/l?l=120528Lf
Vlachopoulos, D. (2016). Assuring Quality in E-Learning Course Design: The Roadmap. International Review of Research in Open and Distributed Learning, 17(6), 182-205. https://doi.org/10.19173/irrodl.v17i6.2784
Zambrano Acosta, J., Laurencio Leyva, A., & Milán Licea, M. (2018). La virtualidad como alternativa de formación universitaria. Didasc@lia: Didáctica y Educación, IX(2), 159-178. https://r.issu.edu.do/l?l=131429ag