EFECTOS DE UNA INTERVENCIÓN DE ALFABETIZACIÓN EN LAS HABILIDADES LECTORAS DEL ALUMNADO DE PRIMARIA: PROYECTO USAID LEER

1. Introducción

Según la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO, por sus siglas en inglés), la lectura, entendida como la capacidad de identificar, entender, crear, comunicar y computar el material escrito, es un mecanismo que permite que las personas logren sus metas, desarrollen su conocimiento y potencial, y participen activamente en la sociedad en la que viven (UNESCO, 2017). Existe una preocupación general en los países de América Latina con respecto a los niveles de lectura de sus alumnos. Ganimian y Murnane (2016) reportan que, aunque la mayoría de los países ha disminuido las tasas de bajo rendimiento lector, el 25 % de los alumnos de tercer grado de la región aún no alcanza los niveles mínimos requeridos para comprender lo que leen, y apenas el 5 % de los alumnos alcanza los niveles superiores. 

De entre los países de la región, la República Dominicana enfrenta los mayores retos en la comprensión lectora de sus alumnos. Las evaluaciones internacionales reportan que los alumnos dominicanos de tercer grado obtuvieron resultados muy por debajo del promedio de la región en comprensión lectora, colocándose en el último lugar de entre los países evaluados (UNESCO, 2008, 2015). Las evaluaciones nacionales ratifican esta situación e indican que el 50 % de los alumnos de tercer grado solo es capaz de leer palabras sencillas, y reconocer algunas correspondencias entre letras y sonidos, pero no pueden leer un texto y comprenderlo (MINERD, 2018b). Las bajas puntuaciones no se limitan al primer ciclo de primaria, sino que también están presentes en el segundo ciclo (MINERD, 2018a; UNESCO, 2015) y en la secundaria (OECD, 2019).

Dadas las bajas puntuaciones de los alumnos en estas evaluaciones, diferentes organismos involucrados en la educación dominicana han creado estrategias de intervención para mejorar los niveles de lectura y escritura de los alumnos (USAID, 2011). Entre los diferentes actores se encuentran el Ministerio de Educación, la cooperación internacional, la academia, el sector empresarial, y organizaciones sin fines de lucro, entre otros. Una de las iniciativas de apoyo al aprendizaje de la lectura es el proyecto Leer, financiado por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID, por sus siglas en inglés).

El proyecto USAID Leer es un programa de fortalecimiento de competencias de lectura y escritura del que participan doscientos mil alumnos del nivel primario en 387 escuelas públicas de la República Dominicana. Es una intervención de cinco años que comenzó en junio de 2015 y finaliza en junio de 2020. El proyecto enfocó la intervención en dos componentes principales: en primer lugar, el trabajo dentro de las escuelas, implementado por la Universidad Iberoamericana (UNIBE); y en segundo lugar, el trabajo de movilización comunitaria, implementado por World Vision. 

Doscientas escuelas públicas ingresaron a la intervención en el primer año, y el resto ingresó a partir del segundo año de implementación. Las evaluaciones para determinar el impacto del proyecto se realizaron únicamente con las doscientas escuelas que comenzaron la intervención durante el primer año de implementación. Se realizó un estudio de línea base en el año 2015, un estudio de línea media en el año 2017, y se realizará un estudio de línea final en el 2020.

Este trabajo presenta los resultados de los estudios de línea base y línea media para determinar los efectos que ha tenido la intervención durante los dos primeros años de implementación en la comprensión lectora y sus habilidades precursoras. 

2. Revisión de la literatura 

2.1. Modelo teórico de comprensión lectora

La teoría simple de la lectura propone que la comprensión lectora es el resultado de la interacción entre dos habilidades: 1) la capacidad de comprender el lenguaje oral y 2) la capacidad de reconocer palabras escritas de manera eficiente (Hoover & Gough, 1990). Según este modelo, ambas son esenciales para la comprensión lectora y se potencian entre ellas. Kirby y Savage (2008) explican que este modelo ha sido aceptado por la comunidad científica internacional por su capacidad de englobar de manera sencilla constructos cognitivos complejos asociados a la lectura, es un modelo útil para la conceptualización de la habilidad lectora y la planificación general de la enseñanza y aprendizaje de la lectura. De igual forma, el modelo ha sido aceptado por la comunidad educativa por conciliar las dos corrientes predominantes de enseñanza de la lectura y la escritura, una que prioriza la adquisición del código alfabético y otra que prioriza los procesos del lenguaje durante el aprendizaje de la lectura (Castles et al., 2018). 

Figura 1. Operacionalización del modelo simple de la lectura para el proyecto USAID-Leer (Sánchez-Vincitore, 2019)

Nota. Franja azul = Comprensión del lenguaje oral; Franja naranja =  Reconocimiento de palabras de manera eficiente; Círculo verde = Comprensión lectora.

Para este proyecto, el modelo simple de la lectura fue operacionalizado utilizando las pautas internacionales de medición de la lectura (Mencía-Ripley et al., 2016; USAID, 2011), y ubicando en el modelo distintos subcomponentes asociados a la misma. En este sentido, cada constructo propuesto por el modelo simple de la lectura fue evaluado por medio de un conjunto de variables operacionalizables: para la habilidad de comprensión del lenguaje oral se evaluó comprensión oral y conciencia fonológica; para la habilidad de reconocer palabras de manera eficiente, se evaluó conocimiento de las letras y lectura de palabras y pseudopalabras por minuto; para evaluar la integración entre la habilidad de comprensión del lenguaje oral y la habilidad de reconocer palabras de manera eficiente se evaluó la fluidez y comprensión lectora. Ver la Figura 1 para representarse visualmente la operacionalización del modelo. 

Se complementó la teoría simple de la lectura con la teoría de la automatización lectora (LaBerge & Samuels, 1974; Samuels, 2004) que propone que la lectura es un conjunto de habilidades complejas que deben ser automatizadas, de manera que los recursos atencionales puedan dedicarse más a la comprensión lectora y menos al proceso de decodificación.

2.2. Modelos teóricos de enseñanza de la lectura y la escritura

El inicio de la implementación del proyecto USAID Leer coincidió con la aprobación e inicio de la implementación del nuevo currículo dominicano, que incorpora el enfoque de competencias (MINERD, 2014). El punto de partida para el diseño de la propuesta fue el currículo dominicano. Se realizó, además, una revisión de aquellos autores que conceptualizan la adquisición de la lectura en una serie de etapas o fases (Ehri, 1987, 2005a, 2005b; Ferreiro & Teberosky, 1979; Frith, 1985; Pressley, 2002; Walker, 2012) para establecer el marco conceptual del proceso de aprendizaje de la lectura. De igual forma, se revisaron y asumieron las recomendaciones más recientes de las neurociencias para la enseñanza de la lectura y escritura. En dicho sentido, Dehaene (2015) propone seguir los siguientes principios: a) enseñanza explícita del código alfabético; b) seguir una progresión racional de la enseñanza; c) aprendizaje activo que asocia la lectura y la escritura; d) transferencia de lo explícito a lo implícito; e) elección racional de ejemplos y ejercicios que permitan al alumno practicar las habilidades lectoras mientras las aprende; f) compromiso activo, de atención y disfrute; y g) adaptación de la enseñanza al nivel de los alumnos. 

2.3. Antecedentes de intervenciones en lectura y escritura en países de renta media y baja

Pese a que se han realizado numerosas intervenciones en lectura y escritura en América Latina, en pocas ocasiones estas intervenciones han contado con sistemas de monitoreo que permitan sistematizarlas y evaluar su impacto. Pese a esta limitación, el meta-análisis de Stone, et al. (2019) estudió 107 investigaciones —de metodologías diversas y no siempre robustas— que evidenciaban las estrategias beneficiosas para el aprendizaje de la lectura y escritura en América Latina. Encontró que las intervenciones en lectura y escritura basadas en formación docente no generaron cambios en las habilidades lectoras tempranas, a excepción de aquellas intervenciones que complementaron la formación docente con el acompañamiento en el aula. De igual forma, se presentó evidencia sobre los beneficios del entrenamiento en habilidades precursoras de la comprensión lectora —como son la conciencia fonológica, el principio alfabético y la fluidez en las habilidades lectoras tempranas—. En relación con la fluidez, algunos países de la región han utilizado esta medición para establecer metas alcanzables a nivel nacional (Abadzi, 2012). La Tabla 1 contiene el promedio de las normas de cada grado establecidas en Cuba, Chile, Paraguay y México. 

Tabla 1. Promedio de normas de fluidez en Cuba, Chile, Paraguay y México

Nota: Basado en Abadzi (2012).

En otras regiones del mundo se reportan resultados de intervenciones que utilizaron componentes similares a los del proyecto USAID Leer. Por ejemplo, Graham y Kelly (2018) resumieron las evaluaciones de impacto de 18 intervenciones en cuatro regiones establecidas por el Banco Mundial (Medio Oriente y África del Norte, África Subsahariana, Asia del Este y el Pacífico, Europa y Asia Central). El componente principal de todas estas intervenciones fue la formación de los docentes en la enseñanza simplificada de la lectura y la escritura. La investigación reporta que, en su mayoría, las intervenciones mostraron diferencias significativas entre los grupos experimental y control en las variables de conocimiento de las letras, fluidez y comprensión lectora, y que los grupos experimentales obtuvieron mejores resultados. Sin embargo, los efectos fueron mayores en conocimiento de las letras y fluidez, y menores en comprensión lectora. Es decir, estas intervenciones mostraron mayor éxito en mejorar las habilidades precursoras de la comprensión lectora. El estudio también encontró mejores puntuaciones en las intervenciones que complementaron la formación docente con el acompañamiento docente, guías de enseñanza, materiales de instrucción y herramientas de monitoreo del progreso estudiantil.

2.4. Características principales de la intervención del proyecto USAID Leer

La teoría de cambio que sustenta este proyecto afirma que la formación y el acompañamiento de los docentes mejora la instrucción de la alfabetización y, por consiguiente, mejora las habilidades lectoras de los alumnos.

El proyecto USAID Leer sigue un modelo de intervención a docentes definido como acompañamiento multinivel (Wood et al., 2016). Este modelo supone que la formación profesional para docentes es un recurso importante pero limitado para producir cambios relevantes en el desempeño estudiantil y debe ser complementado con acompañamiento y modelación. 

Los niveles de formación y acompañamiento del proyecto USAID Leer fueron: a) formación de docentes; b) acompañamiento de observación a docentes; y c) acompañamiento de modelación a docentes. 

La formación docente consistió en jornadas de entrenamiento dirigidas por facilitadores especializados dos veces al año. Los facilitadores fueron seleccionados por su pericia en procesos de formación y enseñanza de la lectoescritura, especialmente en el sistema público nacional. El principal objetivo de estos encuentros era formar a los docentes en el uso de estrategias efectivas para la enseñanza de la lectura y la escritura diferenciadas por ciclo, que pudiesen ser utilizadas en las aulas. 

El acompañamiento de observación a docentes (denominado “acompañamiento de supervisión” en el modelo de Wood et al., 2016), incluyó siete visitas al aula, por parte de un acompañante del proyecto, a un docente durante un año escolar. En estas visitas, los acompañantes observaban un período de clase (50 minutos) impartido por el docente para posteriormente sostener un diálogo reflexivo (30-40 minutos) con este. Los acompañantes contaban con un formulario de observación estandarizado, lo que permitía monitorear las actividades específicas para cada habilidad lectora (conciencia fonológica, comprensión oral, enseñanza del principio alfabético, fluidez lectora, desarrollo del vocabulario, y distintos niveles de comprensión lectora) desarrollada por el docente, la producción escrita y los roles del docente y los alumnos durante la actividad. Los diálogos reflexivos realizados luego de las observaciones fungían como un espacio de formación personalizada según las necesidades de cada docente. En este espacio, docentes y acompañantes concluían el proceso reflexivo con acuerdos sobre acciones específicas en las que el docente se enfocaría hasta el próximo acompañamiento. Este espacio también permitía la identificación de buenas prácticas.

La modelación a docentes (denominada “acompañamiento lado a lado” en el modelo de Wood et al., 2016), consistió en actividades que se realizaban durante algún acompañamiento de observación en el que el acompañante, luego de observar, coenseñaba junto con el docente con la intención de modelar el proceso de enseñanza. De igual forma, se promovió la participación de un docente en la clase de otro docente como estrategia de modelación. 

En la Figura 2 se puede ver una representación gráfica del modelo de intervención del proyecto USAID Leer durante los dos primeros años de implementación.

Figura 2. Modelo de intervención a docentes del proyecto USAID Leer 2015-2017 explicado bajo el modelo de Wood et al. (2016) 

El propósito de esta investigación es determinar la eficacia de la intervención del proyecto USAID Leer en mejorar las habilidades lectoras de alumnos del nivel primario en los años escolares 2015-2016 y 2016-2017. Se realizaron dos evaluaciones: línea base (cuando los alumnos cursaban el segundo grado de primaria) y línea media (cuando los alumnos cursaban el cuarto grado de primaria). En ambas evaluaciones se compararon las puntuaciones de comprensión lectora y sus precursores de un grupo de alumnos de las escuelas seleccionadas para participar de la intervención y un grupo de control (alumnos de escuelas que no recibirían la intervención). Para la evaluación de línea base se hipotetizó que no habría diferencias entre los grupos ya que ambos, en ese momento, recibían la misma enseñanza de lectura y escritura. Para la evaluación de línea media se hipotetizó que los alumnos que durante dos años recibieron la intervención del proyecto USAID Leer tendrían mejores resultados que aquellos que no la recibieron. 

2.5. Objetivos

2.5.1. Objetivo general

Determinar la eficacia del proyecto USAID Leer a través de dos estudios transversales (al iniciar el proyecto y en la mitad).

2.5.2. Objetivos específicos

Establecer una estimación del contrafactual basada en la evaluación de línea base a través de un estudio experimental con aleatorización de dos grupos (experimental vs. control).

Evaluar la comprensión lectora, las habilidades precursoras de la misma y las habilidades cognitivas generales subyacentes.

3. Método 

Este estudio sigue una metodología experimental con aleatorización de grupos con una estimación del contrafactual basada en la comparación de los grupos en la fase de línea base con respecto a las variables instrumentales (Gertler et al., 2011). 

Para la selección de las escuelas participantes de la intervención, se solicitó al Ministerio de Educación escoger las que cumplieran con los siguientes criterios de inclusión: 1) escuelas que no hubieran recibido intervenciones previamente; 2) escuelas que tuvieran desde primero hasta sexto grado de primaria; y 3) escuelas ubicadas en las regionales educativas 4, 6, 8, 9, 10, 11, 15 y 16. Un total de 400 escuelas que cumplieron con estos criterios fueron aleatoriamente seleccionadas para participar y luego asignadas aleatoriamente al grupo experimental (200) o al grupo control (200). Las regionales seleccionadas corresponden a las zonas geográficas priorizadas por el proyecto USAID Leer en su estrategia de cooperación educativa. 

3.1. Participantes 

Se seleccionaron aleatoriamente seis alumnos de segundo grado por cada escuela, un total de 2,400 alumnos (1,200 alumnos en el grupo experimental y 1,200 alumnos del grupo control), en noviembre del año 2015. La prueba fue completada por 2,399 alumnos. La edad promedio fue de 7 años (DT = 0.82), y el 50 % de la muestra estaba conformada por niñas. Los criterios de inclusión fueron: a) estar cursando el segundo grado de primaria, y b) estar presente el día de la evaluación. 

De igual forma, se seleccionaron seis alumnos de cuarto grado por cada escuela, un total de 2,400 alumnos (1,200 alumnos en el grupo experimental y 1,200 alumnos en el grupo control), en noviembre del año 2017. 

La prueba fue completada por 2,351 alumnos. El proyecto tuvo un porcentaje de mortalidad del 2 % debido a que siete escuelas experimentales salieron del proyecto USAID Leer, antes del segundo año, y una escuela del grupo control se unió a otra escuela y no pudo ser evaluada. La edad promedio era de 9.19 años (DT = 0.98), y el 50.1 % de la muestra estaba conformada por niñas. Los criterios de inclusión fueron: a) estar cursando el cuarto grado de primaria, y b) estar presente el día de la evaluación. 

La selección aleatoria durante el levantamiento tanto de la línea base como de la línea media fue decidida a priori debido a la movilidad y al absentismo estudiantil, lo cual afecta la validez interna de los instrumentos de recogida de información. Por tanto, este es un estudio de análisis transversal y no de panel.

3.2. Instrumentos

Los instrumentos de medición de este estudio fueron desarrollados durante el levantamiento de datos de línea base, siguiendo las pautas internacionales para la evaluación de la lectura (USAID, 2011). De igual forma, el contenido de estos instrumentos fue desarrollado tomando en cuenta el contexto social y cultural dominicano, tanto en expresiones lingüísticas como en materia de experiencia de los alumnos del sector público dominicano con este tipo de prueba (Mencía-Ripley et al., 2016). Una descripción más detallada de los instrumentos se encuentra en Mencía-Ripley et al. (2016) en la cual se explicitan los constructos medidos. Los mismos corresponden a las habilidades lectoras del modelo. Al no ser una evaluación de desempeño, las pruebas no evalúan contenidos curriculares. Los instrumentos presentaron buenos niveles de consistencia interna evidenciados por los coeficientes de alfa de Cronbach que oscilaron entre 0.71 y 0.99. A continuación se presenta una descripción detallada de cada instrumento.

3.2.1. Cuestionario sociodemográfico sobre los alumnos

Se obtuvieron datos generales de los participantes a través de algunas preguntas hechas directamente a cada alumno y a sus docentes. De los alumnos se obtuvo la información de edad, sexo, dominancia manual y ambiente letrado en el hogar. A los docentes se les preguntó si el alumno tenía diagnóstico de alguna discapacidad y si recibía atención médica. 

3.2.2. Batería de evaluación de lectura USAID Leer

Esta batería de evaluación consta de ocho subpruebas que corresponden a competencias necesarias para entender el proceso lector del alumno. La batería se administra de manera individual y tiene una duración aproximada de 20 minutos. A continuación se presenta una descripción de cada subprueba.

a) Memoria de trabajo. Para evaluar esta habilidad se utilizó el protocolo de Martínez, Herrera, Valle y Vásquez, et al. (2011) de repetición inmediata de palabras y pseudopalabras. La prueba consistió en la presentación oral de una lista de 32 palabras y posteriormente una lista de 32 pseudopalabras que el participante debía repetir inmediatamente. Dicha prueba permitió observar la capacidad que tienen los participantes de mantener la información fonológica disponible durante poco tiempo. 

b) Comprensión oral. En esta subprueba los evaluadores leyeron en voz alta tres historias a los participantes. Al terminar cada historia, los evaluadores realizaban cinco preguntas literales sobre la historia.

c) Conciencia fonológica. En esta subprueba se les pedía a los participantes repetir el primer sonido de 10 palabras. El evaluador decía cada palabra en voz alta, y el participante debía decir cuál era el primer sonido.

d) Conocimiento de las letras. Esta subprueba consiste en evaluar si los participantes eran capaces de reconocer las letras tanto por sus sonidos como por sus nombres. Los participantes recibieron una hoja que contenía un listado de 52 letras del alfabeto de manera aleatoria en presentación minúscula y mayúscula. Los alumnos debían decir en voz alta el nombre o el sonido de la letra lo más rápido posible durante un minuto.

e) Palabras por minuto. Esta subprueba mide la velocidad del reconocimiento de palabras. A los participantes se les entregó un listado de palabras de alta frecuencia y se les pidió que leyeran la lista lo más rápido posible durante un minuto.

f)  Pseudopalabras por minuto. Esta subprueba mide la velocidad de la decodificación. A los participantes se les entregó una lista de palabras que no tenían sentido, y se les pidió que las leyeran lo más rápido posible durante un minuto. 

g) Fluidez. Esta subprueba mide la velocidad de lectura de un texto en contexto. Los participantes leyeron tres historias de aproximadamente 63 palabras, en las que los evaluadores contabilizaron las palabras leídas correctamente en un minuto. Las puntuaciones de los alumnos que terminaron de leer la historia en menos de un minuto eran prorrateadas calculando cuántas palabras más habrían podido leer al terminar el minuto. Para esto se utilizó la siguiente fórmula:
 F = C(60 / T)

En la que F = fluidez lectora, C = conteo de palabras leídas correctamente al terminar la historia; T = tiempo en segundos que tardó el participante en leer la historia. 

Las puntuaciones de las tres historias fueron promediadas. Pese a que la puntuación se detenía al cumplirse un minuto, a los participantes se les permitió terminar de leer la historia para contestar las preguntas de la siguiente prueba. 

h) Comprensión lectora literal. Al finalizar de leer cada historia de la prueba anterior, a los participantes se les hicieron cinco preguntas de comprensión literal. 

3.3. Recopilación de datos

Este proyecto recibió la aprobación del Comité de Ética de Investigación Académica de UNIBE. Esta evaluación fue acogida por el Ministerio de Educación de la República Dominicana, el cual realiza evaluaciones periódicas de sus alumnos, por lo que se determinó que no era necesario obtener un consentimiento adicional de los padres. El proyecto y sus evaluaciones se consideran parte de la programación regular del Ministerio de Educación. 

Luego de recibir la aprobación del Comité de Ética, se procedió a entrenar a los evaluadores del presente estudio. El entrenamiento para el levantamiento de datos de línea base tuvo lugar en septiembre del año 2015 y el de línea media en septiembre del año 2017. El equipo de evaluación fue conformado por un grupo de 25 evaluadores, cinco supervisores de campo y un supervisor general. Ambos levantamientos (línea base y línea media) fueron completados en tres semanas. 

En las escuelas, el procedimiento de evaluación fue el siguiente: 1) notificación a las regionales y distritos educativos sobre el levantamiento; 2) notificación a las escuelas sobre el día pautado para la evaluación; 3) el día de la evaluación se visitaba a los directores antes de entrar a las aulas; 4) aleatorización de todos los alumnos de segundo y selección de seis participantes por escuela; y 5) la evaluación se realizaba de manera individual en un lugar privado dentro de la escuela. 

3.4. Plan de análisis estadísticos

Se obtuvieron estadísticas descriptivas tanto para el levantamiento de línea base como de línea media. De igual forma, se realizó una comparación de medias entre grupo control y experimental en el levantamiento de línea base para garantizar la igualdad de los grupos antes de la intervención. Se realizó una comparación de medias entre grupo control y experimental en el levantamiento de línea media para determinar la efectividad de la intervención después de que el grupo experimental recibiera dos años de intervención. Se realizaron análisis adicionales para comparar las medias, las habilidades de comprensión lectora y sus precursores para cada grupo entre las puntuaciones de línea base y línea media. De igual forma, se compararon las puntuaciones de niños y niñas. Se obtuvieron los tamaños de efecto de las comparaciones de medias calculando la d de Cohen (Cohen, 1998), en la que una puntuación menor a 0.2 se considera tamaño de efecto pequeño, una puntuación de 0.2 a 0.5 se considera tamaño de efecto mediano, y una puntuación mayor a 0.8 se considera tamaño de efecto grande. Para el análisis de datos se utilizó el programa JASP versión 10.0.0.

4. Resultados 

Para asegurarse de que los grupos experimental y control fueran equiparables, se realizó una prueba t de Student de dos colas de muestras independientes contrastando las medias del grupo experimental y el grupo control en cada variable. Estas pruebas fueron de dos colas debido a que establecen una hipótesis direccional que no tiene sustento teórico en la línea base. No se hallaron diferencias entre los grupos en las habilidades asociadas a la lectura en el levantamiento de línea base. Esto confirma la hipótesis de que ambos grupos eran equivalentes antes de iniciar la intervención del proyecto USAID Leer. En la Tabla 2 se pueden ver las estadísticas descriptivas e inferenciales. 

Tabla 2. Estadísticas descriptivas y comparación de medias entre el grupo control y el grupo experimental en el levantamiento de línea base

Nota: M = media; DT = desviación típica; t = t de Student; gl = grados de libertad; p = significancia; d = d de Cohen. Las puntuaciones de palabras por minuto, pseudopalabras por minuto y fluidez consisten en la sumatoria de aciertos en un minuto. El resto de variables fueron calculadas como el porcentaje de acierto (de 0 a 1); H₀: Control = Experimental. Los resultados significativos están marcados en negrita. Los valores de t y d negativos indican que, según el orden en el que se presentan los grupos en la tabla (primero experimental y después control) la direccionalidad del efecto está invertida (control > experimental).

Para determinar la efectividad de la intervención, se realizó una prueba t de Student de una cola de muestras independientes contrastando las medias del grupo experimental y el grupo control en cada variable medida. Se encontraron resultados estadísticamente significativos con tamaños de efecto pequeño para memoria de trabajo para pseudopalabras (t₍₂₃₄₈₎ = 2.87, p = 0.002, d = 0.12), comprensión oral (t₍₂₃₄₇₎ = 1.75, p = .041, d = 0.07), conciencia fonológica (t₍₂₃₄₉₎ = 1.94, p = .027, d = 0.08), conocimiento de las letras (t₍₂₃₄₉₎ = 2.60, p = .005, d = 0.11), pseudopalabras por minuto (t₍₂₃₄₉₎ = 1.92, p = .028, d = 0.08) y palabras por minuto (t₍₂₃₄₉₎ = 4.56, p < .001, d = 0.19). En la Tabla 3 se pueden ver las estadísticas descriptivas e inferenciales, y en la Figura 3, una representación visual de los resultados. 

Tabla 3. Estadísticas descriptivas y comparación de medias entre el grupo control y el grupo experimental en el levantamiento de línea media

Nota. M = media; DT = desviación típica; t = t de Student; gl = grados de libertad; p = significancia; d = d de Cohen. Las puntuaciones de palabras por minuto, pseudopalabras por minuto y fluidez consisten en la sumatoria de aciertos en un minuto. El resto de variables fueron calculadas como el porcentaje de acierto (de 0 a 1); H₀: Control ≤ Experimental. Los resultados significativos están marcados en negrita. Los valores de t y d negativos indican que, según el orden en el que se presentan los grupos en la tabla (primero experimental y después control) la direccionalidad del efecto está invertida (control > experimental).

Figura 3. Representación gráfica de los resultados de comparación entre el grupo experimental y el grupo control en cada variable

4.1. Hallazgos adicionales

Al realizar una comparación de medias entre las evaluaciones de línea base y línea media de cada grupo por separado para confirmar que los alumnos estuvieran avanzando en el proceso de aprendizaje de la lectura y la escritura independientemente de haber recibido o no la intervención, se encontraron diferencias significativas entre las puntuaciones de línea base y línea media, tanto en el grupo experimental como en el grupo control. Los alumnos presentaron mejores puntuaciones en línea media que en línea base. En las Tablas 4 y 5 se pueden ver las estadísticas descriptivas e inferenciales. 

Tabla 4. Estadísticas descriptivas y comparación de medias entre el levantamiento de línea base y línea media para las escuelas control

Tabla 5. Estadísticas descriptivas y comparación de medias entre el levantamiento de línea base y línea media para las escuelas experimentales

Realizamos una comparación de medias entre niños y niñas para el levantamiento de línea base y línea media para conocer si existen diferencias en las habilidades lectoras según el sexo. Tanto en línea base como en línea media, las niñas mostraron mejor desempeño que los niños a excepción de memoria de trabajo para palabras (en línea base), y memoria de trabajo para pseudopalabras y comprensión oral (en línea media), donde no se encontraron diferencias significativas. Las Tablas 6 y 7 contienen las estadísticas descriptivas e inferenciales. 

Tabla 6. Estadísticas descriptivas y comparación de medias entre niños y niñas en la línea base

Tabla 7. Estadísticas descriptivas y comparación de medias entre niños y niñas en la línea media

5. Discusión y conclusiones 

El hallazgo principal de esta investigación muestra que los alumnos de cuarto grado de primaria que recibieron la intervención del proyecto USAID Leer durante dos años tuvieron mejor desempeño en algunos precursores de la comprensión lectora comparados con alumnos que no recibieron la intervención. Específicamente, los alumnos del proyecto obtuvieron mejores puntuaciones en memoria de trabajo de repetición de pseudopalabras, comprensión oral, conciencia fonológica, conocimiento de las letras y palabras por minuto. No obstante, ambos grupos presentaron igual desempeño en fluidez y comprensión lectora. Esto quiere decir que la intervención logró mejorar las habilidades del lenguaje oral y el reconocimiento de palabras, que son los componentes principales del Modelo Simple de la Lectura (Hoover & Gough, 1990), pero estos avances significativos aún no son lo suficientemente fuertes como para causar una mejora visible en la comprensión lectora. Los participantes de este estudio, tanto del grupo control como del grupo experimental, aún decodifican con mucho esfuerzo, esto se evidencia en la subprueba de palabras por minuto (39.23 y 44.64 palabras por minuto para cada grupo, respectivamente). En otros países de habla hispana, el punto de referencia reportado para alumnos de cuarto grado es de 100 palabras por minuto (Abadzi, 2012), lo que deja a los participantes de este estudio muy por debajo de la norma. 

Los resultados de este estudio concuerdan con la Teoría de la Automatización Lectora (LaBerge y Samuels, 1974; Samuels, 2004), que propone que la comprensión lectora depende del grado de automatización de los subcomponentes de la lectura, tanto a nivel del lenguaje oral como la capacidad de reconocer las palabras de manera eficiente. Los participantes de ambos grupos parecen no haber automatizado los procesos básicos, y esto no permite que se dediquen recursos cognitivos a la comprensión lectora.

Estos resultados concuerdan con Graham y Kelly (2018), quienes reportan mayores efectos de las intervenciones en las habilidades precursoras a la comprensión lectora y menores efectos en la comprensión lectora per se. De igual forma, los resultados concuerdan con Stone et al. (2019), en cuyo meta-análisis no se encontraron efectos en comprensión lectora en intervenciones de formación docente. Pese a que la intervención del proyecto USAID Leer contó con acompañamiento docente, estrategia que ha demostrado ser eficiente (Joyce & Showers, 2002; Powell & Diamond, 2013; Stone et al., 2019), estas intervenciones requieren de una cantidad sustancial de asistencia técnica del personal externo. Pese a que la formación del proyecto USAID Leer fue complementada con siete acompañamientos al año, es posible que esto no fuera suficiente. Cuanto más permanezca un docente realizando las estrategias sugeridas y reciba más oportunidades de retroalimentación y acompañamiento, mayor será el nivel de pericia que obtendrá y, por consiguiente, logrará un mejor desempeño en comprensión lectora de sus alumnos. En el sistema educativo dominicano es común la rotación docente. Es decir, la asignación docente a un grado escolar fluctúa con mucha frecuencia. Esto impide ver un efecto acumulativo de formación y acompañamiento docentes en las habilidades lectoras de los alumnos, ya que puede ser que el año siguiente, ese docente esté a cargo de otro grado escolar. 

Estos resultados podrían estar relacionados con el cumplimiento parcial de los supuestos críticos establecidos antes de iniciar el proyecto. En primer lugar, pese a que el currículo dominicano está alineado con ciertas estrategias basadas en la evidencia —como la exposición de los alumnos a la diversidad textual, motivar a los alumnos a leer, y ofrecer estrategias que permitan comprender la estructura de diversos tipos de texto—, no contempla la enseñanza sistemática y explícita de los precursores de la comprensión lectora. Si bien todos los precursores de la lectura están mencionados en el currículo (conciencia fonológica, principio alfabético, decodificación, fluidez, etc.), aparecen como contenidos procedimentales dentro de las habilidades a desarrollar a través de la competencia comunicativa. El currículo no plantea una secuencia de enseñanza diferenciada por los puntos particulares del desarrollo lector (Castles et al., 2018) que ayuden al docente a llevar a cabo un proceso de enseñanza sistemático. Esto podría hacer que la enseñanza no sea del todo eficiente y cause ambigüedad en los docentes en el momento de la implementación. El proyecto USAID Leer enfocó los entrenamientos en sistematizar la propuesta curricular durante los dos primeros años de implementación. 

En segundo lugar, pese a que la mayoría de las escuelas tenían bibliotecas para uso estudiantil, el contenido de los libros disponibles era muy difícil para alumnos que estaban aprendiendo a leer. En este sentido, aun ofreciendo una vasta diversidad textual, pocos alumnos podían acceder al texto y, por tanto, tenían una oportunidad limitada de practicar la lectura. La práctica diaria de la lectura es uno de los factores que contribuye con la automatización lectora (Castles et al., 2018). En vista de la carencia de materiales diseñados para que los alumnos que están aprendiendo a leer puedan practicar a diario, el proyecto USAID Leer elaboró la primera colección de libros decodificables de la República Dominicana (Sánchez-Vincitore, 2018), implementados a partir del año 2018 en las escuelas del proyecto. Se prevé que esta automatización favorecerá los subcomponentes de la lectura relacionados con la integración de lenguaje y decodificación. Es decir, influiría en la fluidez y en la comprensión lectora. 

Dentro de las limitaciones del estudio se señala, en primer lugar, que no fue posible diseñar una metodología que permitiera el análisis de medidas repetidas pre y post. Esta fue una decisión a priori para prevenir la amenaza a la validez interna de mortalidad debido a la posible mortalidad por cambios de escuela o absentismo estudiantil. Por tanto, los resultados no deben ser interpretados en relación con el progreso individual de cada alumno (en un diseño de panel), sino el progreso de cada grupo (experimental vs. control). Esta limitación pudo tener como consecuencia que los resultados tuvieran poco efecto. Sin embargo, esto es común en intervenciones educativas ya que los efectos de los programas son heterogéneos, y la fidelidad a la intervención suele ser difícil de lograr en su totalidad (Kraft, 2018). 

En conclusión, el presente estudio encontró que la formación y el acompañamiento docentes, características principales del proyecto USAID Leer durante los años 2015-2017, fue capaz de mejorar significativamente las habilidades precursoras de la lectura en alumnos al llegar a cuarto grado de primaria. No obstante, la formación docente y el acompañamiento no fueron suficientes para mejorar habilidades más complejas como la fluidez y la comprensión lectora. Para alcanzar estas habilidades es necesario una práctica lectora constante e independiente, además de la exposición a contenidos cada vez más exigentes y a estrategias explícitas que funcionen como andamios durante el proceso (Castles et al., 2018). A raíz de los resultados de este estudio, el proyecto USAID Leer ha rediseñado su modelo de intervención para incluir los elementos que podrían marcar la diferencia durante el tiempo restante. En la Figura 4 se puede ver una representación gráfica del modelo de intervención propuesto para los años escolares desde el 2017 hasta el 2020.

Figura 4. Modelo de intervención a docentes del proyecto USAID Leer 2017-2020 explicado según el modelo de Wood et al. (2016) 

Este trabajo es importante, ya que sienta las bases para la toma de decisiones de políticas educativas basadas en la evidencia científica, específicamente tomando en cuenta la carencia de producción científica local reportada por otros estudios (Stone et al., 2019). Los cambios del sistema educativo se toman mucho tiempo, pero estudios como este muestran tendencias de crecimiento que necesariamente se verán reflejadas en las evaluaciones nacionales e internacionales cuando estos cambios influyan en el sistema. 

6. Agradecimientos y reconocimientos 

Agradecemos a la Red para la Lectoescritura Inicial de Centroamérica y el Caribe por financiar el proceso de redacción de este manuscrito y por la asistencia recibida de Ingrid Nanne, Paola Andrade y Pablo Barrientos. De igual forma, agradecemos a Adria Molotsky, del American Institute for Reasearch, por la revisión del manuscrito. El proyecto USAID Leer fue financiado por la Agencia de los Estados Unidos para el Desarrollo Internacional (No. AID-517-A-1500005).

Referencias bibliográficas

Abadzi, H. (2012). Developing cross-language metrics for reading fluency measurement: Some issues and opportunities. GPE Working Paper Series on Learning No. 6.

Castles, A., Rastle, K., & Nation, K. (2018). Ending the reading wars: Reading acquisition from novice to expert. Psychological Science in the Public Interes, 19(1), 551. https://doi.org/10.1177/1529100618772271

Cohen, J. (1998). Statistical power analysis for the behavioral sciences (Second). Hillsdale, NJ, England: Lawrence Erlbaum Associates, Inc, Hillsdale, NJ.

Dehaene, S. (2015). Aprender a leer: De las ciencias cognitivas al aula. Buenos Aires: Siglo Veintiuno Editores.

Ehri, L. C. (1987). Learning to read and spell words. Journal of Literacy Research, 19(1), 531. https://doi.org/10.1080/10862968709547585

Ehri, L. C. (2005a). Development of sight word reading: Phases and findings. En M. J. Snowling & C. Hulme (Eds.), The science of reading: A handbook (pp. 135-145). Oxford: Blackwell Publishing.

Ehri, L. C. (2005b). Learning to read words: Theory, findings, and issues, Scientific Studies of Reading, 9(2), 167-188. https://doi.org/10.1207/s1532799xssr0902_4

Ferreiro, E., & Teberosky, A. (1979). Los sistemas de escritura en el desarrollo del niño. México: Siglo XXI Editores.

Frith, U. (1985). Beneath the surface of developmental dyslexia. Surface Dyslexia. https://doi.org/10.1016/j.jconhyd.2010.08.009

Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. (2011). La evaluación de impacto en la práctica. The World Bank.

Ganimian, A.J., & Murnane, R.J. (2016). Improving education in developing countries: Lessons from rigorous impact evaluations. Review of Educational Research, 86 (3), 719-755.

Graham, J., & Kelly, S. (2018). How effective are early grade reading interventions? (Policy Research Working Paper No. 8292). https://bit.ly/2I3PjsD

Hoover, W. A., & Gough, P. B. (1990). The simple view theory of reading. Reading and Writing: An Interdisciplinary Journal, (2), 127-160.

Joyce, B. R., & Showers, B. (2002). Student Achievement Through Staff Development. Alexandria, VA.

Kirby, J. R., & Savage, R. S. (2008). Can the simple view deal with the complexities of reading? Literacy, 42(2), 75-82. https://doi.org/10.1111/j.1741-4369.2008.00487.x

Kraft, M. A. (2018). Interpreting effect sizes of education interventions. Brown University Working Paper.

LaBerge, D., & Samuels, S. J. (1974). Toward a theory of automatic information processing in reading. Cognitive Psychology, 6(2), 293-323. https://doi.org/10.1016/0010-0285(74)90015-2

Martínez, L., Herrera, C., Valle, J., & Vásquez, M. (2011). Memoria de trabajo fonológica en preescolares con trastorno específico del lenguaje expresivo. Psykhe, 12(2).

Mencía-Ripley, A., Sánchez-Vincitore, L. V., Garrido, L. E., & Aguasvivas-Manzano, J. A. (2016). Baseline report of USAID-Leer. Santo Domingo.

MINERD (2014). Diseño curricular: Nivel primario.

MINERD (2018a). Resultados de la evaluación diagnóstica nacional de sexto grado de primaria. Informe nacional. Santo Domingo.

MINERD (2018b). Resultados de la evaluación diagnóstica nacional de tercer grado de primaria: Informe nacional. Santo Domingo.

OECD. (2019). Programme for international student assessment (PISA): Results from PISA 2018. https://www.oecd.org/pisa/publications/PISA2018_CN_DOM.pdf

Powell, D. R., & Diamond, K. E. (2013). Implementation fidelity of a coaching-based professional development program for improving Head Start teachers’ literacy and language instruction. Journal of Early Intervention, 35(2), 102-128. https://doi.org/10.1177/1053815113516678

Pressley, M. (2002). Balanced literacy instruction. Focus on Exceptional Children, 34(5), 114.

Samuels, S. J. (2004). Toward a theory of automatic information processing in reading, revisited. En R. B. Ruddell & N. J. Unrau (Eds.), Theoretical models and processes of reading (pp. 1127-1148). Newark, DE: International Reading Association.

Sánchez-Vincitore, L. V. (2018). Creación de una colección de libros decodificables para la práctica lectora inicial en el idioma español. Ciencia y Educación, 2, 63-72.

Sánchez-Vincitore, L. V. (2019). Proyecto USAID-Leer: Lecciones aprendidas para la toma de decisiones de políticas educativas. En XV Congreso Latinoamericano para el Desarrollo de la Lectura y Escritura (CONLES). https://doi.org/10.22235/cp.v3i2.147

Stone, R., De Hoop, T., Coombes, A., & Nakamura, P. (2019). What works to improve early grade literacy in Latin America and the Caribbean? A systematic review and meta-analysis. Campbell Systematic Reviews, 16(1), e1067. https://doi.org/10.1002/cl2.1067

UNESCO. (2008). Primer reporte de los resultados del Segundo Estudio Regional Comparativo y Explicativo. Santiago.

UNESCO. (2015). Tercer estudio regional comparativo y explicativo: Informe de resultados. Santiago. http://unesdoc.unesco.org/images/0024/002435/243532S.pdf\

UNESCO. (2017). Accountability in education: Meeting our commitments. Paris. https://doi.org/10.1017/CBO9781107415324.004

USAID. (2011). Opportunity through learning: USAID education strategy. Washington, D.C.

Walker, B. J. (2012). Diagnostic teaching of reading: Techniques for instruction and assessment (7th ed.). Boston, MA: Pearson Education, Inc.

Wood, C., Goodnight, C., Bethune, K., Preston, A., & Cleaver, S. (2016). Role of professional development and multi-level coaching in promoting evidence-based practice in education. Learning Disabilities - A Contemporary Journal, 14(2), 159-170.