37
Novoa, P. F. (2019). Estrategias de aplicación digital en la comprensión de textos narrativos.
Investigaciones Sobre Lectura, 11, 37-55. DOI 10.37132/isl.v0i11.277
Número 11
Junio de 2019
Estrategias de aplicación digital en la comprensión de
textos narrativos
Pedro Félix Novoa Castillo
Universidad Nacional Mayor de San Marcos /
Universidad César Vallejo
https://orcid.org/0000-0003-2186-7458
Recibido: 03-03-2019
Aceptado: 25-04-2019
Pág. 37 a la 55
Resumen:
Palabras clave:
Comprensión de textos
narrativos; Aprendizaje
electrónico; Estrategias de
lectura; Lectura digital.
La baja comprensión lectora en el
ámbito universitario requiere de una
urgente alternativa de solución desde
lo didáctico. Por ello, las estrategias
de aplicación digital son una
interesante alternativa de solución. El
propósito de esta investigación fue
determinar la influencia que tiene un
conjunto de aplicativos y programas
empleados como estrategia didáctica
en el proceso de lectura y
comprensión de textos narrativos (en
su dimensión textual, inferencial y
criterial). Debido al método hipotético
deductivo de la investigación se
planteó como hipótesis de trabajo que
la estrategia digital mejora la
comprensión de textos narrativos,
tanto en su dimensión textual,
inferencial y criterial. Para
comprobarlo, se aplicó un pre y dos
pos test (adaptaciones PISA, 2015) a
una muestra de 310 participantes
(control: 160 y experimental: 150).
Los resultados reflejaron diferencias
significativas en la comprensión, tanto
para su dimensión textual y criterial, mas
no se comprobó significatividad en la
dimensión inferencial (probablemente
por el usual apresuramiento en las
deducciones, situación muy común en la
juventud de ahora). Por todo ello, se
concluyó que las Estrategias de
aplicación digital mejoran
significativamente la comprensión de
textos narrativos, pero que aún en el
aspecto inferencial faltaría ajustar, quizá
con la incorporación de una actividad
didáctica más reflexiva.
38
Introducción
En la presente investigación se buscó comprobar la influencia de una estrategia
digital en la comprensión de textos narrativos por estudiantes universitarios. Debido a
ello, se enfocó en proponer actividades que tendrían que realizarse en una o dos clases
como máximo para someter a prueba intensa la relevancia de los recursos, programas y
aplicativos virtuales en el logro de la comprensión tanto literal, inferencial y criterial. Las
lecturas empleadas fueron dos cuentos de Jorge Luis Borges: “El jardín de los senderos
que se bifurcan” y “El milagro secreto”.
La investigación sobre la comprensión de textos es frondosa y aun así los
resultados siguen siendo tentativos y preliminares con respectos a una efectiva solución a
la poca o nula comprensión de lectura. Lamentablemente hay un marcado sesgo a no tomar
en cuenta los textos narrativos, subestimando su complejidad y obviando o estereotipando
su relevancia. Quienes los abordan, reducen al texto narrativo a mero entretenimiento sin
análisis ni verificación de la comprensión. Y quienes los estudian, prefieren tomar textos
argumentativos o expositivos asumiendo un rigor superior. Desaprovechando el enclave
de lo narrativo en las comunicaciones actuales, ya que son la base de estos tiempos en la
comunicación. Y también no aprovechando textos narrativos que siendo cortos de
extensión son complejos como las obras de Borges.
Por último, al escoger un diseño cuasi experimental, la presente investigación
propone un corte transversal de la investigación, asumiendo que solo en las tesis (y muy
poco en artículos) se observan el abordaje de experimentos que busquen influenciar
significativamente la comprensión de textos. Asimismo, hay un poco abordaje de
investigaciones específicas con estudiantes universitarios en relación con textos
narrativos. Por todo ello, este trabajo pretende contribuir con resultados que motiven a
seguir bregando por una sociedad que comprenda lo que lea, ya que así también
comprenderá lo que está viviendo.
Lectura y comprensión en entornos digitales
Leer en físico o en un entorno digital crea una gran disyuntiva pedagógica en su
uso y aprovechamiento en ambos soportes. Los textos físicos son concretos y fijos al
entorno que lo facilita; mientras que el digital es intangible y virtual (Cordón, 2016). Estas
diferencias inquietaron a los intelectuales que pensaron podría precarizarse no solo la
lectura en sí, sino su comprensión. Sin embargo, Piovano y Burin (2014) no encontraron
diferencias en la comprensión. A pesar de ello, usuarios y especialistas han marcado la
gran diferencia cualitativa entre leer en físico y en un entorno digital cuando se trata de
textos voluminosos. En efecto, en este tipo de lecturas la luz monótona de las pantallas
ocasiona un cansancio visual en el lector. Incluso puede provocar “ojo seco” por su
excesiva exposición. Asimismo, si la lectura se da en dispositivos móviles, esta reduce la
visión holística de toda una página como en una lectura en libro concreto. Aun así, los
estudios fueron decantando estas desventajas a simples peculiaridades, entendiendo que
cada una de ellas tenían características propias y por tanto sus ventajas y desventajas
intrínsecas.
Para algunos investigadores pro digitales, la lectura virtual en dispositivos
electrónicos implicaba mayor interacción y dinamismo, que leer en simples páginas. Pero
39
que no por ello carecían de elementos disruptivos. Y que, para evitar la sobrecarga
cognitiva, el lector digital debía contar con competencias específicas para aprovechar
todas las ventajas del texto virtual y aminorar sus desventajas (Cordón, 2016). En este
mismo sentido, Romero (2014) manifiesta que es necesario que los lectores sean
lectoespectadores eficaces que se relacionen con el escrito de una manera más fluida,
efectiva y constante. Competencias como el diseño, la búsqueda y la navegación (Fajardo
et al; Wu, 2014 citado en Burin, Coccimiglio, González y Bulla, 2016). Es por ello que la
presente investigación ha enfatizado el diseño de las actividades que toman en cuenta lo
interactivo y los conocimientos previos (Martínez, Marrujo, Perillo, González y Burin,
2019) así como la búsqueda del conflicto cognitivo para redondear la comprensión.
Comprensión de textos narrativos
La comprensión de un texto se entiende como un ejercicio mental que implica
esfuerzo y el planteamiento de una finalidad intelectiva (Ramos, 2007) y una suerte de
interacción entre lector y texto en ir construyendo activamente una determinada
intelección (Blandón y Restrepo, 2015). Si el texto a comprender es del tipo narrativo, se
tomará en cuenta la sucesión de sucesos, la situación y ambientación de cada personaje
involucrado en una historia (Calderón y Quesada, 2016) a lo largo de una secuencia
temporal (Saldarriaga, 2017). La narración es el tipo de texto holístico por antonomasia,
ya que dentro de él están otros tipos de texto tanto en la actualidad como desde los inicios
de los tiempos (Barthes, 1996).
Es importante subrayar que dentro de los textos más leídos tenemos a las novelas
y a los cuentos. Siendo las primeras, las más voluminosas y las que se relacionan por tanto
a un soporte físico por antonomasia. A diferencia de los segundos, que se pueden acceder
con mayor facilidad tanto de manera física, pero sobre todo digital, por su corta extensión.
Sin embargo, no se están usando como se debiera, ya que, según Salazar, et al (2015) solo
se establece el 6 % para revisión de narraciones cortas como cuentos.
Los textos narrativos cortos son por lo general empleados como inducción a
lecturas posteriores más complejas y de más alcance. Se ha empleado en la transición del
lector bisoño al lector más habituado (Acevedo, Cabana y Martínez, 2013; Arciniega y
Chiriboga, 2015). Pero no se debería reducir a las narraciones como simples nexos de lo
simple a lo complejo o de lo breve a lo extenso. Ya que pueden ser cortos y complejos en
sí mismos. Además de ser en estos tiempos los vehículos comunicativos más usados, sobre
todo en las plataformas digitales.
Es por ello, que esta investigación ha elegido los cuentos “El milagro secreto” y
“El jardín de senderos que se bifurcan”. Dos narraciones cortas de un autor como Borges,
que es considerado un escritor que se caracteriza por su concisión y complejidad.
Nivel de impacto de los programas y aplicativos digitales
Para trabajar tanto la lectura y su posterior comprensión, se optó por una estrategia
didáctica que tomara en cuenta los niveles de impacto de la tecnología en lo educativo.
Según Puentedura (2006); López (2015) como se citó en Mendoza, García y Guzmán
(2018), este impacto se puede dar: (1) mejorando y transformando con una sustitución
40
moderada de lo físico por lo digital; (2) aumentando lo real en lo virtual con una
sustitución directa y funcional; (3) modificando lo real en lo virtual con una sustitución
directa, funcional y el empleo de estrategias didácticas específicas; y (4) modificación de
lo real en lo virtual con una sustitución y el empleo de herramientas TIC en la creación
de nuevos aprendizajes.
En esta investigación se optó por el tercer nivel de impacto. Ya que tanto los
programas y aplicativos empleados buscaron una sustitución directa de la lectura física
por una virtual de manera funcional, así como el empleo de estrategias didácticas
puntuales para realizar procesos pedagógicos específicos como recojo de saberes previos,
conflicto cognitivo, recuperación y organización de información, y evaluación de la
comprensión lectora.
El criterio para la elección de los aplicativos y programas fueron los que resultaban
más intuitivos y no implicaban sobrecarga cognitiva, ni mucha dificultad para su acceso
ni sofisticación en su procesamiento; ya que, en algunas ocasiones, las herramientas TIC
en vez de ser un medio, se transforman involuntariamente en un fin en sí mismas (Levis,
2016 citado en Pérez-Rodríguez y Ponce, 2012). Además de tener en la mayoría de casos,
condicionamientos económicos para sus suscripciones.
Por ello, la presente investigación empleó los siguientes programas y aplicativos:
Biblioteca digital Seva, Kahott, miMind, Educaplay, Goconqr, y Thatquiz. La Biblioteca
digital Seva se empleó para acceder a los dos cuentos empleados en este trabajo. El Kahott
se utilizó para el recojo de saberes previos y el conflicto cognitivo. El miMind fue idóneo
para recuperar y organizar información en Mapas Mentales Armónicos. La plataforma
Educaplay fue muy importante para el diseño y aplicación de actividades lúdicas posterior
a la lectura como Sopa de letras, crucigramas y mapas interactivos. Finalmente, tanto el
Goconqr como el Thatquiz sirvieron para la evaluación de las lecturas.
Gráfico 1. Diseño de pruebas en Thatquiz (recortado)
Es necesario anotar que el empleo de lo tecnológico en educación es todavía bajo.
Salazar, et al (2015) revelaron que solo el 6 % empleaba dispositivos electrónicos con
fines educativos en Colombia. Hay que añadir que, debido a la pobreza, la brecha
tecnológica en Latinoamérica es mayor (Rodríguez, 2005; Bravo, 2012) y precisamente
por ello, la exigencia a los docentes en aprovechar al máximo los recursos disponibles. Es
41
en este contexto, que las estrategias en entornos digitales se convierten en medios idóneos
para influir de manera positiva en los aprendizajes.
Luego de asegurar el aprendizaje, lo inmediato es la evaluación. Para ello, este
trabajo optó por las pruebas en línea. Modalidad que, según Thorne, et al (2013); y Ponce,
et al (2007) constituye una alternativa que, de ser bien empleada, puede mejorar los
resultados. En esta investigación se aplicó un pre test y dos pos test (uno previo y uno
definitivo). Entendiendo que el hecho de realizar una evaluación adicional a manera de
ensayo significa la seguridad de mejorar la comprensión total del texto leído (Benítez,
Barajas, Uresti y Nallehly, 2014).
Las evaluaciones en línea, a su vez, tienen la ventaja de ser inmediatas, rápidas y
con la opción de autorregulación de acuerdo a cada ritmo de aprendizaje. Los
investigadores recomiendan que las evaluaciones sobre lectura apelen a un diseño
contextualizado (Mon y Cervera, 2013) y que cada pregunta sobre la lectura busque una
comprensión profunda y significativa (Martínez, Marrujo, Perillo, González y Burin,
2019).
Mapas Mentales Armónicos en digital
Un recurso imprescindible para la estrategia empleada en esta investigación fue el
empleo de los Mapas Mentales Armónicos. Entendidos como la versión mejorada de los
clásicos de Buzan (1996); ya que se elimina una característica negativa como lo
abigarrado del original, y se la reemplaza por lo armónico, logrando que las ramas pierdan
su desorden y ganen una distribución equilibrada y más armoniosa (Novoa, 2019; Novoa
et al, 2018) manteniendo sus características más relevantes como el uso de figuras o íconos
con alta carga semántica (Fernández, Vázquez y López, 2016).
Con estos organizadores de información se pudo recuperar, ordenar y jerarquizar
la información recién adquirida en la lectura. Para su diseño elegimos los digitales, ya que
estos presentan bondades como la organización reticular o bifurcada en tiempo real,
creativa y libre (Apolo, Bayés y Hermann, 2016).
Este organizador está dentro del enfoque cognitivo que tiene últimamente mucha
adhesión en la comunidad educativa (Salazar et al, 2015). Ya que, dentro de los estudios
relacionados con el aprendizaje, los Mapas mentales permiten construir nuevos
conocimientos a partir de la gestión, organización y jerarquización de los mismos
implicando relaciones y sentidos que los vinculan, creando una suerte de imagen mental
de un contenido específico (Campos, 2005; Villalustre y Del Moral, 2010). Asimismo, se
considera didácticamente a los Mapas Mentales como flexibles y efectivos en la tarea de
consolidar aprendizajes (Ortega y Zósimo, 2012), ya que estos organizadores visuales
permiten organizar segmentos específicos de conocimiento de manera interrelacionada.
Para realizar estos esquemas se empleó en esta investigación la plataforma
miMind.
42
Gráfico 2. Organización de lo leído en un Mapa Mental Armónico en digital (miMind)
Objetivos e hipótesis
La investigación se propuso demostrar que ciertos programas y aplicativos de
naturaleza práctica y sencilla, empleados como estrategia digital por parte de los docentes,
influyen de manera positiva en la comprensión lectora de textos narrativos (objetivo
general). Así como en sus dimensiones textual, inferencial y criterial (objetivo específico).
Debido al método hipotético deductivo del presente trabajo se plantearon las
siguientes hipótesis:
1.
La estrategia digital mejora la comprensión de textos narrativos (Hipótesis
general).
2.
La estrategia digital mejora la comprensión textual, inferencial y criterial de textos
narrativos (Hipótesis específica).
Método
Se trabajó con un diseño de investigación experimental del tipo cuasi experimental
de corte transversal, debido a la necesidad de comprobar los efectos de una estrategia
basada en el empleo de ciertos programas y aplicativos digitales y considerando que la
experiencia debía ser de corte transversal. Asimismo, con este diseño metodológico se
puede además de experimentar la estrategia medir su impacto.
Participantes
La investigación se enfocó en una población de 1580 estudiantes de la Facultad de
Educación de la UNMSM, de los cuales se tomó una muestra de 310 participantes (Grupo
control: 160 y Grupo experimental: 150) de edades oscilantes entre los 18 a 27 años, a
través de un muestreo probabilístico simple (Malhotra, 2008). Los seleccionados firmaron
43
un documento de consentimiento informado y se les dio su respectiva devolución de
resultados.
Instrumentos/Materiales
Se emplearon dos narraciones de Borges disponibles en línea (Ciudad Seva): “El
jardín de los senderos que se bifurcan” como lectura para pre test y “El milagro secreto”
como lectura del pos test. Ambos textos de similar complejidad, aunque diferente
extensión de palabras (3747 y 2242). Por ello se asignó un tiempo de lectura de 37 minutos
para el primer cuento y 22 minutos para el segundo.
Se aplicaron tres pruebas tipo PISA para la comprensión de textos narrativos
(Basadas en Novoa, et al, 2018; Novoa, 2019) donde a través de preguntas de alternativa
múltiple se recogía información de comprensión literal, inferencial y criterial: un pre test
en la plataforma Thatquiz, un primer pos test en el entorno Goconqr y un último pos test
en Thatquiz.
Se empleó un breve cuestionario de dos minutos en Kahoot, antes de la lectura; y
luego de la lectura un Mapa Mental Digital a través de la plataforma miMind, durante 15
minutos; se realizó tres actividades lúdicas a través de la plataforma Educaplay: un
crucigrama (10 minutos), una sopa de letras (10 minutos) y un mapa interactivo (5
minutos).
Procedimiento
En la primera clase se efectúa la firma del consentimiento informado, se procede
a la lectura de la lectura “El jardín de los senderos que se bifurcan” y concluida esta, se
aplica el pre test tanto al grupo de Control como al grupo Experimental.
Figura 1. Cuento del Pre test (recortado)
44
Figura 2. Pre test (recortado)
En la segunda clase, se desarrolla con el grupo Experimental una recuperación de
los saberes previos y se busca el conflicto cognitivo a través de un breve cuestionario
Kahoot, donde las dos primeras preguntas son para el recojo de saberes previos,
importante para anclar y relacionar con información nueva; y las dos últimas para
provocar un conflicto cognitivo a partir de la reflexión sobre el tiempo. Tema crucial del
cuento que se irá a leer. El conflicto se plantea a partir de la afirmación de que el hombre
está o no sumido ante el tiempo. Se da como verdadera la aseveración, pero se aprovecha
para ocasionar un desequilibrio en la adquisición de nuevos aprendizajes (Campione,
Brown y Ferrara, 1987; Piaget, 1985; Siegler y Richards, 1989 como se citó en Ugartetxea,
1996).
Figura 3. Breve cuestionario Kahoot (recortado)
45
Terminada la dinámica del Kahoot, se procede a la lectura de “El milagro secreto”.
Terminada esta, se realiza el primer pos test. Se socializa algunas reflexiones de las
preguntas que hayan provocado dudas en los estudiantes. Se realiza una organización de
información a través de la elaboración de un Mapa Mental Armónico en la plataforma
miMind. Se continúa con tres actividades lúdicas que servirán como reforzadoras de
conocimientos nuevos: un crucigrama, para aludir temáticas relacionadas; una sopa de
letras, para reforzar palabras clave y un mapa interactivo que asegurará la secuencia
narrativa del cuento leído. Incorporar lo lúdico en las estrategias para incentivar la
comprensión lectora es importante, ya que permite aminorar la complejidad y dificultad
del proceso de comprensión (Farrach, 2016).
Figura 4. Mapa interactivo Educaplay (recortado)
Finalmente se toma el último pos test.
Figura 5. Último pos test Thatquiz (recortado)
46
Resultados
Se analizó las notas de comprensión de textos narrativos y se les aplicó la prueba
de normalidad.
Tabla 1. Prueba de normalidad de Comprensión de textos narrativos
Kolmogorov-Smirnov
a
test
Estadístico
gl
Sig.
Comprensión de textos
narrativos
pre control
.153
160
.000
pre experimental
.175
150
.000
pos control
.140
160
.000
pos experimental
.174
150
.000
a. Corrección de significación de Lilliefors
Y al ser el p valor de significancia menor que .005, se determinó que los datos
presentaban una distribución no normal. Debido a esto, se estableció como prueba no
paramétrica para la posterior contrastación de hipótesis la U the Mann Whitney.
Resultados descriptivos
Gráfico 3. Resultado de las Pruebas de Comprensión de textos narrativos
Se observa en el Gráfico 3 que en el pre test de Comprensión de textos narrativos
tanto el grupo control como el grupo experimental estuvieron en condiciones similares,
aunque con pequeñas diferencias. En cambio, en el pos test, estas diferencias se
remarcaron en favor del grupo experimental; ya que un importante porcentaje del nivel
bajo ascendió al nivel medio; así como otro gran porcentaje se elevó del medio al nivel
superior.
47
Gráfico 4. Comprensión textual de textos narrativos por pruebas
En el Gráfico 4 se observa que la dimensión Comprensión textual muestra en el
Pre test ligeras diferencias en los niveles bajo y superior. Mientras que en el pos test, hay
una marcada diferencia en favor del grupo Experimental.
Gráfico 5. Comprensión inferencial de textos narrativos por pruebas
48
En el Gráfico 5 se observa que la dimensión Comprensión inferencial muestra en
el Pre test ligeras diferencias en los niveles bajo, medio y superior. Mientras que en el pos
test, hay una marcada diferencia en favor del grupo Experimental en el nivel superior,
pero ninguna en el nivel bajo y más bien una gran ventaja del Grupo de control en el nivel
medio.
Gráfico 6. Comprensión criterial de textos narrativos por pruebas
En el Gráfico 6 se observa que la dimensión Comprensión criterial muestra en el
Pre test ligeras diferencias en los niveles bajo, medio y superior. Mientras que en el pos
test, hay una marcada diferencia en favor del grupo Experimental en el nivel superior; más
no en el medio donde el Grupo control tiene predominancia.
Resultados inferenciales
Prueba de hipótesis general:
H
0
: Las estrategias de aplicación digital no mejoran la comprensión de textos
narrativos
H
i
: Las estrategias de aplicación digital mejoran la comprensión de textos
narrativos
49
Tabla 2. Prueba U de Mann-Whitney para probar la hipótesis general
Rangos
Estadísticos de contraste
Comprensi
ón de textos
narrativos
Test y Grupo
N
Rango
prom.
Suma
rangos
Pre Control
160
162.69
26030.00
U de Mann-Whitney
10850.000
W de Wilcoxon
22175.000
Pre Experimental
150
147.83
22175.00
Z
-1,479
Sig; p. Asintót.
(bilateral)
.139
Pos Control
160
134.88
21580.00
U de Mann-Whitney
8700.000
W de Wilcoxon
21580.000
Pos Experimental
150
177.50
26625.00
Z
-4.216
Sig; p. Asintót.
(bilateral)
.000
Se observa en la tabla 2 que en el pre test de Comprensión de textos narrativos los
rangos del Grupo de Control y el Grupo Experimental no son tan diferenciados. Y que
tanto el valor p. de significancia (mayor que α=.05) y el valor Z (mayor que el límite
crítico -1.96) corroboran que no existen diferencias significativas entre ambos grupos. Sin
embargo, en el Postest, sí hay diferencia marcada en los rangos. Además, se aprecia que
el p. de significancia (mayor que α=.05) y el valor Z (menor que el límite crítico -1.96)
corroboran que existen diferencias significativas entre ambos grupos. Por tanto, se rechaza
la hipótesis nula y se concluye que Las estrategias de aplicación digital mejoran
significativamente la Comprensión de textos narrativos.
Prueba de hipótesis específica
H
0
: Las estrategias de aplicación digital no mejoran la comprensión textual, la
comprensión inferencial y la comprensión criterial de textos narrativos.
H
i
: Las estrategias de aplicación digital no mejoran la comprensión textual, la
comprensión inferencial y la comprensión criterial de textos narrativos.
Tabla 3. Prueba U de Mann-Whitney para probar la hipótesis específica
Rangos
Estadísticos de contraste
Comprensi
ón textual
de textos
narrativos
Test y Grupo
N
Rango
prom.
Suma
rangos
Pre Control
160
162.50
25999.50
U de Mann-Whitney
10880.500
W de Wilcoxon
22205.500
Pre Experimental
150
148.04
22205.50
Z
-1.455
Sig; p. Asintót.
(bilateral)
.146
Pos Control
160
144.32
23091.00
U de Mann-Whitney
10211.000
W de Wilcoxon
23091.000
Pos Experimental
150
167.43
25114.00
Z
-2.306
Sig; p. Asintót.
(bilateral)
.021
Test y Grupo
N
Rango
prom.
Suma
rangos
Pre Control
160
154.57
24730.50
U de Mann-Whitney
11850.500
50
Comprensi
ón
inferencial
de textos
narrativos
W de Wilcoxon
24730.500
Pre Experimental
150
156.50
23474.50
Z
-.194
Sig; p. Asintót.
(bilateral)
.846
Pos Control
160
151.86
24297.00
U de Mann-Whitney
11417.000
W de Wilcoxon
24297.000
Pos Experimental
150
159.39
23908.00
Z
-.758
Sig; p. Asintót.
(bilateral)
.448
Comprensi
ón criterial
de textos
narrativos
Test y Grupo
N
Rango
prom.
Suma
rangos
Pre Control
160
164.28
26285.00
U de Mann-Whitney
10595.000
W de Wilcoxon
21920.000
Pre Experimental
150
146.13
21920.00
Z
-1.845
Sig; p. Asintót.
(bilateral)
.065
Pos Control
160
133.70
21391.50
U de Mann-Whitney
8511.500
W de Wilcoxon
21391.500
Pos Experimental
150
178.76
26813.50
Z
-4.666
Sig; p. Asintót.
(bilateral)
.000
Se observa en la tabla 3 que en el pre test de Comprensión textual, Comprensión
inferencial y Comprensión criterial de textos narrativos los rangos del Grupo de Control
y el Grupo Experimental no son tan diferenciados. Y que tanto el valor p. de significancia
(mayor que α=.05) y el valor Z (mayor que el límite crítico -1.96) corroboran que no
existen diferencias significativas entre ambos grupos. Sin embargo, en el Postest, sí hay
diferencia marcada en los rangos de Comprensión textual y Comprensión criterial de
textos narrativos. Además, se aprecia que el p. de significancia (menor que α=.05) y el
valor Z (menor que el límite crítico -1.96) corroboran que existen diferencias
significativas entre ambos grupos. A excepción de la Comprensión inferencial que
mantuvo tanto sus rangos similares y que tanto su valor p. de significancia y valor Z se
mantuvieron también altos, por ello la influencia en esta dimensión no es significativa.
Por todo lo explicado, se rechaza de manera parcial la hipótesis nula y se concluye que
Las estrategias de aplicación digital mejoran significativamente la Comprensión textual
y Comprensión criterial de textos narrativos.
Discusión
En la presente investigación se puso a prueba algunas actividades en entornos
digitales con el objetivo de que los alumnos lean y comprendan textos narrativos de corta
extensión. La aplicación de este tipo de estrategia ha resultado de gran impacto en la
comprensión de textos narrativos. Estos resultados entran en dialógica controversia con
lo hallado por Pulgar (2016), quien también empleó un diseño cuasi experimental, para
corroborar la significatividad de la incorporación de herramientas TIC como estrategia
para mejorar la comprensión de textos narrativos en estudiantes universitarios. Y concluyó
que el efecto era de un 76.9 % en la comprensión lectora general al término de su
investigación cuasi experimental. La incidencia en comprensión literal fue de 12.8 al 56%;
7.7 al 66 % en la comprensión inferencial; y 23.1 al 41 % en la comprensión criterial.
Resultados significativamente más altos de los hallados en el presente trabajo, pero que
estarían signados por cierto sesgo en el procesamiento de datos al tener una distribución
51
normal y por ende el empleo de pruebas no paramétricas como la T de Student. Asimismo,
se observa que en el programa existe textos que no son narrativos, sino expositivos; y que
a su vez el nivel de dificultad de las lecturas es disímil en su complejidad (el autor escoge
textos muy cortos o fragmentos, mientras que en esta investigación se eligió cuentos
completos de Borges).
Otro referente inmediato es la investigación realizada por Novoa, et al (2018),
quienes encuentran una influencia significativa empleando la versión en físico de la
variante digital empleada en este trabajo: el mapa mental armónico. En dicha
investigación se logra una significatividad (p= .000), comprobando la hipótesis de trabajo,
de que los Mapas Mentales Armónicos influyen significativamente en la comprensión de
textos narrativos.
La importancia de añadir a las estrategias pedagógicas elementos digitales como
el caso de Millalén (2015) quien realizó una investigación cuasi experimental para
comprobar los efectos de la multimodalidad en la comprensión de textos narrativos en
estudiantes universitarios entra en convergencia con lo hallado en esta investigación. El
autor demostró que el grupo experimental sacó un puntaje de 55.6 y el grupo control de
38,8 en comprensión general. Esta ventaja fue verificada por la prueba T de Student
(t=6.381) y una significancia p=.000. Aceptando con esto su hipótesis de trabajo al igual
que en esta investigación. Aunque hay que anotar que el texto era en inglés y orientado a
una segunda lengua.
En este mismo contexto de aprovechamiento de entornos TIC, Hernández (2016)
empleó un enfoque mixto para comprobar que la comprensión de textos narrativos mejora
a través de una biblioteca digital y una plataforma virtual (Edmodo). El autor comprobó
que existió una mejora relevante en los niveles sintáctico, semántico y pragmático. En
este caso, la presente investigación coincide también en la influencia positiva, pero no en
los instrumentos empleados, ni en las dimensiones, ya que el presente trabajo optó por las
canónicas que son comprensión literal, inferencial y criterial.
Con relación a la lectura y comprensión en entornos digitales, el presente trabajo
encontró mejores resultados en el grupo experimental que tuvo una permanente actividad
en entornos digitales. Estos hallazgos complementan los resultados de Rodríguez y
Vargas (2017), quienes encontraron ligeras ventajas en la interpretación de textos
narrativos de los participantes que emplearon cuadernos digitales con los que emplearon
entornos tradicionales.
En conclusión, la presente investigación brinda la posibilidad de realizar un
conjunto de estrategias combinadas tanto antes y después de la lectura de un texto
narrativo y poder mejorar los resultados de su comprensión. Estas estrategias por lo
general son intuitivas, flexibles y sobre todo activas. Y constituyen una vertiente aún no
estudiada a profundidad sobre la comprensión de textos narrativos mediados por
estrategias digitales en el ámbito universitario.
52
Conclusiones
Se comprobó que el empleo de una estrategia digital basada en el empleo de
programas y aplicaciones virtuales de manera transversal (uno o dos días) tiene un efecto
significativo en la comprensión de textos narrativos.
Se evidenció que hubo mejora en las dimensiones de comprensión textual y
comprensión criterial, pero que no se consiguió la significancia en la comprensión
inferencial, muy probablemente por el hecho de que exista un apresuramiento en las
deducciones de los participantes, situación muy común en la juventud de estos tiempos.
Se demostró que el uso de programas y aplicativos digitales de empleo intuitivo y
de poca complejidad e intromisión en las actividades educativas, tienen buenos resultados
tanto en su aplicabilidad como en los resultados que evidencian mejoría.
Referencias
Acevedo, V. M., Cabana P. y Martínez V. L (2013). Estrategias pedagógicas para el
desarrollo de procesos lectores y escriturales orientados a la articulación entre
el nivel preescolar y la básica primaria (Tesis Doctoral). Recuperado de
http://hdl.handle.net/11227/5364
Apolo, D., Bayés, M. y Hermann, A. (2016). Cambios educativos en los procesos de
lectura digital: la pedagogía del ciberespacio como estrategia de procesamiento
de contenidos en la era de internet. Revista de Estudios para el Desarrollo Social
de la Comunicación, (12), 222. Recuperado de
http://dx.doi.org/10.15213/redes.n12.p222
Arciniega T. R. y Chiriboga L. J. (2015). Comprensión lectora de fábulas para la
formación de valores enfocados en el buen vivir en los alumnos del cuarto grado
de las escuelas Mercedes Troya de Suárez y Víctor Manuel Peñaherrera de la
ciudad de Ibarra en el año lectivo 2012¿ 2013. Propuesta alternativa (Tesis de
Bachiller). Recuperado de http://repositorio.utn.edu.ec/handle/123456789/4008
Barthes, R. (1966). Introducción al análisis estructural del relato. Tiempo
Contemporáneo: Buenos Aires, Argentina.
Benítez, L., Barajas, V., Uresti, H. y Nallehly, I. (2014). Efecto de la aplicación de una
estrategia de comprensión de lectura en un entorno virtual. Revista electrónica de
investigación educativa, 16(3), 71-87. Recuperado de
http://www.scielo.org.mx/scielo.php?pid=S1607-
40412014000300005yscript=sci_arttextytlng=en
Blandón, M. V. y Restrepo, L. F. (2015). La comprensión de textos narrativos:
implementación de una secuencia didáctica de enfoque comunicativo, con
estudiantes de grado segundo (Tesis doctoral). Recuperado de
https://core.ac.uk/download/pdf/71399434.pdf
Bravo, E. (2012). Globalización, innovación tecnológica y pobreza. Aproximación a las
nuevas conceptualizaciones en Latinoamérica. Espacio abierto, 21(3), 543-556.
Recuperado de https://www.redalyc.org/pdf/122/12223296007.pdf
Burin, D., Coccimiglio, Y., González, F. y Bulla, J. (2016). Desarrollos recientes sobre
53
habilidades digitales y comprensión lectora en entornos digitales. Psicología,
Conocimiento y Sociedad, 6(1), 191-206. Recuperado de
https://www.redalyc.org/jatsRepo/4758/475848615009/475848615009.pdf
Buzan, T. (1996): El libro de los mapas mentales. Editorial Urano. Barcelona, España.
Calderón, M. M. y Quesada, C. A. (2016). Los mapas mentales como estrategia didáctica
para el mejoramiento de la comprensión lectora en textos narrativos. Recuperado
de https://repository.unilibre.edu.co/handle/10901/8227
Campos, A. (2005): Mapas conceptuales, mapas mentales y otras formas de
representación del conocimiento. Cooperativa Editorial Magisterio: Bogotá,
Colombia.
Fernández, M. E., Vázquez, C. E. y López, M. E. (2016). Los mapas conceptuales
multimedia en la educación universitaria: recursos para el aprendizaje
significativo. Campus Virtuales, 5(1), 10-18. Recuperado de
http://uajournals.com/ojs/index.php/campusvirtuales/article/view/100/99
Cordón, G. J. (2016). La investigación sobre lectura en el entorno digital. MEI: Métodos
de información, 7(13), 247-268. Recuperado de
http://dx.doi.org/10.5557/IIMEI7-N13-247268
Ugartetxea, G. J. (1996). La orientación metacognitiva. Un estudio sobre la capacidad
transferencial de la metacognición y su influencia en el rendimiento
intelectual. Revista de Psicodidáctica, (1), 27-53. Recuperado de
https://www.redalyc.org/pdf/175/17517758004.pdf
Hernández, A. J. (2016) Mejoramiento de la comprensión de textos narrativos mediante
la implementación del recurso educativo abierto Biblioteca Digital Ciudad Seva
a través de la plataforma digital Edmodo (Tesis de Maestría). Recuperado de
https://repository.javeriana.edu.co/bitstream/handle/10554/20434/HernandezAri
asJorgeEnrique2016.pdf?sequence=1yisAllowed=y
Malhotra, N. (2008). Investigación de Mercados (5ª ed.). Pearson Educación de México:
Naucalpan de Juárez, México.
Martínez, M., Marrujo, J., Perillo, M., González, F. y Burin, D. (2019). Comprensión de
texto en E-learning: estrategias de soporte y memoria de trabajo. Ocnos: Revista
de estudios sobre lectura, 18(2), 31-43. Recuperado de
http://dx.doi.org/10.18239/ocnos_2019.18.2.1988
Mendoza, C. S., García, S. L. Guzmán, O. M. (2018). El uso de Goconqr como
herramienta que fortalece la formación profesional. Recuperado de
http://www.conisen.mx/memorias2018/memorias/5/P814.pdf
Millalén, F. V. (2015). Impacto de la multimodalidad en la comprensión lectora de textos
narrativos en inglés como lengua extranjera (L2) en estudiantes
universitarios. Contextos educativos: Revista de educación, (18), 25-41.
Recuperado de https://dialnet.unirioja.es/descarga/articulo/5080744.pdf
Mon, F. E. y Cervera, M. G. (2013). Competencia digital en la educación superior:
instrumentos de evaluación y nuevos entornos. Enl@ ce: Revista Venezolana de
Información, Tecnología y Conocimiento, 10(3), 29-43. Recuperado de
https://www.redalyc.org/pdf/823/82329477003.pdf
Novoa, C. P. (2019) El Mapa mental armónico en la comprensión y producción de textos
narrativos en estudiantes de pregrado de la UCV (Tesis doctoral). Recuperado de
http://repositorio.ucv.edu.pe/handle/UCV/35546
Novoa, C. P., Cancino Verde, Francisca, R., Flores Sotelo, W. S. y Nieto Gamboa, J.
54
(2018). El Mapa Mental Armónico en la comprensión de textos narrativos en
estudiantes universitarios. Propósitos y Representaciones, 6(2), 541-573.
Recuperado de http://dx.doi.org/10.20511/pyr2018.v6n2.243.
Ortega, O. y Zózimo, R. (2012). Comprensión lectora, hábitos de estudio y rendimiento
académico en estudiantes de primer año de una universidad privada de Lima
Metropolitana (Tesis de Maestría). Recuperado de
http://cybertesis.unmsm.edu.pe/handle/cybertesis/2738
Pérez-Rodríguez, A. y Ponce, Á. D. (2012). De la competencia digital y audiovisual a la
competencia mediática: dimensiones e indicadores. Comunicar: Revista
Científica de Comunicación y Educación, 20(39), 25-34. Recuperado de
https://doi.org/10.3916/C39-2012-02-02
Piovano, S. y Burin, D. (2014). Comprensión y metacomprensión de los textos
expositivos: Comparación experimental entre soporte impreso y el e-book reader.
Recuperado de https://www.oei.es/historico/congreso2014/memoriactei/324.pdf
Ponce, H., López, M., Labra, J., Brugerolles, J. P. y Tirado, C. (2007). Evaluación
experimental de un programa virtual de entrenamiento en lectura significativa (E-
PELS). Recuperado de
http://repositorio.ual.es/bitstream/handle/10835/599/Art_12_169.pdf?sequence=
1
Pulgar, F. M. (2016). Incorporación de las herramientas tics para incrementar la
comprensión lectora de textos narrativos en los estudiantes de primer ciclo de la
facultad de derecho de una universidad privada de Lima. Recuperado de
http://cort.as/-SpWs
Ramos, F. M. (2007). Nuevos avances en el estudio científico de la comprensión de
textos. Universitas Psychologica, 6(2), 331-343. Recuperado de
https://www.redalyc.org/pdf/647/64760212.pdf
Rodríguez, G. A. (2005). Lectura e internet: dos tecnologías. Investigación
bibliotecológica, 19(38), 11-32. Recuperado de
http://www.scielo.org.mx/pdf/ib/v19n38/v19n38a2.pdf
Rodríguez, R. A. y Vargas, A. C. H. (2017). Diferenciación de la interpretación de textos
narrativos en la modalidad cuadernos digitales vs. ambientes tradicionales.
Experiencias Investigativas y Significativas, 3(3). Recuperado de
https://experiencias.iejuliussieber.edu.co/index.php/Exp-inv/article/view/23/13
Romero, L. (2014). Lectura tradicional versus lectura digital. Correspondencias y
análisis, (4), 63-75. Recuperado de https://doi.org/10.24265/cian.2014.n4.03
Salazar, S. A., Sevilla, R.O., González, P. B., Mendoza, A. C., Echeverri, G. A., Quecán,
C. D., Pardo, R.L, Angulo, A. M., Silva, G. J. y Lozano, R. M. (2015). Lectura y
escritura en la universidad: contribución para reconstruir una historia. Magis.
Revista Internacional de Investigación en Educación, 8(16), 51-70. Recuperado
de https://doi.org/10.11144/Javeriana.m8-16.leuc
Saldarriaga, M. L. (2017). Fortalecimiento de la comprensión inferencial a través de
textos narrativos con contenido social (Tesis de licenciatura). Recuperado de
http://hdl.handle.net/20.500.12209/7732
Thorne, C., Morla, K., Uccelli, P., Nakano, T., Mauchi, B., Landeo, L., Vásquez, A. y
Huerta, R. (2013). Efecto de una plataforma virtual en comprensión de lectura y
vocabulario: Una alternativa para mejorar las capacidades lectoras en
primaria. Revista de Psicología (PUCP), 31(1), 3-35. Recuperado de
55
http://www.scielo.org.pe/pdf/psico/v31n1/a01v31n1.pdf
Farrach, U. G. (2016). Estrategias metodológicas para fomentar la comprensión
lectora. Revista Científica de FAREM-Estelí, (20), 5-19. Recuperado de
https://doi.org/10.5377/farem.v0i20.3064
Villalustre, M. L. y Del Moral, P. M. (2010). Mapas conceptuales, mapas mentales y
líneas temporales: objetos “de” aprendizaje y “para” el aprendizaje en
Ruralnet. Revista Latinoamericana de Tecnología Educativa-RELATEC, 9(1),
15-27. Recuperado de https://relatec.unex.es/article/view/602/434
Anexo
Tabla 4. Matriz de las pruebas PISA Comprensión de textos narrativos
Dimensiones
INDICADORES
ITEMS Pre
test
ITEMS Pos test
Nivel
textual
Identifica personajes principales y
secundarios del texto leído.
1, 2, 8 (15 %)
1,2,7,8 (
20 %
)
Reconoce sucesos importantes de la
narración.
3,4,5,7
(
20 %
)
3, 4, 5 (15 %)
Contextualiza en el espacio y en el
tiempo lo narrado.
6 (5 %)
6(
5 %
)
Total literal
8(40 %)
8(40 %)
Nivel
inferencial
Deduce conclusiones a partir de las
ideas expuestas del texto leído.
9 (5 %)
9, 15 (10 %)
Realiza inferencias a partir de la
información brindada por el texto.
10,12,15 16
(
20 %
)
10, 13, 16 (15 %)
Interpreta simbologías y /o
representaciones alegóricas del texto.
11 (5 %)
11, 12(
10 %
)
Reconoce el tema, las ideas principales
y secundarias.
13, 14(10 %)
14(5 %)
Total inferencial
8(40 %)
8(40 %)
Nivel
valorativo
Valora críticamente tanto el texto como
el rol narrativo de los personajes del
texto leído.
17(5 %)
17(5 %)
Aprecia el estilo y forma de la
narración.
18, 20 (10 %)
19, 20
(10 %)
Comenta algún suceso específico que le
haya parecido interesante.
19 (5 %)
18 (5 %)
Total crítico-valorativo
4(20 %)
4(20 %)
Total
20(100 %)
20(100 %)
56
Novoa, P. F. (2019). Digital application strategies in understanding narrative texts.
Investigaciones Sobre Lectura, 11, 56-73. DOI 10.37132/isl.v0i11.277
Number 11
2019 June
Digital application strategies in understanding
narrative texts
Pedro Félix Novoa Castillo
Universidad Nacional Mayor de San Marcos/
Universidad César Vallejo
https://orcid.org/0000-0003-2186-7458
Received: 03-03-2019
Accepted: 25-04-2019
Pag. 56 to 73
Abstract:
Keywords
Understanding narrative
texts; E-learning; Reading
strategies; Digital reading.
The poor reading comprehension in
the university sector requires a
necessary alternative solution from
the didactic. Therefore, digital
application strategies are an
interesting solution proposal. The
objective of this research was to
determine the influence of a set of
applications and programs used as a
teaching strategy in the process of
reading and understanding narrative
texts. To verify this, a pre and two
post test (PISA adaptations, 2015)
was applied to a sample of 310:
control (160) and experimental (150).
The results reflected significant
differences in understanding, in the
results of the evaluation of entry and exit
according to study groups. Therefore, it
was concluded that Digital Application
Strategies significantly improve the
understanding of narrative texts.
57
Introduction
In this research we sought to verify the influence of a digital strategy in the
understanding of narrative texts by university students. Because of this, we focused on
proposing activities that would have to have, in one or two classes at most, some intense
examination of the relevance of virtual resources, programs and applications for
achieving literal, inferential, and criteria understanding. The readings used were two
stories by Jorge Luis Borges: “The garden of the paths that bifurcate” and “The secret
miracle.”
Research on text comprehension is lush and yet the results remain tentative and
preliminary regarding an effective solution to where there is little or no reading
comprehension. Unfortunately, there is a marked bias to not take narrative texts into
account, underestimating their flexibility, and avoiding or stereotyping their relevance.
Those who approach them reduce the narrative text to mere entertainment without
analysis or verification of understanding. And those who study prefer to use
argumentative or expository texts, assuming superior rigor, wasting the narrative enclave
in current communications, as they are the basis of these times in communication. And
also, not taking advantage of narrative texts that are short of extension are complex as the
works of Borges.
Finally, when choosing a quasi-experimental design, the present research
proposes a cross-section of the research, assuming that only in theses (and very little in
articles) are the approaches of the experiments that seek to influence the understanding
of the texts observed. There is also a bit of specific research approach with university
students in relation to narrative texts. For all this, this work assumes to contribute with
results that motivate people to continue fighting for a society that understands what it
reads, so to also understand what it is living.
Reading and Understanding in Digital Environments
Reading in a physical or in digital environment creates a great pedagogical
dilemma in its use in both media. The physical texts are concrete and fixed to the
environment that facilitates it; while digital is intangible and virtual (Cordón, 2016).
These differences disturbed the intellectuals who thought they could become precarious
not only the reading itself, but their understanding. However, Piovano & Burin (2014)
have found no differences in understanding. In spite of this, users and specialists have
noted that there is a great qualitative difference between reading in physical and in a
digital environment when it comes to bulky texts. In fact, in this type of reading the
monotonous light of the screens causes a visual fatigue in the reader. It can even cause
“dry eye” because of its excessive exposure. Also, if the reading is given on mobile
devices, this reduces the holistic vision of an entire page as in a specific book reading.
Even so, the studies were decanting these disadvantages as simple peculiarities,
understanding that each of them had their own characteristics and therefore their intrinsic
advantages and disadvantages.
For some pro-digital researchers, virtual reading on electronic devices meant more
58
interaction and dynamism than reading on simple pages. But that was not why they lacked
disruptive elements. In order to avoid cognitive overload, the digital reader had to have
specific skills to take advantage of all the advantages of virtual text and reduce its
disadvantages (Cordón, 2016). In this same sense, Romero (2014) states that it is
necessary for readers to be effective readers who relate to the writing in a more fluid,
effective, and constant way. Skills such as design, search, and navigation (Fajardo et al.;
Wu, 2014 cited in Burin et al., 2016). This is why this research has highlighted the design
of activities that take into account the interactive and previous knowledge (Martínez et
al., 2019) as well as the search for cognitive conflict to round understanding.
Understanding Narrative Texts
Understanding a text is understood as a mental exercise that involves effort and
the approach of an intellectual purpose (Ramos, 2007), along with a kind of interaction
between reader and text in actively building a certain intellection (Blandón & Restrepo,
2015). If the text to be understood is of the narrative type, the succession of events, the
situation and setting of each character involved in a story will be taken into account
(Calderón & Quesada, 2016) along a time sequence (Saldarriaga, 2017). The narrative is
the type of holistic text par excellence, since within it are other types of text, both today
and since the beginning of time (Barthes, 1996).
It is important to underline that within the most read texts we have novels and
stories. The first, the novels, are the most voluminous and are therefore related to a
physical support par excellence. This is unlike the latter, which can be accessed more
easily both physically, but especially digitally, because of their short length. However,
they are not being used as they should, since, according to Salazar et al. (2015), only 6 %
of texts is established for reviewing short stories as short stories.
Short narrative texts are usually used as an induction to more complex and far-
reaching later readings. They have been used in the transition from the reader from Bisoño
to the most used reader (Acevedo et al., 2013; Arciniega & Chiriboga, 2015). However,
they should not be reduced to considering narratives as providing simple links from the
simple to the complex or from the short to the extensive, since they can be short and
complex in themselves. In addition, they are, in these times, the most used communication
vehicles, especially on digital platforms.
This is why this study has used the stories “The Secret Miracle” and “The Garden
of Paths that Fork.” They are two short stories by Borges, who is considered to be a writer
who is characterized by his conciseness and complexity.
Level of Impact of Digital Programs and Applications
To work both reading and subsequent understanding, a didactic strategy was
chosen that took into account the levels of impact of technology in education. According
to Puentedura (2006) and López (2015) as cited in Mendoza et al. (2018), this impact can
include: (1) improving and transforming with a moderate substitution of the physical for
the digital; (2) increasing the real in the virtual with a direct and functional substitution;
59
(3) modifying the real in the virtual with a direct, functional substitution and the use of
specific didactic strategies; and (4) modification of the real in the virtual with a
substitution and the use of ICT tools in the creation of new learning.
In this investigation, the third level of impact was chosen. This was because both
the programs and applications used sought a direct replacement of physical reading with
a virtual one in a functional way, as well as the use of specific didactic strategies to
perform specific pedagogical processes such as collecting prior knowledge, cognitive
conflict, recovery and organization of information, and evaluation of reading
comprehension.
The criteria for choosing the applications and programs were the ones that were
most intuitive and did not imply cognitive overload or require much difficulty for their
access or sophistication in their processing; since, in some occasions, the ICT tools
instead of being a means, are involuntarily transformed into an end in themselves (Levis,
2016 cited in Pérez-Rodríguez & Ponce, 2012). This was in addition to having, in most
cases, economic conditions for their subscriptions.
Therefore, this research used the following programs and applications: Seva,
Kahoot, miMind, Educaplay, Goconqr, and Thatquiz digital library. The Seva Digital
Library was used to access the two stories used in this work. Kahoot was used for the
collection of previous knowledge and cognitive conflict. miMind was ideal for retrieving
and organizing information in Harmonic Mind Maps. The Educaplay platform was very
important for the design and application of post-reading recreational activities such as
word search, crossword puzzles, and interactive maps. Finally, both Goconqr and
Thatquiz served to evaluate the readings.
Graph 1. Design of tests in Thatquiz (cutted back)
It is necessary to note that the use of technology in education is still low. Salazar
et al. (2015) revealed that only 6 % of schools used electronic devices for educational
purposes in Colombia. It should be added that, due to poverty, the technological gap in
Latin America is greater (Bravo, 2012; Rodríguez, 2005) that other countries and
60
precisely because of this, the requirement for teachers to make the most of the available
resources. It is in this context that strategies in digital environments become the ideal
means to positively influence learning.
After ensuring learning, the immediate thing is evaluation. For this, this work
opted for online tests. Modality, according to Thorne et al. (2013) and Ponce et al. (2007)
is an alternative that, if well used, can improve results. In this investigation, a pretest and
two posttests (one previous and one definitive) were applied, with the understanding that
carrying out an additional evaluation as an essay offers additional security of improving
the total understanding of the text read (Benítez et al., 2014).
Online assessments, in turn, have the advantage of being immediate, fast, and with
the option of self-regulation according to each learning pace. The researchers recommend
that reading assessments appeal to a contextualized design (Mon & Cervera, 2013) and
that each question about reading seeks a deep and meaningful understanding (Martínez
et al. 2019).
Harmonic Mind Maps in Digital
An essential resource for the strategy used in this research was the use of
Harmonic Mind Maps. These are understood to be improved version of the Buzan classics
(1996), since a negative characteristic is eliminated as the motley of the original, and it is
replaced by the harmonic, making the branches lose their disorder and gain a balanced
and more harmonious distribution (Novoa, 2019; Novoa et al., 2018), maintaining their
characteristics in a more relevant way, as the new maps use figures or icons with a high
semantic load (Fernández et al., 2016).
With these information organizers it was possible to retrieve, sort, and rank the
newly acquired information in the reading. For design the strategy we chose that digital
resource, since these present benefits, such as the reticular or bifurcated organization in
real time, creative and free (Apollo et al., 2016).
This organizer is within the cognitive approach that lately has a lot of adherence
in the educational community (Salazar et al., 2015). This is because within the studies
related to learning, the Mind Maps allow for the construction of new knowledge based
on their management, organization, and hierarchy, involving relationships and senses that
link them, creating a kind of mental image of a specific content (Campos, 2005;
Villalustre & Del Moral, 2010). Likewise, the Mind Maps are considered didactically as
flexible and effective in the task of consolidating learning (Ortega & Zósimo, 2012), since
these visual organizers allow to organize specific segments of knowledge in an
interrelated way.
To perform these schemes, the miMind platform was used in this investigation.
61
Graph 2. Organization of what is read in a Harmonic Mind Map in digital (miMind)
Objectives and Hypotheses
The research aimed to demonstrate that certain programs and applications of a
practical and simple nature, used as a digital strategy by teachers, positively influence the
reading comprehension of narrative texts (general objective), including in its textual,
inferential, and criterial dimensions (specific objective).
Due to the hypothetical deductive method of the present work, the following
hypotheses were raised:
1.
The digital strategy improves the understanding of narrative texts (general
hypothesis).
2.
The digital strategy improves the textual, inferential, and criterial understanding
of narrative texts (specific hypothesis).
Method
Type of study: We worked with an experimental research design of the quasi-
experimental type of cross-section, due to the need to verify the effects of a strategy based
on the use of certain digital programs and applications and considering that the experience
should be cutting cross. Also, with this methodological design you can also experience
the strategy to measure its impact.
Participants
The research focused on a population of 1580 students of the Faculty of Education
of the UNMSM, of which a sample of 310 participants was taken (Control Group: 160
and Experimental Group: 150) of oscillating ages between 18 to 27 years, through a
simple probabilistic sampling (Malhotra, 2008). Those selected signed an informed
consent document and were given their respective return of results.
62
Instruments/Materials
Two Borges narratives available online (Ciudad Seva) were used: “The Garden of
the Paths That Fork” as a pretest reading and “The Secret Miracle” as a posttest reading.
Both texts are of similar complexity, although they have different word counts (3747 and
2242). Therefore, a reading time of 37 minutes was assigned for the first story and 22
minutes for the second.
Three PISA-type tests were applied for the comprehension of narrative texts
(Based on Novoa et al., 2018; Novoa, 2019) where, through multiple alternative
questions, information on literal, inferential, and criterial understanding was collected: a
pretest in the Thatquiz platform, a first posttest in the Goconqr environment and a last
posttest in Thatquiz.
A short two-minute questionnaire was used in Kahoot, before reading; and after
reading a Digital Mind Map through the miMind platform, for 15 minutes; Three
recreational activities were carried out through the Educaplay platform: a crossword
puzzle (10 minutes), a word search (10 minutes), and an interactive map (5 minutes).
Procedure
In the first class, the signature of the informed consent is made, the text “The
Garden of the Bifurcated Paths” is read and afterward, the pretest is applied to both the
Control Group and the Experimental Group.
Figure 1. Pre test Tale (cutted back)
63
Figure 2. Pre test (cutted back)
In the second class, a recovery of the previous knowledge is developed with the
Experimental Group and cognitive conflict is sought through a brief Kahoot
questionnaire, where the first two questions are for the collection of previous knowledge,
which is important to anchor and relate to new information; and the last two to provoke
a cognitive conflict from reflection on time, crucial theme of the story to be read. The
conflict arises from the statement that man is or is not mired in time. The statement is
true, but it is used to cause an imbalance in the acquisition of new learning (Campione et
al., 1987; Piaget, 1985; Siegler & Richards, 1989 as cited in Ugartetxea, 1996).
Figure 3. Brief Kahoot questionnaire (cutted back)
After the dynamics of Kahoot, we proceed to read “The Secret Miracle.” After
this, the first posttest is carried out. Some reflections on the questions that have raised
doubts in the students are socialized. An information organization is made through the
development of a Harmonic Mind Map on the miMind platform. It continues with three
recreational activities that will serve as reinforcers of new knowledge: a crossword
puzzle, to refer to related topics; a soup of letters, to reinforce keywords; and an
64
interactive map that will ensure the narrative sequence of the story read. Incorporating
playfulness into strategies to encourage reading comprehension is important, since it
allows a reduction of the complexity and difficulty of the comprehension process
(Farrach, 2016).
Figure 4. Educaplay interactive map (cutted back)
Finally the last post test is taken.
Figure 5. Thatquiz last post test (cutted back)
Results
The narrative text comprehension notes were analyzed and the normality test was
applied.
Table 1. Normality test of comprehension of narrative text
Kolmogorov-Smirnov
a
test
Statistics
gl
Sig.
Narrative texts
comprehension
pre control
.153
160
.000
pre experimental
.175
150
.000
pos control
.140
160
.000
pos experimental
.174
150
.000
a. Lilliefors significance correction
And since the p value of significance was less than .005, it was determined that
65
the data presented a non-normal distribution. Because of this, the Mann-Whitney U test
was established as a non-parametric test for subsequent hypothesis testing.
Graph 3. Result of the Comprehension Tests of narrative texts
It is observed in Graph 3 that in the pretest of comprehension of narrative texts
both the Control Group and the Experimental Group were in similar conditions, although
with small differences. In contrast, in the posttest, these differences were highlighted in
favor of the Experimental Group, since a significant percentage of the low level rose to a
medium level and another large percentage rose from the middle to the upper level.
Graph 4. Textual comprehension of narrative texts by evidence
Figure 4 shows that the Textual Understanding dimension in the pretest shows
slight differences in the lower and upper levels, while in the posttest, there is a marked
difference in favor of the Experimental Group.
66
Graph 5. Inferential understanding of narrative texts by evidence
Graph 5 shows that the inferential understanding dimension in the pretest shows
slight differences in the low, medium, and higher levels, while in the posttest, there is a
marked difference in favor of the Experimental Group at the upper level, but none at the
low level; there is a rather great advantage of the Control Group at the medium level.
Graph 6. Criterial comprehension of narrative texts by evidence
Graph 6 shows that the criterion comprehension dimension in the pretest shows
slight differences in the low, medium, and higher levels, while in the posttest, there is a
67
marked difference in favor of the Experimental Group at the upper level; but not in the
middle, where the Control Group has a predominance.
Inferential results
General hypothesis test:
H
0
: Digital application strategies do not improve the understanding of narrative
texts.
H
i
: Digital application strategies improve understanding of narrative texts.
Tabla 2. Prueba U de Mann-Whitney para probar la hipótesis general
Ranges
Contrast statistics
Narrative
texts
comprehen
sion
Test y Grupo
N
Rango
prom.
Suma
rangos
Pre Control
160
162.69
26030.00
U de Mann-Whitney
10850.000
W de Wilcoxon
22175.000
Pre Experimental
150
147.83
22175.00
Z
-1.479
Sig; p. Asintót.
(bilateral)
.139
Pos Control
160
134.88
21580.00
U de Mann-Whitney
8700.000
W de Wilcoxon
21580.000
Pos Experimental
150
177.50
26625.00
Z
-4.216
Sig; p. Asintót.
(bilateral)
.000
It is observed in Table 2 that in the pretest of comprehension of narrative texts,
the ranges of the Control Group and the Experimental Group are not so differentiated. In
addition, both the p value of significance (greater than α=.05) and the Z value (greater
than the critical limit -1.96) confirm that there are no significant differences between the
two groups. However, in the posttest, there is a marked difference in the ranges. In
addition, it is appreciated that p. of significance (greater than α=.05) and the Z value (less
than the critical limit -1.96) confirm that there are significant differences between both
groups. Therefore, the null hypothesis is rejected and it is concluded that Digital
application strategies significantly improve the comprehension of narrative texts.
Specific hypothesis test
H
0
: Digital application strategies do not improve textual comprehension,
inferential understanding, and criterial comprehension of narrative texts.
H
i
: Digital application strategies do not improve text comprehension, inferential
understanding, and criterial comprehension of narrative texts.
It is observed in Table 3 that in the pretest of textual comprehension, inferential
comprehension, and criterial comprehension of narrative texts, the ranks of the Control
Group and the Experimental Group are not so differentiated. In addition, both the p value
of significance (greater than α=.05) and the Z value (greater than the critical limit -1.96)
confirm that there are no significant differences between the two groups. However, in the
posttest, there is a marked difference in the ranges of textual comprehension and criterial
68
comprehension of narrative texts. In addition, it is appreciated that the p of significance
(less than α=.05) and the Z value (less than the critical limit -1.96) corroborate that there
are significant differences between both groups. This is except for inferential
understanding, which maintained both its similar ranks and that both its p value of
significance and value Z also remained high, so the influence in this dimension is not
significant. For all these reasons, the null hypothesis is partially rejected and it is
concluded that Digital application strategies significantly improve textual comprehension
and criterial comprehension of narrative texts.
Discussion
In the present investigation, some activities were tested in digital environments
with the objective that students read and understand short narrative texts. The application
of this type of strategy has been of great impact in the understanding of narrative texts.
These results enter into a dialogic controversy with what was found by Pulgar (2016),
who also used a quasi-experimental design to corroborate the significance of the
incorporation of ICT tools as a strategy to improve the understanding of narrative texts
in university students. He concluded that the effect was 76.9 % in general reading
comprehension at the end of his quasi-experimental investigation. The incidence in literal
comprehension was from 12.8 to 56 %; 7.7 to 66 % in inferential understanding; and 23.1
to 41 % in criterial understanding. These results are significantly higher than those found
in the present work; however, that would be signified by a certain bias in the data
processing when having a normal distribution and therefore the use of non-parametric
tests such as the Student’s T-test. Also, it is observed that in the program used in Pulgar’s
study there are texts that are not narrative, but expository; and that in turn the level of
difficulty of the readings is dissimilar in their complexity (the author chooses very short
texts or fragments, while in this investigation Borges’ complete stories were chosen).
Another immediate reference is the research carried out by Novoa et al. (2018),
who find a significant influence using the physical version of the digital variant used in
this work: the harmonic mental map. In this research a significance is achieved (p=.000),
checking the working hypothesis, that the Harmonic Mind Maps significantly influence
the understanding of narrative texts.
The importance of adding digital elements to the pedagogical strategies, such as
in the case of Millalén (2015), who carried out a quasi-experimental investigation to
verify the effects of multimodality in the understanding of narrative texts in university
students comes into convergence with what was found in this research. The author
showed that the Experimental Group scored 55.6 and the Control Group 38.8 in general
understanding. This advantage was verified by the Student’s T-test (t=6.381) and a
significance of p=.000, accepting with this our working hypothesis as in this
investigation. However, it should be noted that in Millalén’s study, the text was in English
and oriented to a second language.
In this same context of taking advantage of ICT environments, Hernández (2016)
used a mixed approach to verify that the comprehension of narrative texts improves
through a digital library and a virtual platform (Edmodo). The author proved that there
was a relevant improvement in the syntactic, semantic, and pragmatic levels. In this case,
69
the present investigation also coincides in the positive influence, but not in the
instruments used, on in the dimensions, since the present work opted for the canonical
instruments, which are literal, inferential, and criterial understanding.
With regard to reading and understanding in digital environments, the present
work found better results in the Experimental Group, which had a permanent activity in
digital environments. These findings complement the results of Rodríguez & Vargas
(2017), who found slight advantages in the interpretation of narrative texts of the
participants who used digital notebooks with those who used traditional environments.
In conclusion, this research offers the possibility of carrying out a set of combined
strategies both before and after reading a narrative text and improving the results of
understanding. These strategies are usually intuitive, flexible, and especially active, and
they constitute an aspect not yet studied in depth in relation to the understanding of
narrative texts mediated by digital strategies in the university environment.
Conclusions
It was found that the use of a digital strategy based on the use of virtual programs
and applications in a transversal way (one or two days) has a significant effect on the
understanding of narrative texts.
It was evidenced that there was improvement in the dimensions of textual
comprehension and criterial comprehension, but that the significance in the inferential
understanding was not achieved, most likely due to the fact that there is a rush in the
deductions of the participants, a very common situation in youth of these times.
It was demonstrated that the use of digital programs and applications that are
intuitive to use and of little complexity and which have low interference in educational
activities have good results both in their applicability and in the results that show
improvement.
References
Acevedo, V. M., Cabana P., & Martínez V. L (2013). Estrategias pedagógicas para el
desarrollo de procesos lectores y escriturales orientados a la articulación entre
el nivel preescolar y la básica primaria (Thesis). Recovered from
http://hdl.handle.net/11227/5364
Arciniega T. R., & Chiriboga L. J. (2015). Comprensión lectora de fábulas para la
formación de valores enfocados en el buen vivir en los alumnos del cuarto grado
de las escuelas Mercedes Troya de Suárez y Víctor Manuel Peñaherrera de la
ciudad de Ibarra en el año lectivo 2012¿ 2013. Propuesta alternativa (Tesis de
Bachiller). Recuperado de http://repositorio.utn.edu.ec/handle/123456789/4008
Apolo, D., Bayés, M., & Hermann, A. (2016). Cambios educativos en los procesos de
lectura digital: la pedagogía del ciberespacio como estrategia de procesamiento
de contenidos en la era de internet. Revista de Estudios para el Desarrollo Social
de la Comunicación, (12), 222 en http://dx.doi.org/10.15213/redes.n12.p222
Barthes, R. (1966). Introducción al análisis estructural del relato. Buenos Aires. Tiempo
70
Contemporáneo.
Benítez, L., Barajas, V., Uresti, H., & Nallehly, I. (2014). Efecto de la aplicación de una
estrategia de comprensión de lectura en un entorno virtual. Revista electrónica
de investigación educativa, 16(3), 71-87. Recovered from
http://www.scielo.org.mx/scielo.php?pid=S1607-
40412014000300005yscript=sci_arttextytlng=en
Blandón, M. V., & Restrepo, L. F. (2015). La comprensión de textos narrativos:
implementación de una secuencia didáctica de enfoque comunicativo, con
estudiantes de grado segundo (Tesis doctoral). Recovered from
https://core.ac.uk/download/pdf/71399434.pdf
Bravo, E. (2012). Globalización, innovación tecnológica y pobreza. Aproximación a las
nuevas conceptualizaciones en Latinoamérica. Espacio abierto, 21(3), 543-556.
Recuperado de https://www.redalyc.org/pdf/122/12223296007.pdf
Burin, D., Coccimiglio, Y., González, F., & Bulla, J. (2016). Desarrollos recientes sobre
habilidades digitales y comprensión lectora en entornos digitales. Psicología,
Conocimiento y Sociedad, 6(1), 191-206. Recovered from
https://www.redalyc.org/jatsRepo/4758/475848615009/475848615009.pdf
Buzan, T. (1996). El libro de los mapas mentales. Barcelona: Editorial Urano.
Calderón, M. M., & Quesada, C. A. (2016). Los mapas mentales como estrategia
didáctica para el mejoramiento de la comprensión lectora en textos narrativos.
Recovered from https://repository.unilibre.edu.co/handle/10901/8227
Campos, A. (2005): Mapas conceptuales, mapas mentales y otras formas de
representación del conocimiento. Cooperativa Editorial Magisterio. Bogotá.
Cordón, G. J. (2016). La investigación sobre lectura en el entorno digital. MEI: Métodos
de información, 7(13), 247-268 en http://dx.doi.org/10.5557/IIMEI7-N13-
247268
Farrach, U. G. (2016). Estrategias metodológicas para fomentar la comprensión
lectora. Revista Científica de FAREM-Estelí, 20, 5-19 Recovered from
https://doi.org/10.5377/farem.v0i20.3064
Fernández, M. E., Vázquez, C. E., & López, M. E. (2016). Los mapas conceptuales
multimedia en la educación universitaria: recursos para el aprendizaje
significativo. Campus Virtuales, 5(1), 10-18. Recovered from
http://uajournals.com/ojs/index.php/campusvirtuales/article/view/100/99
Hernández, A. J. (2016) Mejoramiento de la comprensión de textos narrativos mediante
la implementación del recurso educativo abierto Biblioteca Digital Ciudad Seva
a través de la plataforma digital Edmodo (Tesis de Maestría). Recovered from
https://repository.javeriana.edu.co/bitstream/handle/10554/20434/HernandezAri
asJorgeEnrique2016.pdf?sequence=1yisAllowed=y
Malhotra, N. (2008). Investigación de Mercados (5ª ed.). Naucalpan de Juárez, México:
Pearson Educación de México.
Martínez, M., Marrujo, J., Perillo, M., González, F., & Burin, D. (2019). Comprensión
de texto en E-learning: estrategias de soporte y memoria de trabajo. Ocnos:
Revista de estudios sobre lectura, 18(2), 31-43 in
http://dx.doi.org/10.18239/ocnos_2019.18.2.1988
Mendoza, C. S., García, S. L., & Guzmán, O. M. (2018). El uso de Goconqr como
herramienta que fortalece la formación profesional. Recovered from
71
http://www.conisen.mx/memorias2018/memorias/5/P814.pdf
Millalén, F. V. (2015). Impacto de la multimodalidad en la comprensión lectora de textos
narrativos en inglés como lengua extranjera (L2) en estudiantes
universitarios. Contextos educativos: Revista de educación, 18, 25-41.
Recuperado de https://dialnet.unirioja.es/descarga/articulo/5080744.pdf
Mon, F. E., & Cervera, M. G. (2013). Competencia digital en la educación superior:
instrumentos de evaluación y nuevos entornos. Enl@ ce: Revista Venezolana de
Información, Tecnología y Conocimiento, 10(3), 29-43. Recovered from
https://www.redalyc.org/pdf/823/82329477003.pdf
Novoa, C. P. (2019) El Mapa mental armónico en la comprensión y producción de textos
narrativos en estudiantes de pregrado de la UCV (Thesis). Recovered from
http://repositorio.ucv.edu.pe/handle/UCV/35546
Novoa, C. P., Cancino, F., R., Flores, W. S., & Nieto, J. (2018). El Mapa Mental
Armónico en la comprensión de textos narrativos en estudiantes universitarios.
Propósitos y Representaciones, 6(2), 541-573 in
http://dx.doi.org/10.20511/pyr2018.v6n2.243.
Ortega, O., & Zózimo, R. (2012). Comprensión lectora, hábitos de estudio y rendimiento
académico en estudiantes de primer año de una universidad privada de Lima
Metropolitana (Thesis of master). Recovered from
http://cybertesis.unmsm.edu.pe/handle/cybertesis/2738
Pérez-Rodríguez, A., & Ponce, Á. D. (2012). De la competencia digital y audiovisual a
la competencia mediática: dimensiones e indicadores. Comunicar: Revista
Científica de Comunicación y Educación, 20(39), 25-34. Recovered from
https://doi.org/10.3916/C39-2012-02-02
Piovano, S., & Burin, D. (2014). Comprensión y metacomprensión de los textos
expositivos: Comparación experimental entre soporte impreso y el e-book reader.
Recovered from
https://www.oei.es/historico/congreso2014/memoriactei/324.pdf
Ponce, H., López, M., Labra, J., Brugerolles, J. P., & Tirado, C. (2007). Evaluación
experimental de un programa virtual de entrenamiento en lectura significativa
(E-PELS). Recovered from
http://repositorio.ual.es/bitstream/handle/10835/599/Art_12_169.pdf?sequence
=1
Pulgar, F. M. (2016). Incorporación de las herramientas tics para incrementar la
comprensión lectora de textos narrativos en los estudiantes de primer ciclo de la
facultad de derecho de una universidad privada de Lima. Recovered from
http://cort.as/-SpWs
Ramos, F. M. (2007). Nuevos avances en el estudio científico de la comprensión de
textos. Universitas Psychologica, 6(2), 331-343. Recovered from
https://www.redalyc.org/pdf/647/64760212.pdf
Rodríguez, G. A. (2005). Lectura e internet: dos tecnologías. Investigación
bibliotecológica, 19(38), 11-32. Recovered from
http://www.scielo.org.mx/pdf/ib/v19n38/v19n38a2.pdf
Rodríguez, R. A., & Vargas, A. C. H. (2017). Diferenciación de la interpretación de
textos narrativos en la modalidad cuadernos digitales vs. ambientes tradicionales.
Experiencias Investigativas y Significativas, 3(3). Recovered from
72
https://experiencias.iejuliussieber.edu.co/index.php/Exp-inv/article/view/23/13
Romero, L. (2014). Lectura tradicional versus lectura digital. Correspondencias y
análisis, (4), 63-75 en https://doi.org/10.24265/cian.2014.n4.03
Salazar, S. A., Sevilla, R.O., González, P. B., Mendoza, A. C., Echeverri, G. A., Quecán,
C. D., Pardo, R.L, Angulo, A. M., Silva, G. J., & Lozano, R. M. (2015). Lectura
y escritura en la universidad: contribución para reconstruir una historia. Magis.
Revista Internacional de Investigación en Educación, 8(16), 51-70 en
https://doi.org/10.11144/Javeriana.m8-16.leuc
Saldarriaga, M. L. (2017). Fortalecimiento de la comprensión inferencial a través de
textos narrativos con contenido social (Tesis de licenciatura). Recovered from
http://hdl.handle.net/20.500.12209/7732
Thorne, C., Morla, K., Uccelli, P., Nakano, T., Mauchi, B., Landeo, L., Vásquez, A., &
Huerta, R. (2013). Efecto de una plataforma virtual en comprensión de lectura y
vocabulario: Una alternativa para mejorar las capacidades lectoras en
primaria. Revista de Psicología (PUCP), 31(1), 3-35. Recovered from
http://www.scielo.org.pe/pdf/psico/v31n1/a01v31n1.pdf
Ugartetxea, G. J. (1996). La orientación metacognitiva. Un estudio sobre la capacidad
transferencial de la metacognición y su influencia en el rendimiento
intelectual. Revista de Psicodidáctica, (1), 27-53. Recovered from
https://www.redalyc.org/pdf/175/17517758004.pdf
Villalustre, M. L., & Del Moral, P. M. (2010). Mapas conceptuales, mapas mentales y
líneas temporales: objetos “de” aprendizaje y “para” el aprendizaje en
Ruralnet. Revista Latinoamericana de Tecnología Educativa-RELATEC, 9(1),
15-27. Recovered from https://relatec.unex.es/article/view/602/434
73
Annexed
Table 4. Matrix of the PISA tests Understanding narrative texts
Dimensions
INDICATORS
ITEMS Pre test
ITEMS Pos test
Textual
level
Identify main and secondary characters of the
read text.
1, 2, 8 (15 %)
1,2,7,8 (20 %)
Recognize important events in the story.
3,4,5,7 (20 %)
3, 4, 5 (15 %)
Contextualized in the space and in the time it
narrated.
6 (5 %)
6 (5 %)
Literal total
8 (40 %)
8 (40 %)
Inferential
level
Deduces conclusions on from the
ideas exposed in the text read.
9 (5 %)
9, 15 (10 %)
Makes inferences to from the information pro
vided by the text.
10,12,15, 16
(20%)
10, 13, 16 (15
%)
Interpret symbologies and /
or allegorical representations of the text.
11 (5 %)
11, 12 (10 %)
Recognize the topic,
the main and secondary ideas.
13, 14 (10%)
14 (5 %)
Inferential total
8 (40 %)
8 (40 %)
Level
invidious
Rate critically both
the text and the role narrative of
the characters of the text read.
17 (5 %)
17 (5 %)
Appreciate the style and form of the story.
18, 20 (10 %)
19, 20 (10 %)
Discuss any event specific that has seemed in
teresting.
19 (5 %)
18 (5 %)
Critical-Value Total
4 (20 %)
4 (20 %)
Total
20 (100 %)
20 (100 %)
