Acreditación en Red: un sistema de acreditación distribuida para la educación continua

RESUMEN:

La educación continua involucra actividades de aprendizaje que generalmente se realizan después de la formación tradicionalmente reglada. Una creciente oferta educativa se ha extendido en todo el mundo en forma de cursos, diplomados, postítulos y otros tipos de programas de estudio.

Pese a la creciente importancia y oferta de programas de educación continua, los procesos de acreditación se han restringido a la educación reglada tradicional. Estos se caracterizan por un sistema centralizado de acreditación liderado por una autoridad gubernamental nacional. Sin embargo, este tipo de acreditación es difícil de aplicar efectivamente en los programas de educación continua.

En la presente contribución presentamos y analizamos un sistema de acreditación en red (SAR) diseñado para la acreditación de la calidad de los programas de educación continua. Este sistema de acreditación contrasta con los ya existentes sistemas “centralizados”, por ser un sistema “distribuido”, inspirado en el sistema mediante el cual la comunidad científica internacional valida los artículos de investigación, es decir, el sistema de “revisión por pares”. En este trabajo describimos este sistema, analizamos sus fundamentos teóricos, sus potenciales ventajas y desventajas, y las experiencias de su aplicación en un primer prototipo.

PALABRAS CLAVE: ACREDITACIÓN EN RED, EDUCACIÓN CONTÍNUA, REVISIÓN POR PARES, VALIDACIÓN DISTRIBUIDA.

ABSTRACT:

Continuing education involves learning activities that are usually carried out after traditionally regulated training. A growth of educational offer has spread throughout the world in the form of courses, diplomas, degrees and other types of study programs.

Despite the increasing importance and the offer of continuing education programs, accreditation processes have been restricted to traditional formal education. Accreditation processes are characterized by a centralized accreditation system led by a national government authority. However, this type of accreditation is difficult to effectively implement in continuing education programs.

In this contribution, we present and analyze a network accreditation system (SAR) designed to accredit the quality of continuing education programs. This accreditation system contrasts with the existing "centralized" systems, because it is a "distributed" system, inspired by the system by which the international scientific community validates research articles, i.e. the "peer review". In this work we describe this system, we analyze its theoretical foundations, its potential advantages and disadvantages, and the experiences of its application in a first prototype.

KEYWORDS: NETWORK ACCREDITATION, CONTINUING EDUCATION, PEER-TO-PEER REVIEW, DISTRIBUTED VALIDATION.

1Introducción

La irrupción de las tecnologías de la información ha revolucionado nuestra forma de almacenar, procesar, y comunicar el conocimiento humano. En particular, desde la aparición de Internet, ha sido posible cuantificar el crecimiento de la información generada y disponible. Hilbert y López (2011) fueron los primeros en realizar un conteo concreto de la cantidad de bits producidos por la humanidad. Independiente de los valores concretos de dichas cuantificaciones (que son comparables a pilas de dimensiones astronómicas de libros), el crecimiento de la información es exponencial. Esto quiere decir que no solo cada vez hay más, sino que cada vez el crecimiento de la información disponible (y del crecimiento del crecimiento, sucesivamente) es mayor.

Dentro de la información disponible en la web podemos identificar un subconjunto relevante, que consiste de la información organizada con el afán de educar, o transmitir conocimiento específico, conocido como la educación online (Harasim, 1996). Este subconjunto es particularmente importante pues en principio representa qué y cuánto somos capaces de aprender de lo que como especie conocemos.

Un elemento importante y novedoso a considerar, con respecto a la educación online, es la manera en que se valida su veracidad y/o calidad. Por ejemplo, para el caso de cursos que provienen directamente de universidades, estadísticas aplicadas en el caso estadounidense muestran que, al año 2013, solo el 2.6% de las universidades tienen disponibles cursos online para sus alumnos (Allen y Seaman, 2013). Desde entonces, el interés por parte de las universidades se manifiesta cada vez con más fuerza. De hecho, entre el periodo 2013-2016, el promedio de la cantidad de cursos agregados por las universidades por año creció al 3.5% (Allen y Seaman, 2016).

A pesar de que las estadísticas relacionadas a los cursos que no provienen de instituciones tradicionales (universidades, escuelas u otros tipos de centros educacionales), se puede solo indirectamente inferir para el caso de la educación online no acreditada, ha habido un crecimiento explosivo en los últimos 10 años. Para comprender esto, podemos considerar el caso de la masificación y uso regular de apps educacionales en smartphones (Hirsh-Pasek et al., 2015). Es entonces muy importante preguntarse cómo es posible identificar, entre la vasta oferta de educación online, cuál es una fuente confiable y de calidad, o al menos reconocer el potencial de aprendizaje a encontrar en un programa educativo online.

Por otra parte, la educación online se ha ido convirtiendo en una herramienta particularmente clave para la educación continua o educación “a lo largo de la vida” (e.g., Vega García 2005). La razón es simple, la educación online flexibiliza los horarios de aprendizaje y no requiere la movilización física del estudiante, facilitado el aprendizaje particularmente para quienes trabajan o tienen responsabilidades que les impiden asistir a clases en el formato presencial convencional. Consistentemente, en Chile en el año 2016 los programas de postítulos y diplomados a distancia o semipresenciales corresponden al 32% del total de programas, solamente contando universidades, institutos profesionales y centros de formación técnica (tabla 1).

Tabla 1. Cantidad de titulados en postítulos y diplomados (de más de un semestre de duración) en Chile el año 2016. Se excluyen programas de especialidades médicas y odontológicas. Datos obtenidos del Servicio de Información de Educación Superior (SIES), DIVESUP, MINEDUC.

Jornada	Postítulo	Diplomado	Titulación Total
Diurno	727	3502	5953
Vespertino	1249	3537	4876
Semipresencial	72	1493	1583
A distancia	3199	1220	4429
Otros	73	1956	2109
Total	5320	11708	18950

En este contexto, la validación de la calidad de los programas de educación continua tiene particulares desafíos (Fainholc, 2004), debido tanto al formato online de muchos de ellos como al hecho de que los sistemas de acreditación tradicionales no se aplican a, y no están diseñados para, la validación de la calidad de la educación continua.

En este trabajo presentaremos los fundamentos y la experiencia de la aplicación de un nuevo sistema de acreditación, enfocado especialmente en los programas de educación continua. Las secciones siguientes analizarán primero un breve panorama de la educación continua y los sistemas de acreditación, con un foco en la experiencia chilena. Posteriormente, se presentarán los fundamentos del sistema de acreditación para la educación continua denominado “Sistema de Acreditación en Red” (SAR) o también “Sistema de Acreditación por Pares”, y se describirán los resultados de la experiencia obtenida de su aplicación en un primer prototipo en Chile.

2Educación Continua

La emergencia de la formación continua en la educación superior encuentra sus antecedentes en una serie de procesos históricos que han afectado a los sistemas educativos terciarios fundamentalmente en el siglo XX. A la base de estos cambios se encuentra el tránsito desde los sistemas educación superior de élite hacia los sistemas universales (Trow, 2000), en la medida que la universidad y otras alternativas de educación terciaria se vuelven accesibles para grandes segmentos de la población antes excluidos.

Paralelamente a este fenómeno de masificación, los sistemas de educación superior han ido incorporando cada vez más a las mujeres a la educación superior. Este es un fenómeno mundial y se expresa en Chile en la importante feminización de la matrícula entre los años 2006 y 2008, que llevó a revertir el predominio de la matrícula masculina que se observaba desde los 80 y 90. En la actualidad, el 52% de la matrícula de la educación superior en Chile corresponde a mujeres (Fuente: SIES 2017), que como es la tendencia global, van incrementando su participación en la educación superior y -correspondientemente- en los mercados laborales para empleos de mayor cualificación.

Todo esto ha implicado una diversificación de la oferta educativa en áreas, niveles y segmentos: el previo dominio de los programas de formación más tradicionales como leyes, medicina, ingeniería, ciencias y liberal arts ha dado paso a una nutrida oferta que va desde carreras de carácter técnico hasta profesionales, en las más diversas áreas -como salud, educación y las múltiples ramas de la industria- así como en múltiples niveles formativos, incluyendo pregrado, postgrado y alternativas de formación continua como postítulos y diplomados.

La masificación también ha traído una proliferación de oferta educativa no tradicional, respecto del típico estudiante de pregrado, que accede directamente a la educación terciaria una vez concluida la educación secundaria. Fue necesario un espacio para actualizar o ampliar los conocimientos y competencias, así como para satisfacer la demanda de aquellos que no pudieron ingresar inmediatamente a la formación terciaria una vez concluida su educación secundaria. Las instituciones de educación superior comenzaron a ofrecer programas en “educación para adultos”, “educación para trabajadores”, “programas de continuidad” o “cursos de especialización” y otros.

Muchas de estas alternativas académicas se dictan incluso en horarios y modalidades no tradicionales, ya sea en jornada vespertina o en modalidades semi-presenciales o a distancia. Esto se debe a que el estudiante típico de educación continua proviene del mundo del trabajo y ya pasó la edad entre los 18 y 24 años, sobre la cual se calcula la tasa bruta de cobertura en la educación superior. Como se expresa en la figura 1, quienes estudian alternativas de educación permanente en Chile se concentran en el rango entre los 25 y 34 años de edad y luego en el rango sobre los 40 años de edad. Las modalidades que permiten compatibilizar estudios y trabajo, así como las modalidades semi-presenciales y a distancia, facilitan que el estudiante adulto y trabajador acceda a la formación continua en la educación superior.

Figura 1. Matrícula total de postítulo por rango de edad y tipo de programa en Chile al año 2016. Datos obtenidos del Servicio de Información de Educación Superior (SIES), DIVESUP, MINEDUC.

Emergen entonces múltiples conceptos asociados a este fenómeno de ampliación de la oferta en este sentido: la educación continua y la educación permanente (lifelong learning o LLL). Aunque el concepto ya ha sido incluido en el debate de la educación superior hace ya medio siglo (Hasan, 2012), los sistemas de educación superior han comenzado a responder a estas necesidades fundamentalmente hacia los últimos 25 años. Desde el famoso Rapport “Learning to be” de Edgar Faure, Primer Ministro Francés de la época (Faure et al., 1972), el concepto de educación continua, permanente y de lifelong learning ha estado orientando el desarrollo de la educación superior hacia el siglo XXI.

La aceleración del cambio tecnológico ha sido un motor fundamental del establecimiento de alternativas de educación superior, tanto como impulsor del cambio como proveedor de nuevas herramientas pedagógicas para la educación a lo largo de la vida. El mercado laboral, frente al acelerado avance de las nuevas tecnologías exige a los profesionales y técnicos permanentes actualizaciones de conocimientos. Por otra parte, los avances en las tecnologías de la información y comunicación (TIC) han permitido el desarrollo de un importante abanico de alternativas de formación online, con apoyo de material audiovisual, streaming en vivo, videotutoriales y herramientas de evaluación a distancia. Actualmente, los MOOC (massive online open courses o cursos online masivos y abiertos) han empujado la barrera de lo posible haciendo que millones de personas puedan tener acceso a la educación continua por Internet, con una escalabilidad inédita en la historia de la humanidad.

Algunos países, particularmente las naciones desarrolladas de la OCDE, han entendido la formación continua como elemento fundamental de la política pública, influencia que se ha diseminado también en países en desarrollo. En 1996 la OCDE adopta el marco de políticas públicas “Lifelong Learning for all”, identificando cinco elementos centrales que deben tener los sistemas de educación superior para ofrecer acceso efectivo a la formación continua: (1) mecanismos de reconocimiento de aprendizajes, (2) competencias de base suficientes en los niveles educativos iniciales, (3) acceso equitativo adecuado a los ciclos de vida de las personas, (4) disposición adecuada de recursos y (5) coordinación de múltiples actores para la formación continua. En años recientes, la formación continua en la educación superior ha sido enfatizada en aquellos países que han avanzado hacia la construcción de marcos de cualificaciones, que proveen una estructura de reconocimiento de grados y títulos asociados a habilidades y competencias por niveles, permitiendo avances, recuperaciones y desarrollos formativos a lo largo del ciclo de vida de las personas. Esto implica que los sistemas nacionales (y en algunos casos, internacionales) de educación superior están reconociendo la educación continua como concepto estructural de organización de sus sistemas terciarios.

Adicionalmente, la educación continua ha experimentado la entrada de nuevos actores al sistema de educación superior. Si en algún momento las universidades eran las instituciones más relevantes del sector terciario, ahora comparten el espacio con centros de capacitación, instituciones técnico-profesionales, institutos de investigación y otros oferentes que imparten programas educativos permanentes que van más allá de las instituciones educativas tradicionales. Ahora las empresas (como Codelco, Disney, Coca-Cola, etc.), las fundaciones, ONG, centros de investigación (e.g., Santa Fe Institute, Max Planck Institute, Konrad Lorenz Institute, etc.) e incluso personas naturales imparten cursos, diplomados, postítulos, talleres, etc. La educación ha expandido sus fuentes y esto abre la posibilidad de que sean los mismos aplicadores del conocimiento quienes educan. Por ejemplo, en Chile la empresa Codelco hace cursos de capacitación sobre el cobre, Gimnasios Pacific hacen diplomados para ser personal trainer, etc. Esto implica una mayor participación de la sociedad civil en la formación terciaria, lo que expresa concordancia con nuevas experiencias de este tipo, como la llamada “ciencia ciudadana”, que ha sacado la investigación de los espacios exclusivos de universidades y laboratorios empresariales.

Ciertamente, según el concepto que se maneje, la formación continua puede considerar niveles de postgrado -como magíster y doctorado- o incluso incluir programas de pregrado para adultos o trabajadores. El crecimiento de los postgrados ha estado de algún modo acompañado del crecimiento de las alternativas de formación continua (figura 2). Es interesante mencionar que, en general, para ser aceptado en un diplomado (que concentra la mayor cantidad de las matrículas del nivel de educación continua) no se requiere haber obtenido un título previo, por lo que el acceso es más abierto.

Figura 2. Evolución de las matrículas en programas de postítulo y diplomados en comparación con postgrados durante el período 1983-2016 en Chile. Datos obtenidos del Servicio de Información de Educación Superior (SIES), DIVESUP, MINEDUC.

En este caso, se considerará la versión más habitual de educación continua, que incluye los postítulos, diplomados y formación en especialidades del área de la salud. Según datos del SIES, entre el 2008 y el 2017, la matrícula en educación continua en Chile se ha incrementado en un 115%, es decir, está demorando menos de 10 años en duplicarse, a la tasa actual. Para el año 2017 hay 22.303 estudiantes matriculados en alternativas de formación continua, con alrededor de 10.700 matriculados en diplomados y más de 6.500 matriculados en programas de postítulo, casi 5000 en especialidades médicas y odontológicas (SIES 2017). Aunque estas son las cifras oficiales, representan una infraestimación del número real de personas en la educación continua en Chile, ya que estos totales consideran solo las instituciones reconocidas oficialmente por el Ministerio de Educación, excluyendo a otras alternativas de formación de empresas y organizaciones de la sociedad civil, que se sabe que actualmente operan.

Un aspecto importante de destacar es el hecho de que, desde la última década y media, las mujeres se matriculan en programas de diplomado y postítulo en mucha mayor proporción que los hombres (figura 3), tendencia que también se observa a nivel de matrícula global.

Figura 3. Evolución de las matrículas en programas de postítulo según género durante el período 1983-2010 en Chile. Datos obtenidos del Servicio de Información de Educación Superior (SIES), DIVESUP, MINEDUC.

La creciente importancia de las alternativas de educación continua se expresa también en el creciente número de titulados de estos programas. Entre el 2012 y el 2016, la cantidad de titulados se incrementó en un 94%, lo que implica que la titulación en este nivel formativo se está duplicando cada 5 años. Además, al considerar que estos programas muchas veces tienen una duración menor a un año y que, en general, no son de tiempo completo, las personas pueden estar cursando más de uno de estos programas al año. Anualmente, cerca de 19 mil personas obtienen sus certificados de postítulo o diplomado en Chile, solo considerando a las instituciones reconocidas por el Ministerio de Educación. El mayor número de ellos (cerca de 12000) concluyeron programas de diplomado.

Aunque no hay muchos estudios sobre educación continua y empleabilidad efectiva, muchos de los estudiantes que se matriculan en estas alternativas lo hacen para fortalecer su posición en el mercado laboral o abrir nuevas alternativas para emplearse. Por eso es tan importante la consideración de las modalidades en las cuales la mayoría se está titulando: estudios en jornada vespertina, o bien en modalidades semi-presenciales o a distancia, que permite al estudiante mantener un puesto de trabajo mientras se forma en un programa de educación continua. Ante la gran diversidad de programas, hay escasa evidencia respecto del efecto que tiene poseer un certificado de formación continua para la empleabilidad de los titulados.

En este contexto, la educación continua o LLL responde a las exigencias de la sociedad por formas de educación dinámica y adaptativa, en permanente actualización y que complemente las necesidades de personas que ya se encuentran insertas en el mercado de trabajo. Asimismo, el fenómeno de la educación continua obliga a observar la relevancia que cobra la existencia de un mayor número de tipos de actores -institucionales e individuales- que operan en este ámbito, que van desarrollando oferta académica que supone responder a las necesidades educativas de una sociedad dinámica. La velocidad de cambio social y el énfasis en la centralidad del conocimiento en las sociedades modernas (“sociedad del conocimiento”) enfatiza la importancia de un sistema adaptativo de oferta y cualificación de la educación. Esto implica que actores de diferentes escalas estarán impartiendo programas de educación continua (desde grandes instituciones a pequeños grupos o personas individuales expertas).

Aunque la educación continua se considera un elemento central en la educación superior del siglo XXI, esta impone una serie de desafíos en aseguramiento de la calidad. La rápida expansión de la oferta de formación continua, así como su amplia diversificación en instituciones formadoras, ponen en tensión a los mecanismos tradicionales de aseguramiento de la calidad, tanto a nivel de la pertinencia curricular como de la gestión efectiva de los procesos y de los resultados formativos, así como de la satisfacción de los estudiantes y otros tantos aspectos de la calidad de la educación superior en este nivel formativo. Los sistemas tradicionales de aseguramiento de la calidad, basados en la acreditación de la calidad institucional o de programas habitualmente por medio de un organismo único de nivel central o bien por medio de una agencia gubernamental o no gubernamental que se coordina con ejecutores de las evaluaciones, no parece ofrecer soluciones completas para el aseguramiento de la calidad de la formación continua, especialmente en el contexto legal chileno.

3Aseguramiento de la calidad y acreditación de la educación continua

Los procesos de aseguramiento de la calidad en Chile, en la región latinoamericana y en el mundo han sido influenciados por los mismos procesos que han definido el desarrollo de la educación superior en general desde los años 90: masificación, diversificación, privatización e internacionalización, así como presiones provenientes del mercado (Bernhard, 2012). Consistentemente, este proceso ha impulsado la creación de institucionalidad, así como de importantes reformas a los sistemas de acreditación y evaluación (Fernández, 2008; CINDA, 2012). En el caso Chileno, el sector de la educación superior se ha expandido e incrementado su heterogeneidad de modo inédito, ha incorporado la medición del desempeño en los mecanismos de financiamiento y ha establecido una legislación comprensiva sobre el aseguramiento de la calidad de la educación superior (Blanco et al., 2015), lo que pone al país en una posición de liderazgo regional en cuanto al desarrollo de sistemas de acreditación (CINDA, 2012) y en un estado de desarrollo similar a muchos sistemas europeos y norteamericanos, sin estar exentos de dificultades e importantes críticas expuestas en evaluaciones externas del sistema (OCDE y World Bank, 2009; OCDE, 2013).

Los procesos del aseguramiento de la calidad centralizados en Chile comenzaron a desarrollarse a finales del siglo pasado, en la década de 1990, con la instalación del proceso de licenciamiento por parte del antiguo Consejo Superior de Educación (CSE), actual Consejo Nacional de Educación (CNED). En caso de ser exitoso, el proceso de acompañamiento que puede tomar entre 6 y 11 años concluye con la determinación de la plena autonomía de la institución de educación superior supervisada. A fines de esa década se crean y comienzan a operar la Comisión Nacional de Acreditación de Pregrado (CNAP) y la Comisión Nacional de Acreditación de Postgrado (CONAP), que implementaron experimentalmente los primeros procesos pilotos de acreditación voluntaria de las instituciones de educación superior que ya habían recibido su plena autonomía al aprobar el proceso de licenciamiento.

En el 2006 se establece -por medio de la Ley Nº 20.129- el llamado Sistema Nacional de Aseguramiento de la Calidad de la Educación Superior. En esta legislación se especificó que las funciones de licenciamiento las realizaría CNED, estableciéndose un nuevo sistema de acreditación que sustituyó a la CONAP y la CNAP, en el cual se evaluarían tanto instituciones como programas. El nuevo sistema -aún voluntario como el previo- estableció que la Comisión Nacional de Acreditación (CNA) administraría los procesos de acreditación institucional. Asimismo, la CNA tendría entre sus funciones la autorización y supervisión de organismos privados que actuarían como Agencias Acreditadoras (AA), que se encargan de la acreditación de programas. Las únicas acreditaciones obligatorias son las de los programas de medicina y pedagogía. Todos los procesos de acreditación se basan en una etapa inicial de autoevaluación de la institución o programa, una evaluación externa que incluye la visita de pares evaluadores y el pronunciamiento del juicio de acreditación por parte del cuerpo colegiado correspondiente. La ley creó también el Sistema Nacional de Información de Educación Superior (SIES) encargado de recolectar, sistematizar y publicar la información estadística de la educación superior, que permite ahora conocer la gran diversidad de programas e instituciones en las que ha derivado la educación superior chilena.

El sistema de aseguramiento de la calidad ha cumplido un importante rol en el establecimiento de una cultura de la calidad a nivel de las instituciones y programas. Ha permitido que las instituciones y los programas se comprometan con criterios y estándares conocidos, a la vez que ha permitido mayor información y transparencia pública de la oferta de la educación superior a nivel nacional. Sin embargo, el sistema no ha estado exento de críticas y, particularmente en el caso del aseguramiento de la calidad de la educación continua o lifelong learning, el ámbito queda excluido de la evaluación de nivel de programas y solo superficialmente observado en la acreditación institucional, en la medida que hace parte de los elementos del área de Gestión Institucional. La inexistencia de referencias en la Ley N° 20.129 sobre la acreditación de educación continua es una de las dificultades de aseguramiento de la calidad de este tipo de formación terciaria, en la medida que su inclusión exige la modificación del marco normativo a nivel de estructura legal. A nivel más práctico, una de las críticas más importantes que emergen de los diagnósticos de la OCDE (2013) es la imposibilidad de realizar procesos de acreditación a la gran diversidad de programas registrados en el Sistema de Información de Educación Superior (SIES), que bordea los 15 mil. Los avances en acreditación son evidentes, pero excluyen en gran medida a la educación continua. En la actualidad, según estadísticas de la Comisión Nacional de Acreditación (CNA, 2017), más del 90% de la matrícula estudia en instituciones acreditadas. En el nivel de pregrado el 25% de los programas se encuentran acreditados, los que concentran el 67% de la matrícula. A nivel de magíster, sin embargo, la situación es más preocupante: 22% de los programas, con una cobertura de matrícula de un 28%. Aunque hay evaluaciones de programas de modalidad e-learning, el sistema de aseguramiento de la calidad chileno no considera evaluaciones para los postítulos y diplomados. Esta situación afecta a la gran diversidad de carreras de pregrado y programas de postgrado acreditables por medio de la ley vigente, y hace absolutamente impracticable extender el modelo de Agencia Central y Agencias Privadas con las que opera el modelo chileno a la educación continua. Esto se debe fundamentalmente a la imposibilidad de disponer de los recursos humanos, el apoyo financiero y la disponibilidad de tiempo para abordar la gran cantidad y diversidad de alternativas de educación continua.

Asimismo, para el tipo de formación más dinámica, adaptativa, cambiante, de naturaleza heterogénea y específica de la educación continua, los sistemas de aseguramiento de la calidad tradicionales y centralizados no parecen ser adecuados para afrontar la acreditación de programas de educación continua: los procesos de acreditación son lentos e incluyen una serie de elementos burocráticos, para cursos y diplomados que suelen ser más bien cortos y acotados. Además, existe una gran dificultad para coordinar centralizadamente la acreditación de programas de muy diversa índole, en la medida que encontrar expertos en cada área, comprender la extensión y diversidad de modalidades del programa, dificulta la aplicación de los modelos centralizados y tradicionales de acreditación. Del mismo modo, la forma de operación de los comités internos del sistema de aseguramiento de la calidad implicaría grandes demoras en los procesos para adaptar su estructura y criterios de evaluación para nuevas modalidades e innovaciones educativas, como las diversas formas de e-learning, b-learning, MOOC, etc.

Son pocos los desarrollos en esta materia de aseguramiento de la calidad de la formación continua, fundamentalmente los trabajos de Ehlers y Pwlowski (2006), Ehlers (2009) y Ehlers e Hilera (2012), que han insistido en la especificidad de la educación continua y en especial la modalidad e-learning, haciendo explícita la necesidad de criterios y procesos de calidad en este ámbito. El trabajo de Ossiannilsson y Landgren (2012) realiza un benchmark internacional de tres experiencias para avanzar en modelos conceptuales de la calidad para el e-learning, con foco específico en el mejoramiento de la calidad, centrado en el estudiante y que evalúa los productos, servicios y la gestión. En América Latina, los desarrollos son más escasos, pero destaca el trabajo de Mejía y López (2016), donde han avanzado hacia modelos de evaluación de la calidad específicos para modalidades e-learning, identificando como dimensiones fundamentales los aspectos organizacionales, los procesos de enseñanza y aprendizaje, el desarrollo del e-learning, el talento humano y la infraestructura, desde una perspectiva específica para la educación en línea. En un esfuerzo similar, Camilleri et al. (2014) revisaron las dificultades en materia de calidad de los llamados Open Educational Resources (OER), muy relacionados con la formación continua y especialmente con el uso de Internet para este fin. Los autores desarrollan modelos para la calidad de los recursos educacionales abiertos, pero no proponen un sistema para implementar en la práctica procesos de acreditación viable. Sin embargo, en el sistema chileno no hay cabida en la actualidad para este tipo de desarrollo, lo que se expresa también en una ausencia importante de desarrollos académicos en la materia, aunque la cantidad de programas de educación continua y en modalidades en línea o semipresenciales sigue creciendo progresivamente.

El sistema actual, por otra parte, opera con una estructura de títulos y grados de mediados de los años 80 y no dispone de un marco nacional de cualificaciones (considerado muy superficialmente en el proyecto de reforma del sistema, actualmente en discusión parlamentaria). Esto implica que no existen elementos conceptuales ni empíricos suficientes para la adecuada comparabilidad, además de una importante limitación para aplicar criterios de validación internacional (e.g., el Proceso de Bolonia) a los programas de educación permanente, dado que los conceptos de diplomado, postítulo, etc. tienen muy diferentes significados en cada país (difieren más aún que los conceptos de licenciatura, bachelor, minor, major, etc.).

Con todas las limitaciones que tengan los sistemas actualmente instalados de aseguramiento de la calidad, cumplir con el imperativo de la calidad es aún una tarea pendiente, urgente e indispensable para alcanzar los estándares deseados y cumplir la promesa de la educación continua que inspiró a la OCDE a avanzar en esta vía desde 1996. Es necesario, por tanto, buscar nuevas y diferentes alternativas para acreditar, asegurar la calidad y promover la mejora continua de la oferta académica de lifelong learning.

4Sistema de acreditación en red

El sistema de acreditación en red (SAR), que también podría llamarse de “acreditación por pares”, fue concebido en el Instituto de Filosofía y Ciencias de la Complejidad (IFICC) en Santiago de Chile, comenzando a aplicarse de forma concreta a partir del año 2015. La idea nace por una necesidad de validación de los programas de docencia del instituto, que por no ser una universidad o centro de formación superior no podía contar con una acreditación estatal de sus programas educativos según la legislación vigente. En esta sección presentaremos los fundamentos teóricos del sistema, mientras que en la siguiente sección se describirán los resultados de las experiencias de este prototipo concreto hasta la actualidad.

La inspiración teórica principal del SAR se encuentra en las ciencias de la complejidad y la reflexión en torno a estas en el contexto de los sistemas sociales (Mathews et al., 1999; Razeto-Barry, 2007; Vivanco, 2008), en particular al reconocimiento de los procesos distribuidos de regulación o control (figura 4), y a su propagación dentro de las nuevas dinámicas sociales relacionadas a la sociedad del conocimiento.

Los procesos de regulación distribuida en la naturaleza son un tema paradigmático de las ciencias de la complejidad. Un proceso de regulación distribuida consiste en un grupo de entidades que realizan cierto evento colectivamente, pero sin que ninguna de las entidades necesariamente tenga como objetivo la realización de dicho evento. Un ejemplo clásico es el estudio de estigmergia en hormigas (Dorigo et al., 2000; Theraulaz y Bonabeau, 1999). Las hormigas en conjunto son capaces de realizar tareas que requieren habilidades cognitivas bastante avanzadas desde un punto de vista de control centralizado, como construir nidos con estructuras complejas, y más aún con propiedades complejas tales como separar a las hormigas bebé de las hormigas muertas para evitar su infección, o mantener todo el alimento en un compartimento especial. Además, mediante la estigmergia las hormigas son capaces de resolver problemas geométricos para encontrar la ruta más eficiente para la recolección y transporte de su alimento, sin que ninguna de las hormigas tenga habilidades cognitivas de alta complejidad. Esto se debe a que las hormigas vienen equipadas cognitivamente con un conjunto muy simple de reglas conductuales, y con un mecanismo sencillo de comunicación (secreción de hormonas que varía según su estado). La combinación de estas dos características sencillas crea la posibilidad de que conjuntos de muchas entidades puedan realizar tareas complejas de forma colectiva. Por ejemplo, Langton (1986) mostró a través de simulaciones computacionales que un conjunto de “agentes hormiga” con reglas sencillas tales como que si una hormiga adulta pasa por el lado de una hormiga muerta dentro del nido la recoja y siga caminando, y que si la hormiga que carga una hormiga muerta se encuentra con un huevo de hormiga deje a la hormiga muerta y recoja el huevo para seguir su camino, luego de cierto tiempo de simulación se obtiene que la agregación de las conductas locales de las hormigas lleva a patrones “emergentes” de orden en que las hormigas muertas quedan separadas de las hormigas bebé, es decir minimizando la probabilidad de que las hormigas bebé se infecten. Con reglas similarmente sencillas, es posible mostrar cómo las hormigas construyen nidos con estructuras complejas, resuelven problemas geométricos para acceder a y almacenar eficientemente su alimento, etc.

Debido al potencial de desarrollo de tareas complejas, que pueden incluso ser irrealizables desde una perspectiva de control centralizado, los procesos de regulación distribuida se han vuelto una herramienta muy importante para el desarrollo de varias áreas de la ciencia del último siglo incluyendo la biología de sistemas como procesos distribuidos de entidades bioquímicas (Kitano, 2002), la ecología como procesos distribuidos de especies ecológicas (May, 2001), la cognición como procesos distribuidos neuronales (Gazzaniga, 2004), y la inteligencia artificial como deep learning (LeCun et al., 2015).

Cuando las personas son consideradas como entidades sociales, es interesante notar que muchos de los procesos sociales pueden ser mejor comprendidos como procesos de regulación distribuida, y que la estructura de dichos procesos por tanto puede ser equivalente a la de los procesos de regulación distribuida que ocurren en la naturaleza.

En el contexto de las ciencias sociales, la regulación distribuida es conocida como “inteligencia distribuida” y generalmente se representa utilizando modelos de sistemas multi-agente (Ferber, 1999; O‘Hare y Jennings, 1996). Ejemplos de esto se hallan en las áreas de innovación (Kuhlman et al. 1999), Educación (Pea, 1993), manejo de sistemas de salud (Conchado et al., 2008), sistemas de conocimiento (Zare, 1997), y más recientemente en el contexto de la inteligencia de las masas (Bernstein, 2013; Kittur et al., 2013; Li et al., 2017).

Figura 4. Sistemas de regulación o control según grado de distribución o centralización.

En particular para este trabajo, el sistema de revisión por pares (peer review) que controla la publicación de investigaciones científicas, de forma inteligente y distribuida, es un caso de gran interés. Este sistema ha estado detrás del gran avance de las ciencias en los últimos siglos (Spier, 2002). En él, los escritos científicos son evaluados por expertos de rango semejante al de los autores, quienes pueden presentar sugerencias para su mejoramiento (Benos et al., 2007). Una tendencia reciente en algunas revistas científicas es la de crear un foro de discusión para los artículos publicados (ver por ejemplo, la revista Plos One).

SAR toma del sistema de revisión por pares el hecho de que los más capacitados para acreditar una unidad cognitiva son los pares expertos en dicha unidad. De igual forma, mismo, las personas y entidades que pueden evaluar un curso o programa académico son los expertos (pares) del área o disciplina en cuestión. La idea es que los programas de docencia pueden adquirir validación y, por ende, prestigio, mediante un sistema de evaluación realizada por personas e instituciones ligadas al área del programa. Estas entidades acreditadoras pueden ser múltiples y no hay una relación jerárquica preestablecida entre ellas. Así, pueden convertirse en acreditadores los centros de investigación, fundaciones, sociedades científicas, universidades, organizaciones sin fines de lucro, empresas, grupos de investigación e investigadores individuales, que puedan demostrar conocimiento y experticia en el tema de la unidad docente a acreditar. De esta manera, la acreditación de una unidad docente queda validada por un conjunto de académicos e instituciones académicas que están específicamente relacionados al área de la unidad, presentándose como un indicador de la calidad de dicha unidad.

La acreditación tradicional se basa en que un organismo del Estado valida una institución de educación superior (siendo la universidad el caso paradigmático), la cual queda acreditada para impartir carreras, programas, cursos, etc. Es decir, el sistema es jerárquico, centralizado y se enfoca en acreditar unidades docentes de amplia generalidad (principalmente a la institución que imparte los programas, o los programas mismos en su forma más general, carreras, grados, etc.) (figura 5a). En contraste, la estructura “en red” del SAR la convierte en un sistema representable como una red distribuida no jerárquica (figura 5b) conectándose con una red de instituciones y académicos expertos en el área. Adicionalmente el SAR promueve que las unidades docentes a acreditar sean de un alto grado de especificidad, por ejemplo, enfocándose en los cursos o en programas semestrales más que en unidades docentes grandes, como la carrera universitaria o el grado académico.

Siguiendo también la tendencia de las revistas científicas revisadas por pares, el SAR también contempla la publicación en detalle de los informes de acreditación que realizan los investigadores y entidades acreditadoras, de tal manera que tanto potenciales alumnos como profesores puedan contar con información fiel del nivel académico de la unidad. La transparencia de la información permite además que la acreditación misma se convierta en objeto de aprendizaje para potenciales alumnos y para los mismos gestores de los programas.

Cabe destacar que el contenido de los ítems a evaluar por parte de los acreditadores del SAR no pretende diferir en lo sustancial respecto a los de la acreditación tradicional. Es decir, el SAR contempla que el acreditador acceda al mismo tipo de información respecto al programa tal como accede el acreditador tradicional. Es decir, toda la información sobre los programas y objetivos de los cursos, materiales disponibles para el alumno, bibliografía, metodología, currículum de los profesores, objetivos, perfil de ingreso y egreso de los programas, infraestructura disponible, etc. Lo mismo cabe decir respecto al tipo de evaluación de los evaluadores, su función de acreditar por una cierta cantidad de años y de sugerir mejoras y medidas para el mejoramiento del programa. Es decir, la innovación del SAR respecto al sistema tradicional no radica en el contenido de la acreditación sino más bien en los tipos de actores que acreditan y la transparencia de la información resultante de la acreditación.

Figura 5. Representación de los sistemas de la a) Acreditación Tradicional y la b) Acreditación por Pares. P1,…, P5 simbolizan personas individuales e I1, I2, I3 representan instituciones (e.g., sociedades científicas, fundaciones o empresas enfocadas en el tema) o grupos consolidados de expertos (e.g., grupos de investigación, laboratorios).

5Resultados de una primera experiencia

El primer prototipo del SAR comenzó en el Instituto de Filosofía y Ciencias de la Complejidad, con la acreditación de uno de sus cursos “Teoría del Conocimiento” y, posteriormente, en su programa de “Diplomado en Filosofía de la Ciencia”, el cual tiene diferentes menciones: Filosofía de la física, Filosofía de los sistemas complejos, entre otros. Este programa es semi-presencial, con un porcentaje de las clases online del 90% aproximadamente. A nivel de personas, los agentes acreditadores fueron filósofos de la ciencia que trabajan activamente en el área, mientras que a nivel institucional fueron la Sociedad Chilena de Filosofía Analítica y Universitas Nueva Civilización. El procedimiento de acreditación fue el siguiente:

• Primero, los acreditadores fueron contactados para que voluntariamente realizaran el trabajo de acreditación, sin retribución económica o de otro tipo.

• Segundo, los acreditadores recibieron un enlace con una clave para acceder a todo el material online disponible para los alumnos, en todos los cursos, incluyendo toda la información de los programas, currículum de los profesores, acceso a los foros de cada curso donde los alumnos discuten, y un breve informe de contenidos anexos, que incluye toda la información no disponible en la plataforma online, incluyendo el currículum de los profesores, la infraestructura disponible y la forma de transmisión de las clases presenciales para alumnos a distancia.

• Tercero, el acreditador debió completar un formulario, también online, evaluando (en calificación Excelente, Muy bueno, Bueno, Regular, Insuficiente) los distintos aspectos de las unidades educativas en cuestión. El formulario imitó las preguntas y criterios utilizados para la acreditación tradicional chilena, según la Comisión Nacional de Acreditación (www.cnachile.cl). Tras cada calificación, el acreditador puede hacer comentarios y sugerencias para cada aspecto evaluado.

• Finalmente, el acreditador debió indicar si acredita o no la unidad educativa, qué calidad global asigna a la unidad (Excelente, Muy bueno, Bueno, Regular, Insuficiente) y por cuántos años la acredita (en un rango de 1 a 7 años). Esta información queda disponible para los alumnos, y a los alumnos titulados se les entrega un diploma indicando que el programa fue acreditado por el sistema acreditación en red, indicando las instituciones que acreditaron.

El hecho de que el material estuviera disponible mayoritariamente online, dio como resultado que la revisión de los agentes acreditadores fuera un proceso rápido y donde el acreditador tenía un acceso muy exhaustivo de cada unidad educativa. Por ejemplo, cada clase del diplomado consta de un vídeo grabado con cada profesor realizando su clase en un estudio, en el caso del material e-learning, y de las grabaciones en vídeo de las clases presenciales, que son subidas tres días después del día de la clase. Así el acreditador cuenta no solo con una descripción de los contenidos y procesos de aprendizaje para el alumno, sino que puede revisar y presenciar directamente dichos contenidos y procesos de aprendizaje. En particular, el acreditador puede directamente ver cualquiera de las clases impartidas.

La experiencia obtenida fue en general positiva, particularmente respecto a la valoración de los alumnos de la acreditación de una sociedad de prestigio nacional abocada al tema. Las dos instituciones acreditaron el programa de diplomado por 3 años, e hicieron sugerencias en variados puntos, que fueron utilizadas para el mejoramiento del programa. Sin embargo, existieron dos dificultades que obstaculizaron el proceso y que creemos debiera tomarse en cuenta considerando la posibilidad de que el SAR se propague en el futuro en otras instituciones que impartan programas de educación continua.

En primer lugar, en el proceso de comunicación y socialización del SAR entre alumnos y académicos que no participaron en el proceso, se observó un cierto grado de escepticismo respecto a considerar de suficiente peso los resultados del SAR, particularmente por hecho de que no se trata de un proceso avalado o certificado por el Estado. Creemos que esto en parte puede deberse a que este sistema recién está en fase de prototipo y no se ha validado en otras instituciones.

El segundo problema experimentado es el poco interés de instituciones independientes por acreditar un programa de otra institución. Muchas instituciones tienen dentro de sus objetivos la promoción del mejoramiento de la calidad de la educación en el área que dichas instituciones abordan (e.g., sociedades académicas, fundaciones, ONG, etc.). Sin embargo, no existe dentro de dichas instituciones una sistematización de cómo realizar esto, respecto a las instituciones que imparten los programas. Dicho en otras palabras, estas entidades no han explicitado institucionalmente su rol como acreditadores de programas de educación continua. Ello lleva a la necesidad de mejorar la comunicación y explicación a las instituciones pares en qué consiste el SAR y cómo es que este sistema se alinea con los objetivos de dichas instituciones.

El punto anterior nos anima a especular un posible aspecto positivo, que podría motivar la expansión del SAR y su integración dentro de las instituciones ligadas a la sociedad civil. Si el SAR se volviera conocido y se propagara como forma de acreditación de programas de educación continua, diversas instituciones y redes de instituciones podrían organizarse para la promoción de la calidad de los programas educativos en su área. Por ejemplo, las sociedades científicas están interesadas en promover la investigación, educación y divulgación del conocimiento científico en diversas áreas. Si los programas de educación continua que tratan temas científicos comienzan a ser sujeto de acreditación de las sociedades científicas, dichas sociedades podrían incorporar esta función como una de las maneras de cumplir sus objetivos como sociedad científica. Así, por ejemplo, las sociedades relacionadas con la filosofía, al producir evaluaciones que se vuelven de acceso abierto sobre programas de filosofía, orientan tanto a alumnos y responsables de los programas acerca de la calidad de dichos programas. Así, las sociedades científicas podrían generar sus propias bases de datos, mostrando su calificación de los programas mediante el SAR, y, como consecuencia, podrían producir rankings de programas, según diferentes criterios. Este mismo proceso podría ser parte de los objetivos de otras instituciones, como fundaciones, ONG, etc. dedicadas a la promoción de un área. Estas instituciones acreditadoras podrían establecer protocolos internos para la acreditación de programas.

La experiencia del SAR eleva su relevancia a nivel internacional en la medida que los procesos internacionales de aseguramiento de la calidad no han encontrado necesariamente modelos establecidos. Por ejemplo, la organización basada en Bruselas denominada European Foundation for Quality in eLearning (EFQUEL), que fuera fundada en 2005 y alcanzara 120 instituciones miembros, y realizara foros anuales y entregara sellos de calidad para programas de e-learning (UNIQUE) se cerró a finales de 2014. En este contexto, mayor densidad teórica y empírica es necesaria en el aseguramiento de la calidad para la educación continua, especialmente para las modalidades en línea. Quedan disponibles los conceptos de los European Quality Mark (EFQUEL, 2012) para ser repensados desde una nueva perspectiva y combinados con el modelo SAR, que ofrece una oportunidad relevante para desarrollos en esta materia. Como síntesis, concluimos que el SAR podría llegar a propagarse en el sistema educativo, debido a que (i) responde a una necesidad de validación de la calidad de programas de educación continua que no son parte de los sistemas de acreditación formal, y cuya oferta en número y diversidad crece sustancialmente; (ii) es un sistema expedito que no requiere mucho costo por parte del acreditador ni de los responsables del programa a acreditar, particularmente cuando se trata de programas con alto contenido online (programas a distancia y semi-presenciales); (iii) se basa en la validación de pares, lo que le da un peso académico particularmente fuerte, tal como ocurre en las revistas científicas revisadas por pares; y (iv) se basa en información transparente que queda a disposición del alumno. Finalmente, consideramos que el hecho de que instituciones de la sociedad civil se involucren directamente en la acreditación de los programas educativos asociados a sus respectivas áreas, contribuye a aumentar la conectividad entre la educación formal y la sociedad civil, expandiéndola más allá del limitado número de universidades o centros de formación superior tradicional.

El modelo SAR, en su primera experiencia reportada, ofrece un nuevo espacio para avanzar en el aseguramiento de la calidad de la educación continua con base en metodologías e-learning, en una discusión relevante a nivel nacional, regional y global. La acreditación en red –observando los desarrollos internacionales respecto de la especificidad de la educación continua y de las modalidades emergentes de formación, ya sean semi-presenciales o en línea– tendrá que entrar a dialogar con estructuras de aseguramiento de la calidad a nivel de los países. Este es un diálogo que se instanciará en un contexto de incremental relevancia de estas modalidades formativas, donde el modelo SAR se presenta como una alternativa incipiente. Probablemente, como estrategia de instalación, el modelo de acreditación bottom-up del SAR deberá avanzar en difundirse y desarrollarse entre instituciones y programas, antes de iniciar un diálogo directo con agencias centrales y proyectos legislativos de los gobiernos nacionales, que operan según una lógica top-down. El futuro de la experiencia del SAR, por tanto, dependerá del mantenimiento de su lógica de interconexión entre los agentes educativos nacionales e internacionales, para alcanzar niveles de legitimación entre las instituciones formativas que le permitan plantearse como alternativa no solo viable, sino necesaria, ante las formas de acreditación tradicional.

6Referencias

Allen, I. E., y Seaman, J. (2013). Changing Course: Ten Years of Tracking Online Education in the United States. Newburyport: Sloan Consortium.

Allen, I. E., y Seaman, J. (2016). Online Report Card: Tracking Online Education in the United States. Babson Survey Research Group.

Benos, D. J., Bashari, E., Chaves, J. M., Gaggar, A., Kapoor, N., LaFrance, y Qadri, Y. (2007). The ups and downs of peer review. Advances in physiology education, 31(2), 145-152.

Bernhard, A. (2012). Quality assurance in an international higher education area: a case study approach and comparative analysis. Wiesbaden: VS Verlag für Sozialwissenschaften.

Bernstein, M. S. (2013). Crowd-powered systems. KI-Künstliche Intelligenz, 27(1), 69-73.

Blanco C., Jerez E., y Rolando R., (2015). Overview of the higher education in Chile 2014, Higher Education Information System (SIES). Ministry of Education, <http://www.mifuturo.cl/index.php/academicos-einvestigadores>.

Camilleri, A., Ulf, D. y Pawlowski, J. (2014). State of the Arte Review of Quality Issues related to Open Educational Resources (OER). JRC Scientific and Policy Reports, European Commission.

CINDA (2012). in MJ Lemaitre y ME Zenteno (eds), Aseguramiento de la calidad en Iberoamérica. Educación Superior–Informe, Centro Interuniversitario de Desarrollo (CINDA) – Universia.

CNA (2017). Comisión Nacional de Acreditación. www.cnachile.cl.

Corchado, J. M., Bajo, J., De Paz, Y., y Tapia, D. I. (2008). Intelligent environment for monitoring Alzheimer patients, agent technology for health care. Decision Support Systems, 44(2), 382-396.

Dorigo, M., Bonabeau, E., y Theraulaz, G. (2000). Ant algorithms and stigmergy. Future Generation Computer Systems, 16(8), 851-871.

EFQUEL (2012). The Need for a European Federated Quality Mark (2012). EFQUEL Green Paper N°4.

Ehlers, D., y Pawlowski, J. (2006). Handbook on quality and standardizaron in e-learning. Springer.

Ehlers, U. (2009). Understanding quality culture. Quality Assurance in Education, 17, 343-363.

Ehlers, U., e Hilera, J. (2012). Special issue on quality in e-learning. Journal of ComputerAssisted Learning, 28(12), 1-3.

Fainholc, B. (2004). La calidad en la educación a distancia continúa siendo un tema muy complejo. Revista de Educación a Distancia, 12, 1-7.

Faure E., Herrera F., Kaddoura A. Lopes H., Petrovsky A., Rahnema M. y Ward F. (1972). Learning to be. The world of education today and tomorrow. First published in 1972 by the United Nations Educational, Scientific and Cultural Organization, UNESCO, Place de Fontenoy, 75700 Paris and George G. Harrap y Co. Ltd. 182-184 High Holborn, London WC1V7AX.

Ferber, J. (1999). Multi-agent systems: an introduction to distributed artificial intelligence (Vol. 1). Reading: Addison-Wesley.

Fernández, N. (2008). Modelos y sistemas de evaluación y acreditación de la educación superior. situación y perspectivas para el mejoramiento de la calidad y la integración regional. E A.L. Gazzola y S. Pires (eds), Hacia una política regional de aseguramiento de la calidad en educación superior para América Latina y el Caribe. Caracas: IESALC, UNESCO, via edshlc (EBSCOhost).

Gazzaniga, M. S. (2004). The cognitive neurosciences. MIT press.

Harasim, L. (1996). Online education. Computer networking and scholarly communication in the twenty-first-century university, 203-214.

Hasan, A. (2012). Lifelong Learning in OECD and Developing Countries: An Interpretation and Assessment. En Aspin D., Chapman J., Evans K., Bagnall R. (eds), Second International Handbook of Lifelong Learning. Springer International Handbooks of Education, vol 26. Springer, Dordrecht.

Hilbert, M., y López, P. (2011). The world’s technological capacity to store, communicate, and compute information. Science, 332(6025), 60-65.

Hirsh-Pasek, K., Zosh, J. M., Golinkoff, R. M., Gray, J. H., Robb, M. B., y Kaufman, J. (2015). Putting education in “educational” apps: lessons from the science of learning. Psychological Science in the Public Interest, 16(1), 3-34.

Kitano, H. (2002). Systems biology: a brief overview. Science, 295(5560), 1662-1664.

Kittur, A., Nickerson, J. V., Bernstein, M., Gerber, E., Shaw, A., Zimmerman, et al. y Horton, J. (2013). The future of crowd work. In Proceedings of the 2013 conference on Computer supported cooperative work (pp. 1301-1318). ACM.

Kuhlmann, S., Boekholt, P., Georghiou, L., Guy, K., Héraud, J. A., Laredo, et al. y Polt, W. (1999). Improving distributed intelligence in complex innovation systems. En ASTPP Thematic Network, TSER No. Final Report (pp. 1-87).

Langton, C. G. (1986). Studying artificial life with cellular automata. Physica D: Nonlinear Phenomena, 22(1-3), 120-149.

LeCun, Y., Bengio, Y., y Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444.

Li, W., Wu, W. J., Wang, H. M., Cheng, X. Q., Chen, H. J., Zhou, Z. H., y Ding, R. (2017). Crowd intelligence in AI 2.0 era. Frontiers of Information Technology & Electronic Engineering, 18(1), 15-43.

May, R. M. (2001). Stability and complexity in model ecosystems (Vol. 6). Princeton university press.

Mathews, K. M., White, M. C., y Long, R. G. (1999). Why study the complexity sciences in the social sciences? Human relations, 52(4), 439-462.

Mejía, J. F, y López, D. (2016). Modelo de Calidad de E-learning para Instituciones de Educación Superior en Colombia. Formación universitaria, 9(2), 59-72. https://dx.doi.org/10.4067/S0718-50062016000200007

OCDE (2013). Reviews of national policies for education: quality assurance in higher education in Chile, OECD Publishing.

OCDE y the World Bank (2009). Reviews of national policies for education: tertiary education in Chile, OCDE Publishing.

Ossiannilsson, E., y Landgren, L. (2012). Quality in e-learning - a conceptual framework based on experiences from three international benchmarking projectsjcal_439. Quality enhancement on e-learning.

O'Hare, G. M., y Jennings, N. (Eds.). (1996). Foundations of distributed artificial intelligence (Vol. 9). John Wiley & Sons.

Razeto-Barry, P. (2007). Educación indirecta. Bases y desafíos de un nuevo sistema educativo. Polis 5(17), 383-406.

Spier, R. (2002). The history of the peer-review process. Trends in Biotechnology, 20(8), 357–8.

Vega García, R. (2005). La educación continua a distancia en México: transformaciones y retos. Revista de la Educación Superior, 34(133).

Vivanco, M. (2009). Sociedad y Complejidad. Del Discurso al Modelo. Editorial LOM.

Theraulaz, G., y Bonabeau, E. (1999). A brief history of stigmergy. Artificial life, 5(2), 97-116.

Trow, M. (2000). From Mass Higher Education to Universal Access: The American Advantage. Research and Occasional Paper Series: CSHE.1.00. University Of California, Berkeley, http://ishi.lib.berkeley.edu/cshe/

Zare, R. N. (1997). Knowledge and distributed intelligence. Science, 275(5303), 1047-0.

158