Diseño de la evaluación de un programa de prevención escolar en España

El pasado 17 de marzo la Asociación Proyecto Hombre organizó una actividad paralela desarrollada en el marco de la 65º edición de la Comisión de Estupefacientes de Naciones Unidas (CND). En esta actividad titulada “Promoción de intervenciones de la sociedad civil basadas en la evidencia en colaboración con Estados Miembros y Organizaciones Internacionales», se presentaron buenas prácticas de intervención e investigación en prevención, tratamiento y reducción de daños desarrolladas desde diferentes Organizaciones de la Sociedad Civil en Europa, América y Asia.

La Comisión Nacional de Prevención de Drogodependencias de la Asociación Proyecto Hombre y la Universidad de Oviedo participaron en este evento presentando el proyecto de investigación en el que actualmente están colaborando, cuyo propósito es la evaluación del programa de prevención escolar Juego de Llaves.

La experiencia de Proyecto Hombre en la prevención de drogodependencias se inicia en el año 1999 con la creación de una Comisión encargada de estructurar de forma sólida y consensuada la metodología de trabajo en este ámbito de actuación, así como de impulsar el diseño de programas de prevención. En la actualidad, esta organización cuenta con programas de prevención dirigidos a los principales contextos de actuación como son el escolar, el familiar y el laboral, y a los tres niveles de intervención preventiva establecidos: universal, selectiva e indicada. Estos programas son implementados a lo largo de todo el territorio nacional a través de una red propia formada por 28 centros de 12 comunidades autónomas diferentes, en los que trabajan más de 90 profesionales especialistas en prevención. Desde el inicio de la aplicación de estos programas hasta la actualidad se ha alcanzado a más de 1.400.000 personas, siendo en su mayoría alumnado de Educación Primaria y Secundaria, familias y profesorado.

Experiencia de trabajo de Proyecto Hombre en el ámbito escolar

La intervención preventiva en el contexto escolar fue la primera que se acometió desde esta Comisión, iniciándose en el año 2000 el diseño de un modelo de prevención para este ámbito. El resultado fue la creación del programa de prevención escolar universal “Entre Todos”, dirigido a la etapa de Educación Secundaria obligatoria. Este programa es una adaptación y ampliación del programa “Construyendo Salud”, de la Universidad de Santiago de Compostela, que a su vez es la adaptación española del programa anglosajón “Life Skills Training” desarrollado por Botvin. Posteriormente, y como respuesta a la demanda de ampliar la cobertura del programa, se diseñaron los contenidos para 5º y 6º de Educación Primaria.

En el año 2013 se llevó a cabo un proceso de revisión y actualización del programa “Entre Todos”. Fruto de esta revisión nació el programa “Juego de Llaves”, que comenzó a implantarse en el año 2014 y fue evaluado en el 2017 por parte de la Universidad de Córdoba. Tras conocer los resultados de esta evaluación, se acometió la tarea de introducir cambios para mejorar el programa que en la actualidad abarca las etapas de Educación Primaria y Educación Secundaria completas.

El Programa Juego de Llaves se presenta como un conjunto de herramientas dirigidas a diversos colectivos (profesorado, alumnado y familia). Desde esta perspectiva, contempla intervenciones dirigidas, por un lado, al alumnado para ser realizadas por el profesorado en el aula, y por otro, a las familias llevadas a cabo por el personal técnico de Proyecto Hombre. Además, contempla la formación del profesorado, así como la supervisión y acompañamiento para facilitar la aplicación del programa en el aula. 

En la actualidad, nos encontramos inmersos en el proceso de evaluación de resultados de este programa en la etapa de Educación Secundaria en colaboración con la Universidad de Oviedo. En este proceso, se cuenta con la colaboración técnica de la Oficina de Naciones Unidas contra la Droga y el Delito, y el apoyo económico de la Delegación del Gobierno de España para el Plan Nacional sobre Drogas.

El propósito de Juego de Llaves consiste en promover las capacidades y habilidades adecuadas para el afrontamiento de situaciones de riesgo relacionadas con el consumo de drogas y el desarrollo de un estilo de vida saludable. Con este fin, el objetivo principal del proyecto de evaluación consiste en diseñar un protocolo que permita analizar el impacto de Juego de Llaves en la reducción del consumo de drogas en la población a la que va dirigido, así como en otros indicadores conductuales, emocionales y de funcionamiento, tanto de forma trasversal como longitudinal, a corto, medio y largo plazo.

Evaluación del programa de prevención escolar Juego de Llaves

El diseño de investigación comprende un ensayo controlado no aleatorizado por conglomerados con pre-test y post-test, y seguimientos a 3, 6, 12, 24 y 36 meses. Así, será esperable que el grupo experimental presente una mejoría en todas las variables proximales y distales en comparación con el grupo control, y que tales diferencias alcancen niveles de significación estadística a los 36 meses de seguimiento.

El diseño de dicho protocolo contemplará las fases de evaluación propuestas por Chacón Moscos et al. (2013): evaluación de necesidades, evaluación de objetivos, evaluación del diseño, evaluación de la implementación, evaluación de los resultados. Concretamente, la evaluación de los resultados comprenderá los siguientes componentes: eficacia (si se cumplen los objetivos propuestos), efectividad (si se obtienen otros efectos), eficiencia (relación coste-beneficio, coste-efectividad y coste-utilidad de los resultados), continuidad (mantenimiento de la formulación inicial del programa), progreso (implementación del programa), adecuación (evaluación basada en información técnicamente apropiada), utilidad (influencia de los resultados en la posterior toma de decisiones), probidad (grado en que la evaluación se realiza de forma ética y legal), y equidad (grado en que se efectúa con iguales estándares para todos los individuos). Además, el diseño de evaluación supondrá una oportunidad para avanzar en los objetivos de desarrollo sostenible (ODS) propuestos por las Naciones Unidas, especialmente en la cuarta meta (reducir la mortalidad prematura mediante la prevención […] y promover la salud mental y el bienestar) del objetivo 3 (garantizar una vida sana y promover el bienestar para todos en todas las edades).

A partir del objetivo principal, se establecen los siguientes objetivos secundarios que permitan el ajuste de los componentes del diseño de evaluación:

• Elaborar un protocolo o cuestionario de recogida de datos (CRD en adelante) para la evaluación mediante herramientas TICs (Tecnologías de la Información y la Comunicación).
• Realizar una aplicación piloto del CRD y un focus group para el reajuste de los componentes.
• Examinar el grado de factibilidad del sistema de evaluación.
• Determinar las características básicas de la muestra participante en el estudio y establecer el tamaño muestral necesario para asegurar la suficiente potencia estadística en la futura evaluación de la eficacia del programa.
• Publicar el diseño y validación de los instrumentos de evaluación en revistas científicas Open Access.
• Generar transferencia del conocimiento y establecer una colaboración sólida entre el ámbito profesional (Asociación Proyecto Hombre), institucional (United Nations Office on Drugs and Crime, UNODC) y académico (Universidad de Oviedo).

Para evaluar los efectos del programa, se incluirán en el protocolo de evaluación tres tipos de variables (véase Figura 1):

• Distales: consumo de drogas en el último año y último mes, con especial atención a la frecuencia de consumo mensual de tabaco y alcohol. Para el consumo de cannabis y otras drogas ilegales, y considerando la baja frecuencia de estos consumos en las primeras etapas de la adolescencia, la evaluación será relativa a la frecuencia de consumo a lo largo de la vida y no exclusivamente al último año o mes. Se considerará la presencia de consumos intensivos y problemas asociados al consumo de alcohol y cannabis.
• Proximales: las establecidas en los contenidos de Juego de Llaves, a saber: gestión emocional, estrategias cognitivas, interacción social, ocio y tiempo libre, valores, e información y actitudes hacia las drogas.
• Mediadoras: variables sociodemográficas, rendimiento académico, sentimiento de pertenencia al centro, problemas emocionales y bienestar, impulsividad, calidad de vida y satisfacción con el programa.

Figura 1.

Resumen de las variables del proyecto de evaluación.

Para la estimación del tamaño muestral necesario para evaluar la eficacia y efectividad de Juego de Llaves se realizarán análisis para controlar las correlaciones intragrupo (ICC) entre los estudiantes dentro de los centros escolares. El ICC cuantifica el grado de similitud de las respuestas al cuestionario dentro de los centros, e indicará cómo varían las tasas de consumo a nivel escolar. Los programas escolares previos de prevención del consumo de drogas han demostrado que incluso pequeños grados de correlación dentro del grupo (ICC en el rango de r = .02 a r = .05) pueden tener grandes efectos en la estimación de la varianza y la prueba de hipótesis, y puede llevar a errores estándar subestimados y a un mayor error de Tipo I.

Resultados previstos y aplicabilidad

En España la puesta en marcha de programas de prevención basados en la evidencia científica en contextos educativos, implementados por profesionales bien formados y con garantías de aceptación, cumplimiento, adherencia, fidelidad a los componentes centrales, adecuado nivel de exposición y evaluación de proceso y de resultados con seguimiento a largo plazo, son prácticamente inexistentes. Asimismo, son muy comunes los informes con evaluaciones descriptivas o de proceso, en comparación con los estudios que evalúan de forma experimental o cuasiexperimental la eficacia de un programa preventivo.

En nuestro país el último metaanálisis publicado al respecto (Espada et al., 2015) pone de manifiesto la necesidad de llevar a cabo evaluaciones más rigurosas, supervisando y controlando la fidelidad y la integridad de las aplicaciones y monitorizando la eficacia de los resultados. Asimismo, la National Science Prevention Coalition ha publicado la “Declaración científica sobre la prevención”, en la que se reconoce el apoyo científico que respalda la utilidad y el coste-beneficio de implementar prácticas de prevención en salud. Las demandas de ambas publicaciones encajan con gran precisión en la aplicabilidad de los resultados previstos del presente proyecto de evaluación. Además, la aplicación del programa Juego de Llaves cuenta con la infraestructura de la Asociación Proyecto Hombre, la supervisión de entidades de prestigio internacional, como UNODC, y la sinergia con el grupo de conductas adictivas de la Universidad de Oviedo, lo que supone una excelente ocasión para la transferencia del conocimiento y el liderazgo en el campo de la prevención de las conductas problemáticas en la adolescencia.

Descargar el artículo en PDF