PROYECTO MEDIMSOLA: SISTEMA INTEGRADO DE EVALUACIÓN DEL IMPACTO SOCIAL DEL PROYECTO INSOLA

Luis Miguel Morales
Consultor Senior en Red2Red

Introducción y contexto

La evaluación de las políticas públicas ha sufrido un importante desarrollo en las últimas décadas, tanto a nivel nacional como internacional. Además de su considerable extensión tanto cuantitativa como cualitativa, se ha producido una cada vez mayor visibilización social y política, en la que las organizaciones del tercer sector han jugado un rol fundamental a la hora de integrarla como una herramienta para la mejora de sus propios proyectos, y para ofrecer información sobre la ejecución y la repercusión social de las actividades que realizan.

En este mismo contexto, la Unión Europea, a través del Reglamento Nº 1304/2013, establece un conjunto de acciones encaminadas, no solo a determinar si los proyectos cofinanciados por Fondo Social Europeo (en adelante, FSE) están siendo ejecutados o no, sino también a conocer cuál es el impacto social y laboral de los mismos. Uno de los cambios fundamentales en la financiación de la UE del periodo de 2014 a 2020 respecto a periodos anteriores ha sido el de prestar especial atención a la situación concreta de las personas tras su participación en los diferentes proyectos, habiendo diseñado con tal fin una serie de indicadores a corto y medio plazo.

Para este periodo de financiación, la Comisión Europea también ha desarrollado una “Guía de Seguimiento y Evaluación de FSE�[1] que establece dos enfoques posibles para la evaluar el impacto de las iniciativas cofinanciadas. Por un lado, la evaluación de impacto basada en la teoría, y por otro, la evaluación de impacto contrafactual. La primera de ellas trata de reconstruir las lógicas de la intervención, paso a paso, identificando los mecanismos de cambio y el funcionamiento del programa, aportando información de impacto cualitativa. La segunda implica contar con un grupo de tratamiento, que recibe el programa a evaluar, y otro de comparación o control, con características similares al de tratamiento y que no haya recibido el programa a evaluar, de manera que se identifique y estime qué hubiera pasado en ausencia del programa, y por tanto, atribuir al programa el efecto que pueda estar produciendo.

Dentro de la evaluación de impacto contrafactual, existen dos enfoques que permiten establecer el grupo de control o comparación: los diseños experimentales y los cuasiexperimentales. Los primeros consisten en la asignación aleatoria de personas al grupo de tratamiento y al grupo de control, lo que se traduce en que algunas de personas pasarán por el programa y otras no, en función del azar. Los segundos, sin embargo, consisten en la aplicación de determinadas técnicas que permitan crear el grupo contrafactual sin que necesariamente medie el azar para la asignación de las personas a un grupo u otro.

El caso que en estas páginas se presenta es el de una evaluación de impacto contrafactual con un diseño cuasiexperimental, en la cual se ha utilizado la situación de las personas participantes en el programa antes de la intervención como escenario contrafactual. Esto se ha realizado así, ya que se considera que, en ausencia de un programa de tratamiento de las adicciones, es bastante improbable que las personas se reintegren social y laboralmente.

Uno de los cambios fundamentales en la financiación de la UE del periodo de 2014 a 2020 respecto a periodos anteriores ha sido el de prestar especial atención a la situación concreta de las personas tras su participación en los diferentes proyectos, habiendo diseñado con tal fin una serie de indicadores a corto y medio plazo.

Objeto de la evaluación: proyecto INSOLA

Antes de explicar el enfoque y cometidos del Proyecto MEDIMSOLA es necesario explicar brevemente en que consiste el Proyecto INSOLA (INsercion SOcio-LAboral), así como la forma en la que éste se estructura, puesto que es el objeto sobre el que se desarrolla el proyecto MEDIMSOLA.

El proyecto INSOLA tiene como objetivo mejorar la inserción socio laboral de las personas en situación o riesgo de exclusión social, a través de un abordaje integral de los problemas de adicción, estableciendo para ello tres operaciones o servicios diferentes:

• Operación 1. Servicio de orientación inicial, donde se incluyen las actuaciones previstas en los primeros pasos de una persona usuaria.
• Operación 2. Servicio de formación, donde se recogen las actuaciones que están dirigidas a la capacitación competencial y desarrollo de habilidades para la vida (Prelaboral), así como actuaciones dirigidas a la inclusión sociofamiliar.
• Operación 3. Servicio de Orientación Especializada, que incluye actividades dirigidas a la capacitación competencial y el desarrollo de las habilidades para la vida (laboral), contemplando actuaciones del área de atención al empleo, actuación de intermediación laboral o de facilitación de la inserción laboral en entornos protegidos, como las empresas de inserción.

La ejecución del proyecto INSOLA, cofinanciado por FSE, incluía la recopilación de un conjunto de indicadores comunes, que se recogen en tres momentos diferentes de la intervención: en primer lugar, los indicadores de productividad cuando la persona usuaria entre a la operación; en segundo lugar, los indicadores denominados de resultado inmediato, recogidos hasta las 4 semanas siguientes de finalizar la operación; y, por último, los indicadores de resultados a largo plazo, recogidos a los 6 meses de finalizar la operación.

Proyecto MEDIMSOLA

Teniendo en cuenta este contexto, se plantea el desarrollo de un proyecto en paralelo, que, considerando como base los indicadores de definidos por FSE permita desarrollar una metodología sistemática para medir el impacto sociolaboral de las personas participantes en el proyecto de manera periódica. El objetivo es mejorar la calidad, la eficacia, la eficiencia y el impacto de las operaciones que se ejecutan a través de la medición del impacto social.

Este proyecto se estructura en tres dimensiones con las que se trabaja de manera paralela para el desarrollo de esta metodología:

• Dimensión analítica: definición y desarrollo de las herramientas metodológicas de evaluación de impacto que permitan la realización periódica de análisis del impacto social del proyecto INSOLA extrayendo aprendizajes y poniendo en valor el apoyo del FSE.
• Dimensión organizativa: articulación de procesos internos específicos y la implicación de los distintos agentes de la organización.
• Dimensión tecnológica: basada fundamentalmente en el desarrollo de aplicativos específicos para adaptar los sistemas de seguimiento disponible que permitan volcar, gestionar y tratar la información necesaria para calcular el impacto social y laboral del Proyecto INSOLA.

En el desarrollo de este proyecto también se ha creado un Grupo Tractor, integrado por tres centros de la APH (PH Alicante, PH Canarias y PH Granada), que participan en el Proyecto INSOLA, y que están desarrollando un papel de centros piloto en el desarrollo de la herramienta.

Fruto del desarrollo del proyecto MEDIMSOLA se están desarrollando diferentes productos que contribuirán al objetivo del proyecto de construir un sistema integrado y sistemático de indicadores de calidad que permitan disponer de información rigurosa y suficiente para determinar el impacto que está teniendo el proyecto INSOLA sobre las personas participantes en el mismo.

Fruto del desarrollo del proyecto MEDIMSOLA se están desarrollando diferentes productos que contribuirán al objetivo del proyecto de construir un sistema integrado y sistemático de indicadores de calidad que permitan disponer de información rigurosa y suficiente para determinar el impacto que está teniendo el proyecto INSOLA sobre las personas participantes en el mismo. Los dos primeros están directamente relacionados con el desarrollo de la metodología que permita medir el impacto sociolaboral de las personas participantes, mientras que los tres siguientes son consecuencia de la puesta en marcha de la metodología y su primera aplicación a la realidad como herramienta de evaluación de impacto:

• Desarrollo de las herramientas para la realización de evaluaciones de impacto neto. Se están desarrollando tres herramientas diferentes: a) destinada a analizar las características sociodemográficas de las personas participantes, b) para realizar análisis monográficos sobre características de interés de las personas participantes, y c) la vinculada al desarrollo de análisis de impacto. En paralelo se ha desarrollado una plantilla tipo que pueda ser de utilidad para todos los centros de la APH.
• Plan de acción para la implementación del sistema al conjunto de la organización. Se ha realizado un primer borrador, pero se finalizará una vez se pruebe la herramienta con la ejecución del informe de evaluación de impacto neto de 2019.
• Informe de evaluación de impacto neto 2018. Presentado en octubre de 2018, trabajó con la información del segundo semestre de 2017 y con los tres centros del Grupo Tractor.

De forma conjunta en las tres operaciones, se pudo ver que el 83% de las personas participantes que finalizaron la operación habían obtenido algún tipo de mejora en las 4 semanas siguientes a su finalización. Además, la tasa de ocupación pasó de un 14% inicial a un 50% al finalizar las operaciones, lo que se traduce en un aumento de la tasa de ocupación de 36 puntos porcentuales.

• Informe de evaluación de impacto neto 2019. Pendiente de ejecutar entre julio y septiembre de este año, e incluirá la información de todo 2018. Será una repetición del realizado en 2018, y que servirá para validar las herramientas que se están generando en el proyecto.
• Informe de evaluación de Retorno Social de la Inversión (SROI). Pendiente de ejecutar este año, y prevista su presentación en octubre de 2019.

Referencias

Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings y Christel M. J. Vermeersch. 2017. La evaluación de impacto en la práctica, Segunda edición. Washington, DC: Banco Interamericano de Desarrollo y Banco Mundial. doi:10.1596/978-1-4648-0888-3. Licencia de atribución: Creative Commons CC BY 3.0 IGO

Labeaga, J., & Muñoz, C. (2013). LA EVALUACIÓN DE POL�TICAS PÚBLICAS EN ESPAÑA: APRENDIZAJE Y PR�CTICA INSTITUCIONAL. Revista de Evaluación de Programas y Políticas Públicas, 0(1), 31-53. doi: https://doi.org/10.5944/reppp.1.2013.10778

Unión Europea. Reglamento Nº 1304/2013 del parlamento europeo y del consejo, de 17 de diciembre de 2013, relativo al Fondo Social Europeo y por el que se deroga el Reglamento (CE) Nº 1081/2006 del Consejo.

Rogers, Patricia (2014). Overview of Impact Evaluation: Methodological Briefs – Impact Evaluation No. 1, Methodological Briefs no. 1,

[1] https://ec.europa.eu/sfc/en/system/files/ged/ESF%20monitoring%20and%20evaluation%20guidance.pdf