di Gaetano Di Palo
Un utile strumento che intende individuare e valutare quantitativamente, sulla base di una analisi causa-effetto, quei cambiamenti concretamente avvenuti ed ascrivibili ad uno specifico intervento
La crescente attenzione da parte della collettività nei confronti della bontà, solerzia ed efficacia dell’intervento pubblico – soprattutto quello locale – nei molti settori particolarmente delicati in quanto connessi alla vivibilità del territorio ed alla accessibilità e fruibilità dei servizi essenziali, può per certi versi anche considerarsi un effetto collaterale, peraltro niente affatto sorprendente, della tanto spronata cittadinanza attiva ed altrettanto auspicata democrazia partecipativa. Gli enti locali si ritrovano difatti a confrontarsi con una cittadinanza sempre più informata, evoluta ed organizzata e che ha molteplici strumenti per individuare, conoscere, monitorare e valutare le decisioni e le conseguenti azioni e risultati degli interventi operati dall’Amministrazione.
In tale contesto (a livello internazionale, nazionale e locale) non solo l’interesse, ma anche una vera e propria cultura della valutazione degli impatti, si impone in maniera prepotente nei programmi politico-economici[1], occupazionali[2], imprenditoriali[3], sociali[4] ed assistenziali[5], e nell’ordinamento giuridico[6], come strumento al servizio delle decisioni strategiche di sviluppo e divenendo ancor più pressante ed attuale in ragione dell’attuazione oculata e necessariamente tempestiva delle missioni del PNRR.
Una valutazione d’impatto[7] intende individuare, determinare e misurare in base ad una analisi causa-effetto quei cambiamenti concretamente avvenuti ed ascrivibili ad uno specifico intervento[8]. Il suo ricorso si fonda sulla circostanza che di solito il monitoraggio degli interventi osserva soltanto il raggiungimento dei risultati, mediante il mero confronto con dati ed indicatori pianificati e dimostrando così l’assolvimento del programma, ma non stabilendo se vi sia stato un vero cambiamento delle condizioni e contesto iniziali e cosa abbia effettivamente causato il cambiamento osservato né la sua precisa natura, dimensione e soprattutto permanenza nel tempo futuro[9]. In linea di principio le valutazioni d’impatto sono invece utili per determinare l’effetto di un’azione su specifici contesti e per verificare le ipotesi di sviluppo confrontando i cambiamenti di uno o più risultati specifici con quello che sarebbe accaduto in assenza dell’intervento, i.e. indagine controfattuale[10].
La valutazione d’impatto consente dunque di verificare e determinare se, ed in che misura, un programma, un progetto, un intervento ed un investimento abbiano effettivamente creato valore[11] e, se usata in maniera preventiva, può anche essere d’ausilio in fase di progettazione nel definire quale, tra le diverse possibili alternative, possa essere l’impiego di risorse e/o l’approccio più efficace di una policy. I responsabili delle decisioni delle amministrazioni pubbliche nella programmazione degli investimenti e nella gestione delle grandi opere, quelli che operano nelle agenzie di sviluppo o negli ambiti dei servizi sociali possono definire programmi basati su modelli di impatto sulla collettività e sul territorio[12] tenendo in debito conto anche l’aspetto controfattuale.
Figura 1- Diagramma concettuale della valutazione d’impatto
Sotto il profilo metodologico si assiste da alcuni anni ad una notevole proliferazione di tecniche ed esperimenti di valutazione di impatto[13] ed un altrettanto rimarchevole ampliamento degli ambiti del loro utilizzo; questi pertengono e coinvolgono campi accademici e di indagine alquanto contigui: politico-economico, sociale, statistico, (discorso a parte vale invero per quello medico[14] e chimico-farmaceutico[15] che però esulano ovviamente dagli obiettivi di questo articolo) intrecciando discipline fortunatamente aduse ad un rigore metodologico ed applicativo, ne consegue che gli approcci maggiormente diffusi in letteratura ed adottati nella pratica sono dotati di un robusto impianto concettuale ed anzianità di sperimentazione.
Le valutazioni d’impatto utilizzano di norma[16] un gruppo di confronto, composto da individui o comunità in cui l’intervento non è attuato, e uno o più gruppi di trattamento, composti da beneficiari del progetto o da comunità in cui invece viene attuato l’intervento; il confronto tra gli esiti nel gruppo di trattamento e in quello di confronto crea la base di osservazione per determinare l’impatto dell’intervento[17]. Insomma, la valutazione d’impatto intende dimostrare l’attribuzione degli effetti all’intervento specifico, mostrando a contrario ciò che sarebbe accaduto in assenza di tale intervento.
Le differenti tecniche di valutazione d’impatto[18] sono contraddistinte da una varietà di fattori, anche se gli approcci all’uso di un controfattuale sono riconducibili, infine, a due grandi categorie: quella dei metodi sperimentali, laddove un gruppo di controllo alternativo viene generato da una selezione casuale e quella dei metodi quasi-sperimentali nel caso di un gruppo di confronto che non sia randomizzato. Sebbene le valutazioni d’impatto elaborino e analizzino tipicamente dati quantitativi, queste vanno integrate con metodi di raccolta dei dati qualitativi che siano utilizzati per ottenere informazioni sia dai gruppi di trattamento che da quelli di confronto.
Nell’approccio sperimentale entrambi i gruppi di trattamento e di confronto sono selezionati all’interno di una popolazione target in funzione di un processo casuale. Il ricorso alla selezione casuale[19] (Randomised Controlled Trial – RCT) viene considerato un efficace strumento per eliminare i bias[20] connessi alla fase selezione, perché elimina la possibilità che caratteristiche individuali dei componenti del gruppo influenzino la selezione stessa. Infatti, i membri scelti non sono assegnati ai gruppi di trattamento o di controllo in ragione di caratteristiche specifiche, anzi proprio quegli elementi psicologici/sociali che sono sovente fonte di bias verrebbero distribuiti in maniera randomizzata e quindi più o meno equamente suddivisi tra i gruppi di trattamento e di controllo. Normalmente, grazie alla circostanza che la selezione random elimina completamente le interferenze connesse alla fase di costruzione dei gruppi, le valutazioni d’impatto sperimentali risultano di migliore percorribilità ed affidabilità nell’analisi e giudizio ex-post e di fatto sono molto diffuse nelle applicazioni in ambiti politico-sociali. Restano pur sempre tuttavia i problemi connessi dal confounding[21], connaturati alle analisi di impatto, stante il non sempre facile isolamento degli effetti causati sull’oggetto delle rilevazioni, che sovente possono risalire ad uno o più fattori aggiuntivi non considerati previamente nel framework, provocando una distorsione della reale relazione causa-effetto alla base dell’indagine stessa. Gli approcci sperimentali adottano numerose metodologie operative: Studio controllato randomizzato (RCT)[22], Randomised Promotion, Trattamento multiplo, Blocked/Stratified assignment Selezione Phased-in[23] che vengono a loro volta scelti a seconda delle caratteristiche intrinseche della ricerca, dell’ambito ed ampiezza dell’intervento e dei tempi e costi dell’indagine.
Gli approcci quasi-sperimentali sono sovente utilizzati quando non è possibile randomizzare opportunamente i membri nei gruppi di trattamento e di controllo, ovvero quando esistono difficoltà operative/logistiche oppure vincoli di carattere etico o politico che non consentono di procedere con la scelta casuale[24]. I metodi quasi-sperimentali possono essere, e normalmente lo sono, utilizzati nelle indagini retrospettive di valutazione e per interventi di orizzonte temporale medio-lungo. In tali casi è necessario porre particolare attenzione alla più alta probabilità di confounding legata all’asse temporale più lungo durante il quale i beneficiari/destinatari di un intervento sono per più tempo esposti ad altri fattori estranei all’azione. Gli approcci quasi-sperimentali di valutazione degli effetti dell’intervento, stimano dunque il controfattuale effettuando rilevazioni su di un gruppo di confronto selezionato in modo non casuale: i partecipanti all’intervento vengono quindi individuati in base a determinate caratteristiche e.g. riferimenti geografici, fattori sociali e censuari, la tipologia ed il livello dei bisogni. Quantunque i valutatori possano identificare e far rientrare molte di queste variabili, o magari ricomprenderle mediante il ricorso alla regressione, non è pensabile riuscire a creare una corrispondenza perfetta di tutti i fattori che delimitano e discriminano i membri del gruppo di trattamento da quello di confronto – fosse non altro per quelle variabili psicologiche e sociologiche di difficile perimetrazione e commisurazione (e.g. livello di integrazione ed inclusione sociale, grado di realizzazione personale e professionale, intensità delle spinte emotive). Pertanto, prima di esprimere giudizi di congruità ed efficacia è importante non soltanto tenere a mente, ma anche misurare, il livello di attendibilità e le eventuali intrinseche limitazioni delle procedure di selezione del gruppo di confronto, onde evitare una valutazione distorta dell’impatto dell’intervento. I metodi semi-sperimentali, al loro interno, annoverano diverse varianti[25] come ad esempio Differenza nelle differenze[26], Regressione discontinua, Serie temporali interrotte[27], Analisi della covarianza, giacché non tutti i modelli semi-sperimentali sono applicabili con successo ad ogni tipologia d’intervento; tra l’altro va anche considerato che tali valutazioni richiedono una notevole mole di lavoro nella loro strutturazione e rilevazione, nonché nell’elaborazione dei dati, processi che naturalmente hanno un costo intrinseco non trascurabile.
Quale che sia la metodologia adottata, le valutazioni d’impatto richiedono l’impianto e la conduzione di un rigoroso ed articolato sistema di monitoraggio delle azioni che naturalmente va inquadrato in un framework concettuale ben chiaro e soprattutto condiviso dai valutatori e dal dominus dell’intervento. Il core del modello si fonda sulla chiara determinazione del contesto e degli obiettivi ultimi ed a medio termine del progetto. L’efficacia della valutazione d’impatto è anche legata ad una sua attenta aderenza al ciclo di vita ed ai progressi dell’intervento[28], il che suggerisce la sua pianificazione contestualmente alla fase di progettazione dell’intervento stesso in modo che il processo estimativo possa non soltanto identificare gli indicatori più appropriati ed individuare il gruppo di confronto più consono, ma anche seguire le fasi attuative e, per quanto possibile, beneficiare delle prime risultanze delle attività stesse ed osmoticamente contribuire al loro buon procedere.
Figura 2 – Valutazione d’impatto e ciclo di vita di un progetto
In definitiva, la valutazione di impatto è oramai ampiamente considerata uno strumento indispensabile nella scelta ed implementazione di policy di sviluppo[29], molteplici possono così essere i suoi possibili impieghi: si può adottare per comprovare uno schema di intervento innovativo, o pilota, ed apprezzare quanto un’azione possa essere replicabile, declinabile e scalabile[30]. È però anche l’occasione per considerare una nuova dimensione delle modalità di apprezzamento e di stima dell’efficacia dell’azione pubblica che si affranchi dall’ottica del risultato, facile preda di un approccio meramente formale ed adempitivo.
Figura 3- Schema sintetico della “Catena dei risultati”
La valutazione d’impatto è infatti più concretamente legata all’efficacia per sé, rendendo necessario percorrere fino in fondo la catena dei risultati[31] degli interventi oltrepassando il limite concettuale (quasi contabile) di output progettuali e considerare in un raggio più ampio gli outcome e soprattutto concentrando l’attenzione proprio sugli impatti di cui gli outcome possono considerarsi soltanto una pre-condizione[32]. L’indagine si fa così più profonda e lungimirante, poiché non basta semplicemente investire attivando politiche di intervento, e neanche operare ed allocare oculatamente le risorse disponibili, ma bisogna inoltre ottenere gli effetti desiderati connessi alla Spesa stessa sostenuta e far anche sì che questi perdurino nel tempo[33], e le valutazioni di impatto possono consentire il perseguimento di tali finalità aumentando le probabilità degli enti attuatori di implementare le loro attività come programmato e conseguentemente di raggiungere i loro veri ed ultimi obiettivi[34].
[1] Cfr. Ruth Stewart, How evidence, implementation, policy, and politics come together within evidence systems: Lessons from South Africa, Development, in Policy Review, June 2022.
[2] Cfr. International Labour Organization, Guidance note 2.5. Impact evaluation, Genève, 2013.
[3] George Serafeim, Social-Impact Efforts That Create Real Value, Harvard Business Review September–October 2020
[4] Cfr. Ann. Mitchell Jimena. Macciò, Using Multidimensional Poverty Measures in Impact Evaluation: Emergency Housing and the “Declustering” of Disadvantage, in Journal of Human Development and Capabilities, February, 2021
[5] Cfr. Argyrios Altiparmakis, Abel Bojar, Sylvain Brouard, Martial Foucault, Hanspeter Kriesi & Richard Nadeau, Pandemic politics: policy evaluations of government responses to COVID-19, in West European Politics, June 2021
[6] v. ad esempio il Decreto 23 luglio 2019 Linee guida per la realizzazione di sistemi di valutazione dell’impatto sociale delle attività svolte dagli enti del Terzo settore (GU n.214 del 12-9-2019) e le Linee Guida per la redazione del bilancio sociale degli enti del terzo settore ai sensi dell’art. 14 comma 1, decreto legislativo n. 117/2017 e, con riferimento alle imprese sociali, dell’art. 9 co. 2 del decreto legislativo n. 112/2017.
[7] “Impacts – Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non”. Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats Development Assistance Committee (DAC) OCDE, p. 24
[8] Cfr. Peter H. Rossi; Mark W. Lipsey; Howard E. Freeman, Evaluation: A Systematic Approach, Sage Publications, Inc, 2003
[9] v. Goertz, G., Mahoney, J., 2012. A Tale of Two Cultures: Qualitative and Quantitative Research in the Social Sciences. Princeton University Press.
[10] v. P.Glewwe, P.Todd, Impact evaluation in international development theory, methods, and practice, International Bank for Reconstruction and Development, 2022 p. 6.
[11] Cfr. Epstein, Marc J; Yuthas, Kristi. How to Create a REAL SOCIAL IMPACT, The answers to five important questions will give you the solution. in Strategic Finance; Montvale Vol. 96, Iss. 6, (Dec 2014): 27-32.
[12] Cfr Thomas B. Fischer (2022) Simplification’ of environmental and other impact assessments – an international trend?, Impact Assessment and Project Appraisal, 40:5, 355-355, 2022.
[13] Cfr. M.S. Reeda M. Ferré J. Martin-Ortega R. Blanche R .Lawford-Rolfe M. Dallimer J. Holden Evaluating impact from research: A methodological frame work, in Research Policy, May 2021.
[14] Cfr. Marion Ravit, Martine Audibert, Valéry Ridde, Myriam de Loenzien, Clémence Schantz, Alexandre Dumont, Removing user fees to improve access to caesarean delivery: a quasi-experimental evaluation in western Africa, in BMJ Global Health 2018, ed Evidence Based Medicine: PICO, Information and resources about using EBM in patient care Medical College of Wisconsin, 2022,
[15] Cfr. Sandra Ledesma-Corvi, Elena Hernández-Hernández M. Julia García-Fuster Exploring pharmacological options for adolescent depression: a preclinical evaluation with a sex perspective, in Translational Psychiatry (12, 220), 2022,
[16] v. European Venture Philanthropy Association, A practical guide to measuring and managing impact. Brussels, June 2015
[17] Cfr. Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch, Impact Evaluation in Practice International Bank for Reconstruction and Development, 2016
[18] v. Dina Pomeranz, Impact evaluation methods in public economics: a brief introduction to randomized evaluations and comparison with other methods. Public Finance Review, 45(1):10-43, 2017.
[19] v. Trinity Impact Evaluation Unit, Impact Evaluation: Randomisation, Trinity College, The University of Dublin ,May 09, 2016
[20] “A systematic error in the design, recruitment, data collection or analysis that results in a mistaken estimation of the true effect of the exposure and the outcome” PennState Eberly College of Science. 3.5 – Bias, Confounding and Effect Modification, STAT 507.
[21] “Confounding occurs when an apparently causal relationship between an exposure (e.g. a treatment) and an outcome is, in reality, distorted by the effect of a third variable (the confounder). By definition, confounding factors must fulfil three criteria : (1) they must be related to both exposure (i.e. risk factor, intervention, or treatment) and outcome; (2) they must be distributed unequally between study groups; and (3) they must not be an intermediary step in a causal pathway between exposure and outcome” Lorenz Meuli, Florian Dick Understanding Confounding in Observational Studies, in European Society for Vascular Surgery. 1078-5884, 2018
[22] Cfr. J.O Younge, A Kouwenhoven-Pasmooij, Freak-Poli, , W Roos-Hesselink Hunink Randomized study designs for lifestyle interventions: a tutorial, International Journal of Epidemiology, 2015, 2006–2019
[23] Cfr. A.Garbero, B.Beyene Chichaibelu Programme –Livestock (ASDP-L) and the Agriculture Service Support Programme (ASSP), The International Fund for Agricultural Development, 2018, p.12
[24] v. Evangelos Kontopantelis, Tim Doran, David A Springate, Iain Buchan, David Reeves, Regression based quasi-experimental approach when randomisation is not an option: interrupted time series analysis, in British Medical Journal 2015;350:h2750
[25] v. M. Caliendo – S. Kopeinig, Some Practical Guidance for the Implementation of Propensity Score Matching, IZA DP No. 1588, Forschungsinstitut zur Zukunft der Arbeit, Berlin, May 2005
[26] v. Ciani E. Fisher P. Dif-in-dif estimators of multiplicative treatment effects Banca d’Italia Working papers, N. 985 – October 2014
[27] J.Lopez Bernal, S. Cummins, A. Gasparrini, Interrupted time series regression for the evaluation of public health interventions: a tutorial, International Journal of Epidemiology, 2017, 348–355
[28] Cfr. Howard White David A. Raitzer Impact Evaluation of Development Interventions: A Practical Guide, ADB, December 2017
[29] v. OCDE, Déclaration de Paris sur l’efficacité de l’aide au développement et programme d’action d’Accra, 2005
[30] Cfr. Swiss Agency for Development and Cooperation. What are Impact Evaluations? 2022
[31] Cfr. Margoluis, R., C. Stem, V. Swaminathan, M. Brown, A. Johnson, G. Placci, N. Salafsky, and I. Tilders.. Results chains: a tool for conservation action design, management, and evaluation. In Ecology and Society 18(3): 22, 2003
[32] Van der Voordt, T., Jensen, P.A., Hoendervanger, J.G. & Bergsma, F. Value Adding Management of buildings and facility services in four steps. Corporate Real Estate Journal 6(1), 42-56. 2016
[33] Cfr. OCDE, Des meilleurs critères pour des meilleurs évaluations Définitions adaptées et principes d’utilisation Réseau du CAD de l’OCDE sur l’évaluation du développement (EvalNet), 2019
[34] “projects with impact evaluations are more likely to implement their activities as planned and, in so doing, are more likely to achieve their objectives” Legovini et al “Impact Evaluation Helps Deliver Development Projects”, World Bank, Washington D.C., WPS7157, 2015.
