E calcolarla può essere una vera Odissea! Sulla carta, per la teoria – e a dirla tutta anche per il buon senso – comprendere la necessità di una baseline prima di ideare qualsiasi programma o progetto (per poi valutarlo) è semplice. Non è infatti possibile misurare l’impatto senza dati di partenza sugli indicatori relativi ai risultati/cambiamenti che, grazie ai nostri interventi, aspiriamo a generare.
La questione si pone ancora prima, e potremmo definirla così: come decidere su quali problemi/cause/bisogni intervenire, se non anche grazie a una conoscenza dettagliata delle dimensioni e delle caratteristiche di tali problemi/cause/bisogni? E che cos’è questa conoscenza, in termini rigorosi e in buona parte, se non la massima evidenza possibile dei dati di baseline?
Va bene, la logica è chiara. Ma la realtà è spesso molto diversa, gli operatori si trovano davanti a una serie di criticità che rendono spesso la baseline una vera e propria chimera:
- Gli Enti del Terzo settore spesso si finanziano principalmente o comunque in modo consistente tramite bandi. Affinché tale fonte sia in grado di contribuire in modo significativo alla loro sostenibilità, devono però scrivere molti progetti, perché sanno benissimo che poi non verranno finanziati tutti. Il lavoro di analisi dei contesti e di scrittura dei progetti che “non passeranno” resta quasi sempre un costo non coperto da nessuna fonte di raccolta fondi. Risultato: alle analisi di contesto e ai needs assessment si dedica pochissimo tempo, se ne occupa una persona sola, con metodi e strumenti raramente rigorosi. Si lavora se ci sono fondi per pagare quel lavoro.
- A volte i bandi a cui partecipano finanzieranno progetti di piccole dimensioni e di breve durata per i quali è ancora più difficile prevedere un lavoro di ricerca come quello della baseline e predisporre meccanismi rigorosi di gestione dell’impatto.
- Il tempo che passa dalla scrittura di un progetto alla sua approvazione può oscillare fra i 3 mesi a, nei casi peggiori, l’anno e mezzo. Anche quando la baseline è stata raccolta con rigore, passato quel tempo spesso si rende necessario quantomeno un aggiornamento, se non una revisione integrale vera e propria. Quasi nessun finanziatore finanzia questo aggiornamento.
- Alcuni finanziatori chiedono di inserire baseline da fonti nazionali o internazionali, quasi a dare a tali fonti una istituzionalità e un’autorevolezza maggiore. Il problema è che i dati di report delle Nazioni Unite o dell’ISTAT, per esempio, non hanno nulla a che vedere con il target specifico con cui il mio progetto entrerà in contatto. Sono un’aggregazione troppo ampia, da un lato; dall’altro, dobbiamo con onestà chiederci: il mio progetto quanto potrà spostare mai il valore di dati a livello nazionale o internazionale? Se lavoro con 30 giovani NEET della provincia di Milano, quanto il mio lavoro modificherà i dati sui NEET a livello nazionale o, peggio ancora, europeo? Inoltre: il mio progetto lavora sulle stesse dimensioni del problema mappate da tali report? Raramente coincidono e se accade la sovrapposizione è parziale… Risultato: nei progetti si mettono questi dati di fonti nazionali o internazionali per accontentare il finanziatore, ma non servono a nulla (nemmeno al finanziatore a ben vedere… ) per misurare l’impatto del nostro progetto. Peraltro, se entro la fine del progetto non esce una versione aggiornata di tali report, non possiamo nemmeno misurare la variazione fra prima e dopo il nostro intervento (e forse è anche meglio così, vista la totale inutilità di queste fonti di verifica rispetto all’impatto del nostro progetto!).
- Alcuni finanziatori cambiano gli indicatori a progetto avviato o addirittura in fase conclusiva e chiedono di misurarne l’impatto includendoli. Questo richiederebbe una revisione importante del sistema di monitoraggio e valutazione (compresi nuovi strumenti e fonti di verifica, nuova formazione da fare a chi deve raccogliere questi nuovi dati… ), e una valutazione di baseline da fare ex novo sui nuovi indicatori. E qui sorgono altri due problemi: a) questa nuova misurazione di baseline spesso i donatori non la finanziano (il finanziamento per il progetto è già chiuso e non è quindi modificabile); b) non avendo previsto quegli indicatori da inizio progetto, le attività di progetto non sono state dedicate al miglioramento di quelle dimensioni (es: “livello delle competenze di genitorialità”) o lo sono state solo indirettamente; devono dunque essere previste nuove attività specifiche per le dimensioni toccate dai nuovi indicatori (chi le finanzia? C’è il tempo per farle? Ha senso aggiungerle in corsa? Nella partnership abbiamo persone e competenze adeguate? Ecc.).
- Di alcuni indicatori semplicemente in certi contesti, epoche, aree geografiche… è impossibile arrivare a calcolare la baseline prima di iniziare qualsiasi intervento. Sono i casi in cui anche le fonti dirette e indirette non sono reperibili o sono troppo datate, l’area è molto dispersa sul territorio, c’è un conflitto in corso o ragioni di sicurezza gravi, ci sono problemi di privacy, le fonti istituzionali sono inaffidabili perché nascondono volutamente i problemi ecc. Obbligare comunque a raccogliere/compilare dati su indicatori in questi contesti come condizione per accedere ai finanziamenti non ha alcun senso (nemmeno per il finanziatore a ben vedere). Ha invece senso finanziare una baseline per provare ad avere finalmente dei primi dati attendibili sui fenomeni identificati grazie alle attività di progetto.
Inutile sottolineare quanto queste dinamiche possano essere rilevanti per quei progetti che sono volti a cambiare il comportamento delle persone e dell’opinione pubblica più generale come quelli di Educazione alla Cittadinanza Globale. In questo caso il progetto lavora su un target molto ampio e impossibile da “testare” prima del progetto con una baseline.
Gli operatori del settore hanno risposto a queste criticità – per usare un eufemismo – “creativamente”, anche con grande dispendio di tempo, soldi, energie e salute mentale personale. Ma l’unica vera soluzione possibile è che i donatori finanzino un aggiornamento della baseline a inizio progetto su indicatori specifici misurati sulle persone che il progetto effettivamente coinvolgerà. Solo così tutti, a partire dai “beneficiari” fino ai donatori e agli Enti del Terzo settore, gioveranno di interventi che proveranno a colpire al cuore le cause stesse dei problemi.
Bisogna anche dirsi, con molta sincerità, che probabilmente non ci si può aspettare una valutazione d’impatto rigorosa per tutte le tipologie di progetti. Il trend attuale che mette una grande enfasi sull’impatto sta portando anche piccoli donatori, che finanziano interventi di breve durata con cifre molto contenute, a pretendere meccanismi di valutazione d’impatto complessi e onerosi come quelli di grandi programmi di lunga durata. Questa pretesa è vana e irrealistica e costringe spesso gli operatori a prevedere tutta una serie di attività per gestire il ciclo dell’impatto che non sono né utili né sostenibili.
PS: Ogni riferimento a bandi passati, attuali o in partenza NON è assolutamente casuale!
articolo di Christian Elevati ed Elias Gerovasi
Due o tre osservazioni: a) vero la “baseline” è un oggetto mitologico; b) sugli indicatori c’è un lavoro da fare riguardante la definizione stessa di “indicatore”: un indicatore non è un numero, c’è la possibilità e la necessità di utilizzare anche indicatori di carattere qualitativo (identificando “fatti” che permettono di percepire processi); c) parlare di impatto per progetti di breve durata e/o di piccole dimensioni è spesso piuttosto velleitario: si dovrebbe considerare sempre la scala delle iniziative e individuare indicatori pertinenti a quella scala; d) il periodo dell’inception è il momento in cui si possono fare le baseline, ma si dovrebbe imparare a usare fonti di secondo grado. La questione è affrontata in modo casuale, mentre c’è bisogno di un lavoro di metodologia della ricerca. I sistemi di indicatori sono invece per lo più oggetto di un lavoro pratico/meccanico – e d’altra parte è difficile che i funzionari delle agenzie di cooperazione abbiano una preparazione epistemologica e metodologica adeguata – che produce in genere effetti di totale inattendibilità e irrilevanza delle analisi (l’idea di usare gli indicatori sui OSS senza adattamento è ridicola, visto che al livello macro e al livello micro le dinamiche non sono mai uguali).
Grazie per l’articolo, critico, interessante, veritiero.
Una possibile opzione è allegare alla richiesta di finanziamento uno studio di fattibilità che indichi anche le suddette criticità e quali linee di budget andranno ad attività che le riguardano. In particolare, questo può assistere ad uscire dal circolo vizioso classico ben descritto al punto 6.
Questa mia osservazione è basata sull’esperienza maturata nei numerosi incarichi di “assessor” per bandi UE.
Persistiamo nel tentativo di migliorare, nulla è inciso nella pietra 🙂
Elisabetta Grassia
Tutto vero… diciamo che “spesso”, necessariamente, per buona pace di tutti si sorvola sull’attendibilità dei dati di baseline, prendendo per buoni quelli presentati, senza poter o “voler” verificarne la fonte…, altrimenti penso che il 90% dei progetti non riuscirebbe a partire…. Ma va bene così, se il finanziatore verifica con serietà che il lavoro sia stato realmente ed efficacemente effettuato ed abbia portato a qualche risultato positivo (proprio perché è impossibile arrivare ad impattare su indicatori macro, ma spesso anche micro – data per buona anche la stessa attendibilità di indicatori micro, ossia fidandosi di chi li ha rilevati ab origine…)