Un secondo tema che diversi lettori ci hanno sottoposto a seguito della valutazione dei progetti dei recenti bandi dell’AICS riguarda il funzionamento delle griglie di valutazione, quello strumento che viene utilizzato dai valutatori della commissione nominata per assegnare il punteggio. Questi primi due bandi dell’Agenzia, quello per i progetti all’estero e per le iniziative di Educazione alla Cittadinanza Globale, contengono infatti uno specifico allegato che mostra le griglie di valutazione e quindi i punteggi massimi e minimi che possono essere assegnati alle diverse componenti delle proposte progettuali. Si tratta sicuramente di un passo in avanti in continuità con il recente passato quando a partire dal 2013 la DGCS del MAECI ha iniziato ad assegnare le risorse alla società civile attraverso bandi pubblici. Le griglie di valutazione sono sicuramente una garanzia di trasparenza oltre che un utile strumento di lavoro per chi si occupa di progettazione, in quanto possono rilevare i punti di debolezza di ogni proposta presentata. Le griglie infatti possono essere richieste facilmente all’Agenzia che è tenuta a renderle disponibili.
Nelle ultime settimane abbiamo potuto visionare diverse griglie di valutazione dei concept note di questi primi due bandi che alcune organizzazioni ci hanno inviato. La valutazione dei concept note consente infatti una prima grossa scrematura dei progetti verso la seconda fase del bando. Giusto per avere un riferimento concreto, bisogna considerare che il bando per progetti all’estero ha visto passare il 42% dei concept note mentre il bando ECG il 33%.
Visualizza la griglia di valutazione dei concept note del bando OSC
Visualizza la griglia di valutazione dei concept note del bando ECG
Dalle griglie di valutazione inviate dall’AICS alle organizzazioni si evince che i punteggi vengono assegnati dai valutatori secondo quanto stabilito nel bando ma senza l’espressione di una motivazione scritta che accompagni il punteggio espresso. Questo sembra particolarmente problematico perché la maggior parte degli “ITEM” è valutato con un punteggio secco di ZERO o CINQUE punti e ZERO o TRE a seconda che la risposta del valutatore sia SI o NO.
Diversi i pochi casi in cui gli ITEM sono valutati con un punteggio da 1 a 5 oppure da 1 a 3. In questo caso la griglia contiene già il significato specifico di ogni singolo punto assegnato, ecco un esempio:
ITEM “Identificazione di specifici problemi” da 0 a 5 punti
Assenza/totale inadeguatezza = 0
Problemi descritti genericamente = 1
Problemi identificati ma senza indicarne le relazioni specifiche e i bisogni connessi =2
Problemi e bisogni sono definiti, ma le relazioni sono indicate in modo solo superficiale =3
Problemi, bisogni e relazioni sono definiti in modo adeguato, ma con un’analisi non approfondita = 4
Problemi, bisogni e relazioni sono analizzati mettendo in evidenza le modalità e i fattori causali profondi oggetto dell’intervento = 5
In questo caso non è necessario che il punteggio assegnato sia accompagnato da una motivazione perché questa è di fatto già contenuta nella griglia stessa.
Torniamo invece ai punteggi secchi ZERO o CINQUE e ZERO o TRE, che costituiscono il grosso del punteggio da assegnare. Questo tipo di punteggio può essere ritenuto accettabile solo nei casi in cui al valutatore venga chiesto di verificare l’esistenza o meno di un requisito, per cui la risposta alla domanda debba essere indiscutibilmente SI o NO. In questi casi non sarebbe necessaria una motivazione, esempio:
ITEM “Presenza di partner appartenenti alle categorie indicate all’art.26 Legge 125/14 non iscritti all’Elenco – con ruoli e contributi determinati” SI= TRE punti, NO= ZERO punti.
In questo caso il valutatore assegnerà ZERO o TRE punti a seconda che la risposta sia SI o NO.
Il problema vero è che la stragrande maggioranza degli ITEM per cui è previsto un punteggio secco ZERO o CINQUE e ZERO o TRE fanno riferimento ad un giudizio di valore o comunque di merito per cui la risposta SI o NO del valutatore non può essere ritenuta indubitabile se non eventualmente accompagnata da una motivazione scritta.
Facciamo alcuni esempi:
- Coerenza e consequenzialità delle azioni (esiste un legame logico evidente tra le azioni) SI= CINQUE punti, NO= ZERO punti.
- Coerenza con le finalità identificate nel bando (Promuovere la sensibilizzazione e la comprensione critica dei temi dello sviluppo sostenibile, delle dinamiche e dei processi di interdipendenza a livello globale, in linea con quanto previsto dall’Agenda 2030) SI= CINQUE punti, NO= ZERO punti.
- Coerenza con le finalità identificate nel bando (aumento della partecipazione dei giovani ai processi di riconoscimento dei legami sociali, culturali ed economici a livello internazionale e alla costruzione di forme di cooperazione tra i territori italiani e quelli dei paesi partner) SI= CINQUE punti, NO= ZERO punti.
- Coerenza tra partner e ruolo identificato (il ruolo di ogni partner corrisponde alle sue caratteristiche, capacità e potenzialità) SI= TRE punti, NO= ZERO punti.
- Presenza di azioni non necessarie (sono presenti azioni i cui output non appaiono legati ai risultati attesi, né alla generazione di elementi di valore aggiunto) SI= CINQUE punti, NO= ZERO punti.
- Sinergie e complementarietà rispetto alle politiche del governo e/o delle amministrazioni locali. SI= CINQUE punti, NO= ZERO punti.
Questi ITEM, così come tutti gli altri che potrete andare a vedere nelle griglie, presuppongono una valutazione di merito che con grande difficoltà può essere espressa attraverso due punteggi agli antipodi, cioè ZERO o CINQUE.
Il meccanismo di queste griglie non consente al valutatore punteggi intermedi da ZERO a CINQUE. Questo ovviamente può dare adito a controversie importanti, soprattutto quando si tratta di pura interpretazione. Ricordiamoci che il valutatore è chiamato a esprimere un punteggio secco di questo tipo a fronte di poche righe di spiegazione consentite nel formulario di presentazione dei progetti.
Ora davanti a questo evidente problema le possibili soluzioni sono due.
Fare in modo che tutti gli ITEM abbiano un punteggio graduale e non secco, quindi da ZERO a CINQUE o da ZERO a TRE con l’esplicitazione nella griglia stessa del significato specifico di ogni singolo punteggio. Così accadeva per esempio nelle griglie di valutazione del bando a gestione DGCS. Questa era la griglia dei valori assegnabili ad ogni ITEM:
Oppure, se si vogliono mantenere i punteggi secchi, allora questi devono essere rigorosamente accompagnati da una motivazione scritta del valutatore. Così accade nei meccanismi di valutazione dei progetti europei, in cui il valutatore è tenuto obbligatoriamente ad esprimere per iscritto la motivazione di ogni singolo punteggio assegnato, sia che si tratti di punteggi graduali che secchi.
Tutto questo potrà sembrare un ragionamento un po’ troppo tecnico e cavilloso, ma è sulla base di queste griglie che si gioca la selezione dei progetti e la valutazione del merito. Ricordiamo che il meccanismo di questi bandi pone diversi paletti e soglie di sbarramento, per cui il meccanismo di assegnazione dei punteggi è ancora più rilevante.
Effettivamente in un corso di progettazione che ho frequentato di recente si diceva che la griglia di valutazione è la parte più importante di una call for proposal. Mi sembra strano che il valutatore possa indicare rapidamente il si o o il no senza assumersi di fatto la responsabilità della scelta, che non è banale. Si da 0 o 5 punti per ogni risposta. Secondo me servirebbe passare a punteggi graduali da 0 a 5 che consentano più equilibrio nella valutazione. Grazie saluti Antonello
A dire il vero la “coerenza logica” non può essere modulata per gradi… gradi che peraltro riaprono la valutazione al punto di vista soggettivo dei valutatori. Nel caso in cui si parli di “coerenza logica”, “consequenzialità”, necessità, complementarietà si tratta semplicemente di utilizzare “operatori logici” (propri della logica aristotelica o logica standard che dir si voglia) per cui una situazione è “vera” o “falsa” e non ci sono “vie di mezzo”. Sarei lieto se fosse possibile avere qualche esempio circa una “consequenzialità” o una “coerenza” moderata.
Non si può fare a meno di notare nella griglia presentata a esempio il fatto che si lasci al valutatore uno spazio molto grande nell’attribuire punteggi da 1 a 4, che probabilmente sono quelli attribuiti alla maggior parte dei progetti.
Si dovrebbe sapere cosa si preferisce: premiare la qualità dei progetti in modo relativamente oggettivo o lasciare al valutatore l’autonomia di premiare ciò che a lui (soggettivamente) piace. Soprattutto in casi in cui “ciò che piace” può essere molto diverso tra un valutatore e un altro. Visto che alla fine i progetti vengono classificati un 4 o un 3 sono molto importanti.
La valutazione attraverso l’uso di “operatori logici” riduce la valutazione nel “merito” (non è possibile per un valutatore considerare un tema più importante di un altro, apprezzare l’uso di un termine/concetto piuttosto che di un altro, valutare un approccio sulla base delle proprie passioni invece che in relazione alla logica complessiva del progetto).
La valutazione basata su operatori logici tende a favorire “pari opportunità” tra i proponenti. Una valutazione in cui i valutatori hanno un maggiore “spazio di azione” e una “maggiore flessibilità” tende a generare situazioni in cui la prossimità (culturale, sociale, politica e persino territoriale) tra i soggetti proponenti e i valutatori stessi ha un forte impatto sui risultati della valutazione stessa.
Il problema della personalizzazione delle valutazioni di merito esiste, ma ci sono anche diversi metodi per evitarla o ridurne l’impatto. Per esempio in diversi programmi del mondo dei finanziamenti UE le proposte progettuali vengono assegnate in valutazione a due valutatori. Quando i punteggi assegnati sugli item divergono significativamente, viene richiesta una rivalutazione degli item stessi. Il doppio controllo mette i valutatori nella condizioni di evitare punteggi generici mediani.