“Pagelle agli atenei? L’Anvur manca di base scientifica”

luglio 20th, 2013

Pagelle Anvur valutazione

L’intervista a Giuseppe De Nicolao, professore universitario e redattore del sito Roars 

Oggi in molti scrivono che il mondo della ricerca è finalmente riuscito ad accettare l’idea di farsi esaminare. L’operazione aiuterà a far valere il merito?

Nel governo di un sistema complesso è necessario “conoscere per deliberare” e una conoscenza insufficiente o errata porta a decisioni inadeguate. In Italia, i peggiori nemici della valutazione sono i “crociati della valutazione” che, ignari dei risvolti scientifici, tecnici e sociali, ne hanno una visione taumaturgica, quasi la sua sola evocazione avesse poteri magici. Valutare è difficile, valutare richiede competenze tecniche, valutare richiede consapevolezza dei margini di incertezza di quanto viene misurato e anche l’umiltà di comprendere che ci sono aspetti non valutabili quantitativamente che possono essere più importanti di quelli quantificabili. I crociati della valutazione, messi di fronte ad errori macroscopici e ad obiezioni circostanziate da evidenze scientifiche o confronti internazionali, si rifugiano in proverbio buoni per tutte le stagioni sul meglio che sarebbe nemico del bene e insinuano che chi critica finisce per fare il gioco dei miscredenti, ovvero dei “nemici della valutazione”. Ridurre il tutto ad un gioco di “buoni e cattivi” e di “premi e punizioni” è una semplificazione che ha molta presa, ma che porta fuori strada. Qui è in gioco lo sforzo di comprendere meglio una realtà estremamente sfaccettata per aiutarla a crescere meglio. La ricerca è un fenomeno sociale articolato con dimensioni storiche, geografiche e generazionali. Difficile credere che per farla prosperare basti distribuire alla meno peggio caramelle e pezzi di carbone. E in ogni caso, la cautela nell’uso d’incentivi e disincentivi deve essere commisurata alla qualità delle informazioni raccolte. Tornando alla VQR, è giusto prendere atto che si è fatto un primo passo, ma anche che si è partiti barcollando.

L’Anvur ha presentato le pagelle. C’è il rischio che queste possano essere strumentalizzate?

Purtroppo, l’ANVUR si è mossa in modo poco professionale, compromettendo il proprio ruolo tecnico/scientifico. Gli addetti ai lavori sanno bene che le pagelle degli atenei, così care ai mass-media perché facili da raccontare e da recepire, non hanno base scientifica. Non a caso, l’agenzia di valutazione inglese, l’HEFCE afferma di non aver prodotto e di non aver intenzione di produrre nessuna classifica delle istituzioni valutate, mentre i rapporti dell’ANVUR pullulano di classifiche ad ogni angolo. L’agenzia di valutazione inglese, invece di fare classifiche, produce i cosiddetti “profili di qualità”, utilizzati per ripartire le risorse tra gli atenei. Anche l’ANVUR produce qualcosa di analogo, ma poi preferisce alimentare le chiacchiere da bar, più adeguate ad un tabloid che ai rapporti tecnici di un’agenzia che abbia ambizioni di serietà scientifica.

In testa alle classifiche ci sono le università delle città medio piccole. Come si può spiegare questo risultato?

Il motivo per cui le agenzie di valutazione che operano in modo professionale si rifiutano categoricamente di pubblicare classifiche è tutt’altro che ideologico, ma, piuttosto, di natura scientifico-tecnica. Come non si possono confrontare le mele con le pere, allo stesso modo non si possono confrontare atenei di dimensioni diverse senza falsare la competizione. Su ROARS abbiamo mostrato che per elementari ragioni statistiche – note a tutti gli esperti – all’interno di un gruppo di atenei che produce ricerca di qualità analoga, quelli più grandi hanno maggiori probabilità di stare al centro classifica. L’ANVUR ha cercato di metterci una pezza suddividendo gli atenei in tre categorie dimensionali, ma si tratta solo di un palliativo, perché, all’interno di ciascuna categoria dimensionale, si ripropone l’handicap per gli atenei più grandi. Inoltre, le classifiche così ottenute dipendono da dove si collocano le linee di demarcazione. Fenomeni arcinoti che fanno sorridere gli esperti, ma che orientano l’opinione pubblica e distorcono le scelte delle matricole. È lecito domandarsi se all’ANVUR manchi la competenza tecnica o se subordini il rigore scientifico alla costruzione di un consenso intorno ad una particolare visione di sistema universitario che vede nella retorica delle classifiche un potente strumento di persuasione, a prescindere dalla loro serietà.

A non uscirne benissimo è il Cnr. Nicolais ha sottolineato che ci sono realtà, come appunto il Cnr, che oltre a fare ricerca si occupano anche di trasferirla alle aziende e alle istituzioni. L’Anvur non sempre ha considerato la missione dei vari enti…

Per il CNR, di gran lunga l’ente di ricerca più grande, può valere ovviamente quanto già detto a proposito delle classifiche che difficilmente vedono primeggiare i grandi. Credo tuttavia che il grosso problema sia aver affrontato la valutazione del CNR secondo metriche costruite su misura dell’università, senza un confronto internazionale con enti di ricerca analoghi. Qualche tempo fa era stata SCImago a sviluppare un’analisi bibliometrica della produzione scientifica di alcuni enti di ricerca europei, tra cui il CNR. Sebbene questi confronti vadano presi con cautela, il CNR non sfigurava, mentre invece la VQR ci restituisce, questa volta a livello nazionale, un quadro meno lusinghiero. È lecito domandarsi se sia stato corretto richiedere ai ricercatori del CNR di presentare sei pubblicazioni ciascuno, ovvero il doppio di quelle richieste agli universitari. L’assunto è che gli universitari assolvono un doppio compito di didattica e di ricerca, mentre i ricercatori degli enti di ricerca, dediti alla sola ricerca dovrebbero avere una produttività doppia. In questo modo per gli enti è aumentata la probabilità di trovarsi di fronte a prodotti mancanti che, tra l’altro, comportano una penalità negativa erodendo il contributo dei prodotti “buoni”. Ma è proprio vero che, siccome negli enti non ci sono lezioni da tenere, il modello di riferimento per tutti gli enti di ricerca può essere un universitario che lavora il doppio, anzi che raddoppia la propria produzione di eccellenza? Un approccio scientifico avrebbe richiesto un confronto internazionale per individuare delle metriche che tenessero conto delle specificità qualitative e quantitative non solo dei diversi enti, ma anche dei loro sottoinsiemi.

Quale potrebbe essere un modo alternativo di valutazione?

Se si leggono le statistiche bibliometriche internazionali riportate dall’ANVUR, dati interessantissimi, ma su cui è stata messa la sordina, la ricerca italiana occupa un ruolo di tutto rispetto con risultati quantitativi e qualitativi che, rapportati agli investimenti, sono del tutto congrui se non addirittura di rilievo. Si tratta di un patrimonio che deve essere tutelato e potenziato: sarebbe da irresponsabili menare una clava a casaccio. A proposito di merito ed eccellenza, parole spesso usate a sproposito, non possiamo permetterci un’agenzia di valutazione che sconta un grave ritardo tecnico-scientifico nei confronti dello stato dell’arte della letteratura scientometrica ed anche nei confronti delle esperienze di valutazione internazionali. Una valutazione imprecisa ed amatoriale non solo distorce l’allocazione delle risorse ma svolge un ruolo diseducativo nei confronti dei ricercatori, incentivando comportamenti opportunistici con tutti i danni che ne conseguono. L’uso naive della bibliometria ci vede in controtendenza nei confronti non solo dell’esperienza inglese e australiana, ma anche dell’intera comunità scientifica internazionale, come testimoniato dalla recente San Francisco Declaration on Research Assessment, secondo la quale “the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published”. Quale potrebbe essere un modo alternativo di fare valutazione? La risposta è semplice: chi arriva tardi sulla scena della valutazione ha il vantaggio di poter imparare dagli errori e dalle esperienze altrui. Non è quindi il caso di reinventare la ruota, magari fabbricandola quadrata come i “quadrati magici” bibliometrici dell’ANVUR, ma si tratta di andare sul sicuro usando metodi bibliometrici collaudati o procedure di valutazione già adottate altrove: meno ideologia e più studio della letteratura e delle esperienze internazionali.

Anna Di Russo

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

UA-37172975-1