1. Nell’ultimo
decennio il mondo dell’università e della ricerca è stato
scosso da un moto tellurico che si va facendo sempre più forte. La forza
che lo spinge è il principio della “valutazione della
ricerca”, in base al quale è opportuno che le risorse per la
scienza e la cultura siano assegnate secondo aperti e condivisi metodi di
valutazione dei risultati
scientifici.
Tale
principio, in sé quasi banale, entra tuttavia in crisi nel momento in cui
dal piano delle affermazioni generali si scende ad individuare quali debbano
essere nella pratica i metodi di valutazione. Se per un certo numero di aree
scientifiche è disponibile a tale scopo una scienza nuova, la
bibliometria, le discipline umanistiche stentano invece ad inventarsi strumenti
diversi dal giudizio di merito espresso da studiosi di riconosciuta competenza
(peer
review).
La
questione non è risolvibile, come parrebbe a molti, lasciando che ogni
settore si regoli come gli pare. Un intervento di Massimo Franceschet uscito
qualche mese fa sul sito lavoce.info, e intitolato Istruzioni per l’uso
della bibliometria ha dimostrato l’esigenza di entrare nel merito delle
caratteristiche dei due metodi. Ne è nata l’idea di far dialogare a
riguardo due specialisti della materia di estrazione opposta: un informatico
come Massimo Franceschet (Università di Udine), studioso di reti di
informazione e di metodi valutativi e uno storico della cultura e della
storiografia come Guido Abbattista (che insegna Storia moderna
all’Università di
Trieste).
L’obiettivo
che ci siamo prefissi non è tanto quello di giungere a proposte condivise
quanto di mettere a confronto posizioni diverse, nella consapevolezza che senza
la conoscenza delle specificità reciproche qualsiasi discorso in merito
alla valutazione della ricerca è destinato a rimanere generico, e quindi
inutile. E’ per questo che auspichiamo tale confronto possa ampliarsi,
coinvolgendo tutte le diverse anime del mondo dell’università e
della
ricerca.
Partiamo
da una questione generale. Gli interventi in merito alla valutazione della
ricerca in Italia concordano ormai sul fatto che, rispetto anche solo a pochi
anni fa, oggi di questo tema oggi si può parlare apertamente.
Considerando il vostro settore scientifico e accademico, siete d’accordo
con questa
premessa?
Franceschet
Per
sfatare qualche mito dirò che nonostante nel mio settore, quello della
matematica e dell’informatica, siano da tempo in uso strumenti
bibliometrici utilizzabili per la valutazione della ricerca, questo argomento
genera ancora molta paura. Negli ultimi due anni, però, effettivamente, i
riferimenti alla bibliometria vengono accolti in modo più aperto. Si
è passati da un situazione in cui non si poteva parlare di valutazione
oggettiva, e forse neanche di valutazione, ad un contesto in cui, a causa della
mancanza di risorse del sistema universitario e grazie all’accento dato
dal ministro Gelmini alla valutazione del merito, si punta verso metodi che sono low
cost rispetto al giudizio dei pari
(peer
review). Giudizio dei pari che, se
fatto seriamente, deve essere preferito ad un metodo bibliometrico, o perlomeno
non deve essere
evitato.
Abbattista
Come
ha già detto Franceschet distinguerei tra valutazione e metodi, che sono
due cose molte diverse. Nel nostro ambito è ormai sostanzialmente
acquisita l’idea che la valutazione debba essere fatta; naturalmente
c’è una grande discussione sui metodi, in particolare su certi
aspetti della bibliometria, quali ad esempio l’idea che possa consentire
una rappresentazione oggettiva dell’impatto, dell’influenza dei
prodotti
scientifici.
2. Una
delle affermazioni più forti del contributo di Franceschet a Lavoce.info è la dichiarazione che la valutazione della ricerca attraverso i sistemi
bibliometrici sia un procedimento più democratico rispetto al giudizio
dei pari. Puoi spiegare questo
punto?
Franceschet
Sono
fermamente convinto che di un prodotto di ricerca si possa arrivare a dare un
giudizio vero, quindi competente e attendibile, e al tempo stesso condiviso,
cioè democratico. Io mi occupo di reti complesse, quindi di web, di
metodi per assegnare importanza ai siti, alle pagine web ecc. Tutti questi
metodi, compresi quelli bibliometrici, si basano sul concetto di network, i cui
nodi (quindi pagine web ma anche articoli scientifici o ricercatori) sono
collegati tra loro da giudizi di approvazione
(endorsements),
che possono evidentemente anche essere negativi. Quando il network è
molto grosso è possibile definire dei metodi di valutazione dei singoli
nodi della rete che sfruttano anche in modo ricorsivo il giudizio dato da tutti
i membri della rete. Faccio un esempio: se io do un giudizio nei tuoi confronti
ma la mia reputazione nel network è molto bassa, il giudizio ha poco
valore. La mia reputazione, a sua volta, è data dai giudizi che ricevo.
Grazie a tale procedimento, che è ovviamente sostenuto da metodi
informatici e matematici, si riesce a dare un giudizio sulla singola
entità che è frutto del pensiero comune della rete o
comunità.
Ho definito
questi metodi democratici nel senso che il giudizio è formulato da una
pluralità di persone. Naturalmente la democraticità dipende sia
dalle dimensioni della rete, per cui se si parla di quattro gatti la
democraticità non esiste, ma sta anche nel metodo descritto: il giudizio
sul singolo nodo della rete non dipende da un unico giudizio ma ricorsivamente
da tutti gli altri
giudizi.
E’, viceversa,
molto rischioso affidare il giudizio su un singolo a poche persone come avviene
nei processi di peer
review perché, anche
prescindendo dalla buona fede dei singoli, si tratta di un giudizio suscettibile
di errore volontario o involontario. Per questo, io credo che un metodo
più allargato possibile possa dare maggiori garanzie di
affidabilità.
Abbattista
Riconosco
la rilevanza delle questioni sollevate: sulla soggettività dei revisori,
che talvolta diventa arbitrarietà pura, prevaricazione o errore grave,
siamo tutti d’accordo. Riconosco l’opportunità che il
giudizio dei pari possa essere affiancato da metodologie che lo bilancino e che
eventualmente lo correggano. Non vedo molte altre possibilità, dunque, se
non quelle di oscillare tra un polo “ad alta intensità
oggettiva” e un polo “a bassa intensità”, tra cui
bisognerà trovare un
equilibrio.
Il punto è:
i metodi di analisi quantitativi ci danno una garanzia in termini
democraticità?
Certamente il giudizio che si
ottiene da essi è sottoposto a tutta una serie di verifiche. Ha dunque un
maggiore controllo, ma controllo non significa democraticità. Per essere
democratica, la rete dei giudizi dovrebbe corrispondere alla comunità
scientifica nella sua interezza mentre la realtà ci mostra che i dati su
cui sono costruiti questi indici bibliometrici sono frutto solo una frazione, in
certi casi molto piccola, di quella che siamo abituati a chiamare
comunità scientifica. Il giudizio è democratico ma
all’interno di quella oligarchia
lì.
In secondo luogo, in
certe comunità scientifiche le citazioni bibliografiche assai spesso non
sono libere da condizionamenti: sono piuttosto orientate da appartenenze,
dichiarazioni di fedeltà, riconoscimenti di scuola o dalla volontà
di fare favori. Aspetti che possono risultare dunque di volontaria
manipolazione. Questo mi frena nella possibilità di considerare
democratico un giudizio che scaturisce dall’analisi delle citazioni, anche
se tale giudizio si desume da una rete di relazioni che appare astrattamente
poco vincolata e magari dotata di maggiore libertà di espressione.
3. Se
si assume che l’impatto di una pubblicazione corrisponda al suo
gradimento, le politiche accademiche e scientifiche che derivano da un sistema
di valutazione basato su questi presupposti finiscono inevitabilmente per
premiare chi è gradito e onorato. Come però dimostra la storia
della cultura, l’avanzamento scientifico è raramente frutto del
conformismo: in questo modo, cioè, non si finisce per penalizzare
l’originalità e la capacità di battere strade
nuove?
Franceschet
Molte
comunità scientifiche - il mio settore, cioè l’informatica,
ma anche l’ingegneria, la medicina, la fisica, la biologia e anche molte
scienze sociali - credo siano ben rappresentate dall’insieme delle
pubblicazioni scientifiche. Penso anche che il metodo bibliometrico valuti
alcune caratteristiche della ricerca, tra cui l’impatto, che sono invece
difficilmente valutabili tramite il peer
review. L’originalità,
la competenza, la correttezza di un articolo sono indubbiamente delle
qualità rispetto alle quali il peer
review domina rispetto agli altri
metodi. Viceversa l’impatto di un articolo, cioè
l’utilità dello stesso per una comunità scientifica è
praticamente impossibile da valutare, perché le reti complesse utilizzano
meccanismi di propagazione delle informazioni che non sono prevedibili, non sono
regolari. Quindi è praticamente impossibile per un revisore – dando
sempre per scontata la sua buona fede e competenza – prevedere quale
sarà l’utilità di questo articolo. Si dovrà, in
sintesi, premiare la ricerca originale ma anche quella che ha una ricaduta sugli
altri lavori oppure, per esempio, che genera trasferimento tecnologico
nell’industria.
Noto poi
che l’accusa di privilegiare la ricerca mainstream è molto spesso rivolta al sistema del peer
review. Questo rischio, insomma,
c’è anche
lì.
Abbattista
Premesso
che a questo punto dovremmo discutere il concetto di
‘utilità’, mi sembra invece più urgente distinguere e
osservare i meccanismi in base ai quali si svolge la ricerca umanistica che,
rispetto alle scienze sperimentali, molto raramente procede per meccanismi
cumulativi, rivolti alla soluzione di problemi scientifici condivisi. Anche noi
abbiamo dei macroproblemi generali ai quali, però, le singole ricerche
danno contributi infinitesimali, molto difficilmente esprimibili in termini di
“impatto”.
E’
chiaro che anche nelle nostre discipline ci sono delle opere nodali, delle quali
non si può fare a meno. Ma quante sono? Spesso le nostre sono ricerche
che si limitano ad aggiungere un tassello a un quadro generale non sempre
condiviso; non di rado consistono nell’”invenzione” di un
problema e nell’individuazione di fonti e metodi per risolverlo, magari
nel più completo isolamento del singolo ricercatore.
Va detto chiaramente che
l’ “utilità” diretta e concreta della ricerca
umanistica, cioè la sua utilizzabilità pratica immediata per la
soluzione dei problemi della società, è sostanzialmente uguale a
zero e non potrebbe essere diversamente: non guarisce le malattie, non inventa
macchine più potenti o materiali più resistenti, anche se potremmo
discutere a lungo su quali sono o possono essere i suoi effetti a lungo termine
sulle condizioni di una
società.
Bisogna poi
tener conto che i prodotti di ricerca delle discipline umanistiche hanno impatti
molto differenziati e non misurabili che spesso si producono al di fuori della
comunità scientifica; si rivolgono a insegnanti delle scuole,
giornalisti, o anche lettori comuni, tendono a influenzare l’opinione
pubblica.
Si tratta di
differenze sostanziali tra la natura della ricerca umanistica e quella delle
scienze sperimentali che, come ho spesso constatato nella mia esperienza di vita
accademica, gli scienziati fanno più fatica di noi a capire. Il primo
problema nel discutere di questioni come quella dell’
“impatto” (o influenza che dir si voglia) in riferimento a
discipline diverse è quello di avere un terreno condiviso di discussione
e tale condivisione non è possibile senza il riconoscimento della
rispettiva
diversità.
4. Secondo
l’opinione di autorevoli osservatori, il fatto che i sistemi bibliometrici
basati sull’autorità delle citazioni stanno diventando lo strumento
per eccellenza per la valutazione della ricerca sta cambiando gli usi in base ai
quali si cita un lavoro scientifico piuttosto che un altro. Sono stati
documentati vari casi di un uso delle citazioni finalizzato ad influenzare la
misura dell’impatto, ad esempio autocitandosi o citando a cascata gli
articoli di una determinata rivista ove si è pubblicato per aumentarne
l’indice di impatto. Avvertite nel vostro settore scientifico questo
cambiamento e considerate questo un problema
reale?
Abbattista
Nel
mio settore non mi pare che i metodi bibliometrici stiano modificando la prassi
delle citazioni, che sono piuttosto influenzate da tutta una serie di questioni
indipendenti rispetto al giudizio scientifico (dichiarazioni di fedeltà e
appartenenza, autoriconoscimento, imbonimento ecc.). Questo sul versante del
ricercatore. Ma sono note varie analisi che hanno messo in risalto come la
citazione sia facilmente manipolabile da parte dell’editore, che avendo un
proprio, diretto interesse nel veder aumentato il proprio Impact Factor spinge i
propri autori a citare articoli estratti da sue
riviste.
Franceschet
La
bibliometria come ogni disciplina mira a risolvere dei problemi, non è
qualcosa di definitivo che ha risolto tutte le questioni che si pone.
C’è, nella comunità bibliometrica, una ricerca attiva per
risolvere questi problemi: ad esempio mettendo a punto indicatori alternativi al
tradizionale e per certi versi superato Impact Factor. Già adesso ce ne
sono diversi, come l’Eigenfactor già introdotto da Thomson Reuters,
che elimina le autocitazioni e assegna il valore a un lavoro non solo in base al
numero di citazioni ricevute ma anche in base al valore dei
citanti.
5. Un’altra
questione è la tipologia e i metodi di costruzione dei data base su cui
si fondano i metodi bibliometrici. Tra le altre cose, ciò che frena
l’adozione della bibliometria come metodo per la valutazione delle
ricerche umanistiche è il fatto che le basi di
datisono controllate
da grandi editori monopolisti. Come vedete, a tale riguardo, la prospettiva di
creare archivi di prodotti scientifici “aperti” alla libera
consultazione (Open
access), che
consentirebbe di svincolarsi dal controllo monopolistico dei grandi
editori?
Franceschet
E’
vero che le basi di dati su cui sono costruiti gli indici bibliometrici sono
sostanzialmente possedute da due soggetti, Thomson Reuters e Elsevier. Poi
c’è Google che ha lanciato il servizio Google Scholar, che ha un
taglio più di
ricerca.
Sulla questione del
monopolio esercitato da questi soggetti non ho un’opinione precisa:
dico solo che si tratta di
sistemi su larga scala che implicano investimenti enormi in
termini di tempo e denaro da
parte di chi li gestisce. Vedo solo due soluzioni
percorribili: un editore
privato, che mette i soldi ma chiaramente ha anche i propri
obiettivi di tornaconto,
oppure uno sforzo inter-universitario internazionale, magari
sfruttando fondi pubblici per
la ricerca. Potrebbe essere il tema di un ottimo progetto
di ricerca. Un sistema libero
come l’Open access, come autorevoli economisti hanno
segnalato, mi pare non abbia
ancora fondamenti economici per esistere: a me sembra per
adesso soltanto una bella idea
che, però, non si sa se funzionerebbe nella
pratica
Abbattista
Mi
sembra che ci stiamo avvicinando al cuore della questione. Bisogna distinguere
tra le basi di dati esistenti ed eventuali canali alternativi di pubblicazione
come l’Open
access. Possiamo assumere
queste basi di dati esistenti come uno specchio fedele della realtà della
comunicazione scientifica? Per quali aree disciplinari ciò è vero?
E ancora: come sono costruite queste basi di dati? Chi ne fa parte? Come si fa
ad entrarvi? Come sono
costruite?
Per quanto riguarda
l’ambito umanistico, esiste un mondo estremamente diffuso e frammentato
che rimane totalmente estraneo a queste basi dati (ad es. Art & Humanities
Citation Index). Altro elemento fondamentale che deve spingere a considerare con
circospezione il ricorso alle basi dati prevalenti (WoK di ISI in primo luogo),
è che nel nostro ambito la comunicazione avviene in larga parte
attraverso monografie, che risultano ancora decisive, ad esempio, per la
carriera, e che non rientrano nelle suddette basi dati. Vorrei ancora ricordare
un elemento che raramente viene sottolineato quando si ragiona di banche dati:
in campo umanistico un sicuro indice di impatto è dato dalle recensioni,
che riguardano esclusivamente le monografie. Le recensioni sono assenti dalle
banche dati care agli sperimentali, perché è un genere –
pari alla monografia – scarsamente praticato nel loro ambito. Un altro
elemento indiscutibile che costituisce un serio limite delle banche dati tipo
WoK è l’assoluta predominanza di pubblicazioni di lingua inglese,
che sarà certamente la lingua internazionale delle scienze sperimentali,
ma che non ha tale ruolo in moltissime discipline umanistiche. Infine, vorrei
che si considerasse anche il modo con cui le banche dati selezionano i periodici
da indicizzare: WoK, a differenza di altre banche dati, esplicita i propri
criteri di valutazione, ma questi sono poi applicati dallo staff di Isi in un modo che risulta totalmente incontrollabile: il che equivale a
rimettere la propria valutazione nelle mani di un gruppo di dipendenti di un
gruppo editoriale privato senza possibilità di controllo sui tempi e i
modi della valutazione e senza feedback.
Addirittura peggio stanno le cose con altre banche dati sovente (anche se non
appropriatamente) citate in un contesto valutativo, come JStor e Project Muse.
Ciò mi pare quanto meno
problematico.
C’è
una strada per superare tale situazione? Open access potrebbe essere una di
queste.
Franceschet
Per
quanto riguarda la copertura delle base dati: una copertura assoluta non esiste
per nessuna disciplina, è necessario utilizzare concetti come il campione
rappresentativo. Per alcune discipline quali la medicina, la fisica, la
biologia, anche l’informatica e forse in parte anche l’economia il
campione disponibile attraverso le base dati, è stato dimostrato,
è già un campione
rappresentativo.
Evidentemente,
non ha alcun senso utilizzare gli indici umanistici perché non sono
rappresentativi: sia perché le citazioni non sono sempre debiti
intellettuali, come si è detto sopra, sia perché sfugge a queste
basi di dati gran parte della comunicazione in campo
umanistica.
6. Qual
è il vostro giudizio sulla nuova valutazione quinquennale della ricerca
(il cosiddetto “CIVR 2”), che è in fase di avvio?
Nell’ambito delle aree CUN umanistiche abbiamo fatto un gran parlare,
negli ultimi due anni, di metodi alternativi al peer review e ora ci ritroviamo
un nuovo esercizio di valutazione che lascia liberi i panels di utilizzare o
meno strumenti bibliometrici. Ciò evidentemente (e fortunatamente secondo
me) significherà che, ad eccezione che nelle aree dove c’è
una consolidata tradizione bibliometrica, non si potrà che valutare
tramite peer
review...
Franceschet
Nel
precedente esercizio (VTR 2001-2003) sono stati valutati 18.000 prodotti di
ricerca e ora ne sono attesi circa 130.000. Considerando che il budget è
il medesimo di sei anni fa, o i revisori dovranno lavorare gratis oppure sono
una minima parte dei lavori potrà essere valutata con peer
review, mentre la gran parte
dovrà essere considerata con metodi bibliometrici. Ciò detto sono
favorevolmente colpito: mi sembra che siamo più avanti anche del glorioso
RAE
britannico.
Abbattista
Non
mi pare che ci sia una volontà di imporre una procedura uniforme
dall’alto a tutti e che si voglia quindi tener conto delle indicazioni che
maturano all’interno delle singole comunità scientifiche. Questo mi
pare un elemento positivo.
Sono
invece perplesso sulla realizzabilità dell’operazione e non vorrei
che questo fosse il presupposto per far prevalere metodi automatici, cioè
bibliometrici, la cui introduzione nelle discipline umanistiche,
nell’attuale stato delle cose, sarebbe impraticabile prima che
disastrosa.
(Si ringrazia
per la collaborazione Antonio Costantini)