Lo scopo fondamentale della valutazione nell’istruzione è quello di migliorare i sistemi di istruzione e, dunque, in ultima analisi le modalità di apprendimento disciplinari degli studenti e il successo degli esiti formativi (ad esempio, in termini di occupabilità, di pay-off economico, ecc.). I sistemi di valutazione dei cicli formativi si pongono l’obiettivo generale di misurare i risultati delle organizzazioni scolastiche ed universitarie. Più nello specifico, la valutazione, quando è definita “di sistema” aiuta nell’identificare i punti di forza e debolezza del sistema di istruzione, comprendere quale programmazione è più efficace al fine del raggiungimento dei migliori risultati possibili rispetto agli obiettivi identificati e, più in generale, facilitare le scelte educative. Si tratta, quindi, di quella che in letteratura è definita valutazione delle performance, un’analisi per obiettivi tipica dell’ambito della riforma della Pubblica Amministrazione. La strategia di Lisbona, ad esempio, chiede ai governi nazionali di tradurre gli obiettivi contenuti nelle linee guida in politiche sull’istruzione necessarie al funzionamento del sistema di ciascun Paese. A seguito di ciò, in molti Paesi europei è cresciuta la tendenza a quantificare gli obiettivi di governo e le relative performance tramite l’utilizzo di indicatori quantitativi ben definiti e che siano monitorabili e verificabili da coloro che sono parte attiva nei processi in atto. Pertanto, affinché un sistema di valutazione funzioni è necessario che gli obiettivi dei sistemi di istruzione siano chiari e ben esplicitati. La valutazione si deve configurare in modo coerente con i principi che compongono gli obiettivi del sistema di istruzione in modo tale che il funzionamento sia chiaro e comprensibile a tutti gli attori che gravitano intorno all’istituzione scolastica o universitaria. Per sapere se un sistema di istruzione funziona in modo efficace ed efficiente ed eventualmente per migliorarlo, è necessario ottenere delle informazioni sul sistema stesso, dunque sugli studenti, sul personale docente e non docente, sui processi e sui meccanismi didattici, di governance, ecc.. In generale, oggi, tutti i Paesi si sono dotati di qualche forma di rendicontazione dei dati sui propri sistemi di istruzione e, con esse, di qualche forma di valutazione. Fino a circa 10 anni fa, in Italia e con tempi diversi in altri Paesi, la valutazione dei sistemi di istruzione coincideva di fatto con la valutazione delle performance degli studenti. Oggi il concetto di valutazione dei sistemi di istruzione risponde ad una logica complessa di tipo polisemico, che trova una buona espressione nella traduzione dei tre concetti di matrice anglosassone: assessment, accountability ed evaluation.Il termine assessment rimanda ad operazioni metriche e non metriche che danno origine a un giudizio, a una stima, a un’attribuzione di valore avente come oggetto, ad esempio, la competenza posseduta dallo studente: è il caso dei test standardizzati delle indagini internazionali oppure dei voti degli insegnanti.
L’accountability rimanda alla rendicontazione relativa alla realizzazione di un intervento in termini di prodotto. In riferimento alle istituzioni scolastiche e universitarie si può parlare più in generale di responsabilità delle politiche formative sugli stakeholders: ad esempio, rispondere degli effetti sugli esami universitari delle borse di studio per gli studenti.
Quando, invece, si vuole analizzare l’effetto di una politica in senso ampio il rimando è al termine evaluation. La valutazione delle politiche pubbliche è a tutti gli effetti un’attività di ricerca e di pratica professionale con funzione conoscitiva e finalizzata in modo strumentale ad apprendere dall’esperienza per formulare raccomandazioni per il cambiamento tramite l’espressione di giudizi su disegni, processi, risultati, effetti delle politiche pubbliche.
In che modo è possibile valutare gli apprendimenti degli studenti del primo e del secondo ciclo?
Le modalità di valutazione degli studenti del primo e del secondo ciclo sono diverse e spaziano da quelle più tradizionali degli insegnanti a quelle più recenti offerte dal sistema di valutazione nazionale SNV che propone forme di valutazione coordinate a livello più centralizzato, fino a quelle dei sistemi internazionali quali OCSE e IEA. Queste due organizzazioni offrono una lettura in chiave comparata della quantità e della qualità delle competenze del capitale umano per ciascun governo che aderisce, volontariamente, alle rilevazioni. I sistemi di valutazione delle competenze dell’OECD e dello IEA utilizzano al loro interno gli stessi “termometri”, cioè le stesse scale di misura, debitamente tradotte ed adattate per ciascun Paese.
Nel marzo 2013, anche in Italia, come in altri paesi, viene istituito il Sistema Nazionale di Valutazione (SNV). L’SNV è un sistema a tre gambe che si basa sulla partecipazione di INVALSI (Istituto Nazionale per la Valutazione del Sistema Educativo di Istruzione e Formazione, www.invalsi.it), che ne detiene il coordinamento funzionale, INDIRE (Istituto Nazionale di Documentazione, Innovazione e Ricerca Educativa, www.indire.it) e corpo ispettivo. In accordo con quanto previsto dal Regolamento sulla Valutazione, l’SNV valuta l’efficacia e l’efficienza del sistema educativo di istruzione e formazione ai fini del miglioramento della qualità dell’offerta formativa e degli apprendimenti. Quattro sono le dimensioni indagate dall’SNV in relazione agli apprendimenti:
Risultati scolastici. Rientrano sotto questa dimensione un gruppo di indicatori che fa riferimento alla relazione tra studente e istituzione scolastica intesa nei termini di esiti degli scrutini, trasferimenti ed abbandoni, votazioni conseguite. Le fonti di acquisizione delle informazioni sono fornite sia da indicatori delle scuole e sia indicatori di tipo ministeriale (fonti MIUR).
Risultati nelle prove standardizzate nazionali. Si rimanda in questo caso alle prove somministrate da INVALSI e volte a rilevare l’acquisizione dei livelli essenziali di competenza in italiano e matematica e, dall’anno scolastico 2016/17, inglese (o altra lingua straniera del corso di studio) ed ad eventuali indicatori elaborati dalla scuola.
Competenze chiave e di cittadinanza. In relazione a questo ambito si raccolgono indicazioni relative alle competenze cognitive e non cognitive, quali ad esempio le competenze chiave, quelle ritenute necessarie per vivere in modo pieno la propria cittadinanza, le competenze sociali e civiche (rispetto delle regole, capacità di creare rapporti positivi con gli altri, costruzione del senso di legalità, sviluppo dell’etica della responsabilità e di valori in linea con i principi costituzionali), le competenze relazionali, le competenze personali legate alla capacità di essere autonomi, di orientarsi ed agire efficacemente. Allo stato attuale non esistono indicatori costruiti a livello centralizzato, ma la rilevazione avviene sulla base di indicatori elaborati in autonomia dalle singole scuole.
Risultati a distanza. In riferimento a questo ambito sono raccolte informazioni relative agli esiti a distanza nei percorsi di studio e legati all’inserimento del mondo del lavoro. La prosecuzione degli studi universitari o nel passaggio tra il primo e il secondo ciclo, il tipo di contenuto del percorso seguito successivamente e il monitoraggio degli esiti ad uno o due anni di distanza, rappresentano gli indicatori utilizzati per rispondere alla domanda del successo formativo nel lungo periodo. Per le scuole del secondo ciclo gli indicatori disponibili centralmente (fonte MIUR) riguardano la quota di studenti iscritti all’università e i crediti universitari conseguiti dagli studenti nel primo e nel secondo anno dopo il diploma; per le scuole del primo ciclo gli indicatori disponibili riguardano l’adozione del consiglio orientativo per l’iscrizione alla scuola secondaria.
La forma principale di valutazione degli apprendimenti rimane in capo agli insegnanti. Tradizionalmente, uno dei più importanti strumenti utilizzati dagli insegnanti per valutare gli apprendimenti degli studenti sono i voti e nel 95% dei Paesi la valutazione avviene attribuendo un punteggio in accordo con una scala di numeri o lettere. Negli ultimi decenni, la maggior parte delle scuole ha implementato quadri di riferimento per la valutazione definiti criterion-based finalizzati a regolamentare l’attività degli insegnanti e delle scuole nella valutazione degli studenti. Una parte crescente della letteratura evidenzia come i voti degli insegnanti dovrebbero essere criterion-referenced e non norm-referenced: gli insegnanti non dovrebbero calibrare i propri giudizi sul livello della classe o della scuola, ma sulla base di quadri riferimento condivisi e sul livello medio nazionale.
Come avviene la valutazione dell’organizzazione scolastica, dei dirigenti scolastici e dei docenti?
La valutazione dell’organizzazione scolastica, della dirigenza scolastica e dei docenti ha una storia recente nel nostro paese. In merito alla valutazione è da specificare come il focus stesso dell’SNV sia sulla scuola. L’emanazione del DPR 80/2013 e della Legge 107/2015 ha avviato un processo di valutazione delle istituzioni scolastiche, di durata triennale, in quattro passaggi: 1) autovalutazione; 2) valutazione esterna (per il 10% delle scuole ogni anno); 3) miglioramento e 4) rendicontazione. Gli approcci alla valutazione delle scuole si sviluppano con l’obiettivo delle politiche educative di avviare pratiche di miglioramento per le scuole e per l’intero sistema scolastico. In particolare ci si aspetta che le azioni di miglioramento portino ad una maggiore efficienza nelle pratiche dell’insegnamento e nei risultati di apprendimento degli studenti. Il quadro di riferimento adottato – sia nelle sperimentazioni sia nel sistema di valutazione attuale – è contenuto nel ValSis (www.invalsi.it/valsis/docs/062010/QdR_completo_ValSiS.pdf), un articolato impianto di indicatori che fanno riferimento al modello CIPP (Contesto, Input, Processo, Prodotto) e risultato dello studio di ricognizione della letteratura internazionale condotto dall’INVALSI tra il 2008 e il 2010. Le dimensioni del quadro di riferimento dell’SNV sia per le sperimentazioni sia per l’attuale configurazione consistono in 1) “gli esiti” formativi ed educativi degli studenti articolati in risultati scolastici, esiti delle prove standardizzate nazionali, competenze di base e risultati a distanza; 2) i “processi” suddivisi in pratiche educative, didattiche e organizzative-gestionali; 3) il “contesto” ossia la disponibilità di risorse e le condizioni di status socio-economico e culturale in cui la scuola è inserita. Gli approcci al miglioramento verso cui le scuole dovrebbero convergere sono sintetizzati dalla letteratura, nata nel corso degli anni ’70, sulla school improvement e sulla school effectiveness: la prima teoria è maggiormente focalizzata sui risultati degli studenti e sulla capacità della scuola di gestire il cambiamento, mentre la seconda teoria analizza prevalentemente i processi e le pratiche offerte. Entrambe gli approcci cercano di definire gli aspetti predittivi ed esplicativi dei processi e dei meccanismi educativi.
Diversamente dalla valutazione delle scuole che valuta l’organizzazione nel suo complesso e non il singolo attore, la valutazione per la dirigenza scolastica prevede che la rilevazione delle perfomance individuale del dirigente scolastico si colleghi all’incarico triennale che è attribuito al dirigente sulla base di cui alcuni obiettivi stabiliti a livello regionale, alcuni obiettivi definiti dall’USR della regione di appartenenza e dagli obiettivi definiti a partire dalle priorità del RAV. La valutazione si lega, nel giudizio conclusivo, alla retribuzione di risultato del dirigente. Gli strumenti di valutazione, nelle intenzioni del legislatore, oltre a svolgere un’attività di rendicontazione, dovrebbero rappresentare un supporto al miglioramento per la figura del dirigente scolastico stesso. A seguito dell’acquisizione degli obiettivi della regione di appartenenza, la normativa prevede, a partire dall’anno scolastico 2017/18, che il dirigente scolastico compili una relazione annuale e documenti il proprio percorso tramite evidenze con il Portfolio (www.istruzione.it/snv/dirigenti.shtml).
Potrebbe interessarti anche...
Infine gli insegnanti. La valutazione degli insegnanti è un tema da sempre molto dibattuto: sia tra i ricercatori sia tra quanti operano quotidianamente nelle scuole, è opinione comune ritenere che la chiave più importante del successo scolastico e formativo risieda nella bravura e nella qualità degli insegnanti. In effetti si ipotizza, ad esempio, che uno degli elementi alla base del successo del modello di scuola finlandese sia la modalità di selezione molto attenta in ingresso per gli insegnanti: si recluta quella fascia di popolazione più motivata e preparata dal punto di vista disciplinare e culturale. Nel 2015, entra a sistema il Comitato di Valutazione degli insegnanti regolato dalla Legge 107/2015 sulla Buona Scuola (che attualmente regola la valutazione dei docenti, commi 126-130). L’idea sottostante è quella di creare un meccanismo competitivo tra insegnanti in grado di stimolarne e incentivarne il miglioramento per iniziativa individuale. Si presuppone che il raggiungimento del premio (bonus) possa costituire uno stimolo a migliorare, per iniziativa personale, il rispettivo stile e le rispettive modalità di insegnamento; inoltre, gli insegnanti più sensibili potrebbero vedere migliorata la propria auto-percezione. La logica rimanda ad una valutazione di tipo sommativo (l’insegnante deve dimostrare e documentare il proprio lavoro) con leva sull’incentivo economico svincolato dall’azione formativa.
Quale sistema di valutazione per la didattica universitaria?
L’università è un’istituzione che svolge funzioni molteplici ricollegabili a beni pubblici (indivisibili) e privati (acquisibili dagli individui), che fa riferimento a stakeholders multipli e produce esiti difficili da misurare. Poiché buona parte degli studi condotti finora e prevalentemente riferiti ai Paesi del cosiddetto occidente industrializzato, mostrano che l’istruzione contribuisce allo sviluppo socio-economico di un Paese, il tema della migliore modalità di gestione e organizzazione del sistema universitario è ormai entrato nell’agenda del dibattito istituzionale, accademico e politico anche in Italia.
La valutazione in ambito accademico ha fatto da apripista alla valutazione nella Pubbliche Amministrazione sin dagli anni ’90 del secolo scorso. Secondo molti la pratica valutativa che negli ultimi decenni ha investito il sistema universitario italiano appartiene al tipo della valutazione burocratica individuato da Mac Donald (1977): «è un servizio incondizionato a coloro che nelle agenzie governative hanno il controllo delle risorse… il valutatore accetta i valori di chi dirige l’ufficio, e agisce come un consulente il cui criterio di successo è la soddisfazione del cliente… non ha indipendenza, né controllo sull’uso che viene fatto dell’informazione». Si tratterebbe, insomma, di un adempimento burocratico giustificato con la «realtà del potere» niente di più lontano da quella che l’autore definisce valutazione democratica, che si giustifica per il «diritto a conoscere». In quest’ultima il valutatore «offre un servizio di informazione alla comunità sulle caratteristiche di un programma, raccoglie le reazioni al programma, riconosce il pluralismo dei valori e agisce come un mediatore nello scambio tra i differenti gruppi e i cittadini, a cui assicura l’anonimato». Se ci si interroga in merito alla funzione della valutazione e sul modo in cui si formula un giudizio all’interno del processo valutativo, si può constatare che il modello utilizzato nell’ambito accademico italiano oscilla tra un approccio positivista-sperimentale (prevalentemente) e uno pragmatista-della qualità (più timidamente) (secondo la classificazione di Stame, 2016). Infatti, l’elemento di confronto è quasi sempre rappresentato dagli obiettivi e la valutazione consiste nel monitorare se e in che modo essi sono stati raggiunti. Le domande che ci si pongono sono: i risultati corrispondono agli obiettivi? Gli effetti dipendono dal programma? La direzione del processo valutativo è senza ombra di dubbio di tipo top-down.
Il modello pragmatista-della qualità è rintracciabile nei tentativi che si fanno, ad opera di agenzie sovranazionali e nazionali (ANVUR), ma anche di testate giornalistiche e attori simili, di comparare la situazione italiana a quella internazionale. In base ad esso la logica del valutare si articola in quattro predicati: 1) stabilire dei criteri (grading); 2) dare un punteggio (scoring); 3) collocare in una graduatoria (ranking); 4) sintetizzare i tre predicati precedenti per consentire un’allocazione delle risorse (apportioning). Scriven stesso sostiene che questo modo di procedere assomigli alla valutazione dei prodotti fatta dai consumatori e, per questo, il suo modello è anche chiamato “valutazione orientata al consumatore”. Negli ultimi decenni la valutazione dei sistemi educativi ha sempre più aderito a questa interpretazione, in particolare interpretando lo studente come consumatore e incorporando la logica dei ranking and rating. Si veda, ad esempio, la classifica universitaria U-Multirank (www.umultirank.org), che riunisce circa 1.500 università di 99 paesi. Finanziata dal programma Erasmus+ dell’Unione Europea, U-Multirank è una classifica mondiale che si propone di consentire agli utenti di raffrontare la performance delle università su diverse dimensioni e di creare una classifica personalizzata selezionando gli indicatori in base alle proprie esigenze.
Questo apre un importante fronte di discussione sul caso italiano perché utilizzi impropri delle procedure di valutazione possono comportare la creazione di un apparente “mercato” derivante dalle procedure di ranking permesse dai dati di AVA (Autovalutazione, Valutazione e Accreditamento) e di VQR (Valutazione della Qualità della Ricerca, a cui accenneremo soltanto in questo lavoro), che permetterebbero agli utenti di esercitare un illusorio potere di scelta. Si tratta, infatti, di strumenti troppo complessi e multidimensionali per essere pienamente apprezzati da un pubblico di non esperti, come potrebbero essere la maggior parte delle famiglie dei potenziali immatricolati.
Quali convergenze e quali divergenze esistono nella valutazione dei cicli di istruzione?
La scuola e l’università, insieme, rappresentano il sistema di istruzione nazionale e come tali condividono una missione, ossia quella di preparare nel migliore dei modi possibile i propri studenti ad affrontare le sfide di una società globale e nella quale il cambiamento avviene con crescente rapidità. Eppure, nonostante la condivisione del progetto comune della formazione, ritenuto da più parti cruciale allo sviluppo delle società intera, risultano davvero poche le occasioni di riflessione sulla missione, sui valori e su una visione di sviluppo integrata tra queste istituzioni. A nostro parere, invece, lo scambio di prospettive, l’integrazione di approcci teorici e metodologie di ricerca portano ad un arricchimento complessivo e a stimoli nuovi, soprattutto in quello che può essere un ambito delicato e oggetto di dibattito acceso come quello della valutazione. I due modelli mostrano diverse assonanze. Ad esempio, entrambi, sulla base dell’esempio europeo, si basano su una struttura che conta di un processo di autovalutazione, seguito dalla valutazione esterna (nel caso dell’università anche anticipato dalla valutazione esterna attraverso lo strumento dell’Accreditamento iniziale). Nei fatti, però, mentre tutte le istituzioni universitarie sono sottoposte alla valutazione esterna, nel caso delle scuole meno di una scuola ogni tre, in ogni ciclo di durata triennale, riceverà la visita esterna. Quindi, mentre la valutazione esterna è un momento cardine del processo di assicurazione della qualità degli atenei, stenta ancora ad affermarsi in ambito scolastico.
In entrambi i sistemi, inoltre, il processo di valutazione si è spostato progressivamente dal focus sui processi a quello sugli esiti, tentando di attivare, in ambito universitario più che in quello scolastico, una sequenza causale tra processi e risultati che dia senso alle politiche implicite nella valutazione.
La prima e fondamentale differenza sta nel fatto che mentre la valutazione degli apprendimenti è fondamentale per la scuola, essa è quasi ignorata per l’università, nonostante nella vita quotidiana accademica sia una delle attività principali nelle quali sono impegnati i professori. Sia il sistema AVA sia l’SNV, comunque, promuovono la trasparenza dei criteri di valutazione adottati dai docenti. Nel caso delle scuole i criteri possono essere comuni e stabiliti collegialmente per dipartimenti disciplinari all’interno di una stessa istituzione; per le università la questione è più complessa perché la specializzazione dei corsi rende meno percorribile questa via.
Alcuni ambiti del sistema AVA e dell’SNV non sono nemmeno parzialmente confrontabili perché rispondono a criteri e contenuti completamente diversi: ad esempio, a differenza della scuola (per quanto anche qui non si tratti di una iniziativa pienamente organica, ma su base volontaria), nell’università i docenti e le figure dirigenziali non vengono valutate in base alla qualità della didattica, ma solo in base a quella della ricerca e le poche forme di valutazione della didattica erogata esistenti (la valutazione delle opinioni degli studenti) non ha alcuna conseguenza, se non in termini di riflessione personale del docente. Nella scuola la rendicontazione è una fase successiva al miglioramento: è questo un indicatore di come l’attenzione su cosa si restituisce pubblicamente non è sull’esito, ma su sullo sforzo che la scuola fa per migliorarsi. Diversamente, nell’università la rendicontazione è più marcatamente legata agli esiti.
