Valutare l’attività delle strutture ospedaliere e residenziali dei DSM:
gli indicatori PRISM (PRocess Indicator System for Mental health)
Evaluating the activity of the Italian Mental Health Services
inpatient and residential facilities: the PRISM
(Process Indicator System for Mental health) indicators
ANGELO PICARDI1, EMANUELE TAROLLA1,2, GIOVANNI DE GIROLAMO3, ANTONELLA GIGANTESCO1, GIOVANNI NERI4,5, ELISABETTA ROSSI5,6, MASSIMO BIONDI7, GRUPPO DI LAVORO PRISM*
E-mail: angelo.picardi@iss.it
1Reparto Salute Mentale, Centro Nazionale di Epidemiologia, Sorveglianza e Promozione della Salute, Istituto Superiore di Sanità, Roma
2Unità Operativa di Psichiatria, Dipartimento di Salute Mentale e Dipendenze Patologiche, AUSL di Rimini
3IRCCS Centro San Giovanni di Dio-Fatebenefratelli, Brescia
4Università di Modena e Reggio Emilia
5Società Italiana di Epidemiologia Psichiatrica
6Dipartimento di Salute Mentale, Perugia
7Dipartimento di Neurologia e Psichiatria, Policlinico Umberto I, Sapienza Università di Roma
RIASSUNTO. Il presente articolo descrive le attività del progetto che ha portato allo sviluppo degli indicatori PRISM (PRocess Indicator System for Mental health), un sistema di indicatori di processo e processo/esito utilizzabili per monitorare nel tempo la qualità dell’assistenza nelle strutture di ricovero e residenziali psichiatriche italiane. Materiali e metodi. Partendo da un insieme di 251 indicatori candidati sviluppati da enti di particolare qualificazione e rilevanza in ambito italiano e internazionale, sono stati selezionati mediante una valutazione standardizzata da parte di un gruppo di esperti, e una successiva rilevazione pilota in 17 strutture di ricovero e 13 strutture residenziali, un totale di 28 indicatori derivabili da dati presenti nelle cartelle cliniche dei degenti e informazioni su aspetti pertinenti alla struttura, e relativi a processi di cura, dotazioni operative della struttura, formazione e operatività del personale, rapporti con enti esterni ed eventi sentinella. Risultati. La procedura seguita per lo sviluppo del sistema di indicatori è stata riproducibile e innovativa. I dati emersi dalla rilevazione pilota hanno suggerito l’esistenza di un rapporto favorevole tra carico di lavoro associato all’uso regolare del sistema nel contesto delle attività assistenziali, e benefici derivanti dalle informazioni ottenute dall’utilizzo routinario degli indicatori. Conclusioni. Mediante l’aggiunta alle informazioni più routinarie, disponibili con i sistemi informativi, di quelle più sofisticate sui processi assistenziali che gli indicatori sono in grado di rilevare, il sistema PRISM potrebbe essere utile sia per programmi di valutazione periodica della qualità professionale, sia a fini di ricerca sui servizi sanitari.
PAROLE CHIAVE: indicatori di processo, qualità dell’assistenza, salute mentale.

SUMMARY. This article describes the activities of a project aimed at developing a system of process and process/outcome indicators suitable to monitor over time the quality of psychiatric care of Italian inpatient and residential psychiatric facilities. This system, named PRISM (Process Indicator System for Mental health), was developed by means of a standardized evaluation made by a panel of experts and a consecutive pilot study in 17 inpatient and 13 residential psychiatric facilities. Materials and methods. A total of 28 indicators were selected from a set of 251 candidate indicators developed by the most relevant and qualified Italian and international authorities. These indicators are derived by data from medical records and information about characteristics of facilities, and they cover processes of care, operational equipment of facilities, staff training and working, relationships with external agencies, and sentinel events. Results. The procedure followed for the development of the indicator system was reliable and innovative. The data collected from the pilot study suggested a favourable benefit-cost ratio between the workload associated with regular use of the indicators into the context of daily clinical activities and the advantages related to the information gathered through regular use of the indicators. Conclusions. The PRISM system provides additional information about the healthcare processes with respect to the information gathered via routine information systems, and it might prove useful for both continuous quality improvement programs and health services research.
KEY WORDS: process indicators, quality of care, mental health.

INTRODUZIONE
La salute mentale è una componente fondamentale della salute dei cittadini e un importante elemento da considerare nella programmazione sanitaria. La prevalenza dei disturbi mentali nella popolazione generale è molto elevata e, secondo recenti proiezioni, tali disturbi sono destinati a divenire nel prossimo decennio una delle principali fonti di disabilità e sofferenza1,2.
Per fare fronte a questi bisogni di salute mentale della popolazione, esiste in Italia un vasto e articolato sistema di servizi3. Esso è relativamente nuovo e risale al 1978, epoca in cui gli ospedali psichiatrici (OP) sono stati gradualmente chiusi e si è passati a modalità di assistenza sul territorio, coordinate dai Dipartimenti di Salute Mentale (DSM). Tra gli aspetti più rilevanti di questa riorganizzazione dell’assistenza, vi sono da un lato l’apertura di un gran numero di Centri di Salute Mentale (CSM) che forniscono prestazioni ambulatoriali; dall’altro, il graduale rimpiazzo degli OP con dei reparti ospedalieri, chiamati Servizi Psichiatrici di Diagnosi e Cura (SPDC), rivolti ai pazienti acuti che necessitano di un trattamento in regime di ricovero, e l’apertura di un gran numero di Strutture Residenziali non ospedaliere (SR) per l’assistenza dei pazienti caratterizzati da maggiori livelli di gravità clinica o disabilità. Per il trattamento dei pazienti acuti, agli SPDC si affiancano alcuni reparti di degenza nelle Cliniche Psichiatriche delle università, un piccolo numero di CSM con posti letto aperti 24 ore, e 55 case di cura psichiatriche private convenzionate, le quali hanno un numero di posti letto leggermente maggiore di quello delle strutture pubbliche per acuti.
Il complesso delle strutture di ricovero e residenziali, attivo da oltre 30 anni, dispone complessivamente di circa trentamila posti. Tuttavia, sino a poco tempo fa erano disponibili solo informazioni molto limitate sulle strutture di ricovero per pazienti acuti, le strutture residenziali, le caratteristiche dei pazienti in esse ospitati e i trattamenti erogati. Negli ultimi anni, tali strutture sono state oggetto di due progetti di ricerca nazionali, denominati “PROGRES” (sulle strutture residenziali) e “PROGRES Acuti” (sulle strutture di ricovero per pazienti acuti), che hanno generato un gran numero di pubblicazioni internazionali e hanno finalmente consentito di disporre di informazioni dettagliate sugli aspetti strutturali e di processo, il personale, i trattamenti erogati, le caratteristiche demografiche e cliniche dei pazienti ospitati 4-15. Questi progetti hanno permesso di mettere in luce sia punti di forza sia aree suscettibili di miglioramento e potenziali criticità nel funzionamento di tali strutture, il cui panorama risulta alquanto eterogeneo in termini sia strutturali sia di processo.
È emersa, dunque, la potenziale utilità di un sistema di indicatori di processo e di processo/esito per valutare e monitorare nel tempo la qualità dell’assistenza erogata da tali strutture, nell’ambito di un processo di miglioramento continuo della qualità dei servizi sanitari, e come premessa informativa per interventi di programmazione sanitaria tesi al miglioramento dell’assistenza erogata. È stato perciò disegnato un progetto inteso a capitalizzare sui dati generati dagli studi PROGRES, uniti alle migliori evidenze disponibili nella letteratura scientifica relative all’appropriatezza dell’organizzazione dei servizi e dell’efficacia dei trattamenti in psichiatria, avente l’obiettivo di realizzare un sistema di indicatori di processo e di processo/esito validi, precisi, affidabili e utilizzabili, per valutare e monitorare nel tempo la qualità dell’assistenza fornita dalle strutture psichiatriche residenziali e di ricovero. Un simile sistema può consentire sia l’individuazione di aree critiche su cui implementare programmi di miglioramento della qualità dell’assistenza, sia il monitoraggio dell’andamento degli indicatori nel tempo 16-19.
Il presente articolo descrive le attività svolte nel corso di questo progetto e i suoi prodotti scientifici.
METODI
Le attività si sono articolate in quattro fasi distinte: una fase preparatoria (settembre 2008-marzo 2009), la creazione della lista degli indicatori (marzo 2009-settembre 2010), la rilevazione pilota degli indicatori con applicazione prototipale degli stessi in alcuni DSM collaboranti (settembre 2010-settembre 2011) e la rifinitura del sistema (settembre 2011-marzo 2012).
Fase preparatoria
Nei primi mesi della fase preparatoria, è stata reperita la letteratura scientifica più recente a proposito dello sviluppo di indicatori di processo e di processo/esito per la salute mentale. Per identificare la letteratura scientifica pertinente, è stata costruita una strategia di ricerca per la consultazione delle basi di dati biomediche, tra le quali PubMed, Embase, PsychInfo, BIOSIS, British Nursing Index, Cinahl, Pascal, Social Science Citation Index, Science Citation Index, e sono stati visitati i principali siti di qualità dei servizi sanitari per verificare l’esistenza di eventuali documenti di interesse. I documenti identificati dalla ricerca bibliografica sono stati sottoposti a una selezione in base all’esame del titolo e del riassunto, e di quelli ritenuti pertinenti è stato reperito il testo integrale.
Si è data particolare attenzione agli indicatori sviluppati da organismi ed enti di particolare qualificazione e rilevanza tra i quali Commissione Europea, Organizzazione Mondiale della Sanità, Organisation for Economic Cooperation and Development (OECD), Canadian Institute for Health Information (CIHI), Canadian Council on Health Service Accreditation (CCHSA), United Kingdom Department of Health (DH), Australian Council on Healthcare Standards (ACHS), Center for Quality Assessment and Improvement in Mental Health (CQAIMH), Joint Commission on Accreditation of Healthcare Organization (JCAHO), National Committee for Quality Assurance (NCQA), Agency for Healthcare Research and Quality (AHRQ), Danish Healthcare System.
Inoltre, è stato costituito un gruppo di esperti, comprendente professionisti con comprovata esperienza e competenza nel campo della valutazione dei servizi, tra cui alcuni esperti designati dalla Società Italiana di Epidemiologia Psichiatrica (SIEP).
L’attività del gruppo di esperti ha previsto incontri periodici presso l’Istituto Superiore di Sanità (ISS) e regolari comunicazioni mediante posta elettronica. Tutti i membri del gruppo hanno ricevuto i materiali d’interesse in allegato alle comunicazioni per posta elettronica e hanno potuto segnalare all’unità di coordinamento materiale bibliografico utile non emerso dalle bibliografie ottenute dalla consultazione delle basi di dati.
Creazione della lista degli indicatori
Sulla base del materiale bibliografico reperito nella fase preparatoria, è stata effettuata una revisione della letteratura scientifica e delle esperienze nazionali e internazionali più significative20-49, che ha permesso di identificare una prima serie di indicatori di processo e processo/esito di largo utilizzo per gli scopi previsti e maggiormente fondati su evidenze scientifiche, ed è stata stilata una prima lista di indicatori candidati. Per l’identificazione e la selezione degli indicatori candidati sono stati considerati quegli indicatori che soddisfacessero i seguenti requisiti: a) indicatori di processo e di esito; b) indicatori relativi alla salute mentale, riferiti a strutture residenziali e/o di ricovero; c) indicatori descritti in letteratura scientifica o prodotti/selezionati da organismi ed enti di particolare qualificazione e rilevanza; d) indicatori pertinenti e applicabili al contesto di interesse. Sono stati anche considerati alcuni indicatori di struttura che includessero aspetti di processo e apparissero di particolari pertinenza e rilevanza per la qualità della tipologia di strutture oggetto della valutazione. In totale sono stati selezionati 251 indicatori candidati, a ciascuno dei quali è stato assegnato un codice univoco identificativo. Per gli indicatori sviluppati da enti non italiani, si è provveduto alla traduzione dell’indicatore originale.
In seguito, si è svolta la prima riunione del gruppo di esperti, durante la quale è stata condivisa la lista di indicatori candidati, ed è stata illustrata e approvata dal gruppo di esperti la metodologia proposta per la produzione e lo sviluppo del sistema di indicatori, che si è articolata nei seguenti punti: 1) perfezionamento della lista degli indicatori candidati, con creazione di una scheda dettagliata per ogni indicatore; 2) invio della lista degli indicatori candidati al gruppo di esperti e completamento di questa con ulteriori indicatori, ritenuti di particolare pertinenza, segnalati dagli esperti; 3) valutazione preliminare in tre tempi degli indicatori candidati da parte del gruppo di esperti, per eliminare eventuali indicatori ritenuti di scarso interesse; 4) redazione di una scheda descrittiva dettagliata per ogni indicatore selezionato nella valutazione preliminare; 5) valutazione standardizzata da parte del gruppo di esperti degli indicatori preliminarmente selezionati, allo scopo di individuare un gruppo di indicatori significativi e di facile applicabilità da utilizzare nel corso della rilevazione pilota.
Per eliminare eventuali indicatori ritenuti di scarso interesse e velocizzare così la fase dedicata alla costruzione delle schede dettagliate sugli indicatori cui far seguire la valutazione standardizzata, si è deciso di sottoporre al gruppo di esperti, per una valutazione preliminare in tre tempi, la lista dei 251 indicatori candidati. Agli esperti è stato anche chiesto di aggiungere eventuali nuovi indicatori non compresi nella lista e particolarmente interessanti. Tale valutazione preliminare in più fasi ha consentito di ridurre a 91 il numero degli indicatori per i quali costruire le schede dettagliate. Nove di questi indicatori, che riguardavano unicamente le strutture psichiatriche residenziali o di ricovero, sono stati modificati in maniera tale da renderli applicabili a entrambi i tipi di struttura.
Per ciascuna scheda dettagliata sono state compilate le seguenti voci:
 1. codice (codice alfanumerico per identificare univocamente l’indicatore);
 2. denominazione (denominazione dell’indicatore proposta dall’ente sviluppatore);
 3. tipologia (“processo”, “esito” e “struttura/processo”);
 4. dominio: sulla base della teorizzazione di Donabedian50,51 gli indicatori di processo e di struttura/processo sono stati suddivisi nei domini “processi tecnici” (comprendente i sottodomini “prevenzione”, “accesso”, “valutazione”, “”trattamento”, “continuità”, “coordinamento”, “sicurezza”), “processi interpersonali” e “costo/efficienza”, mentre quelli di esito nei domini “sintomi”, “funzionamento”, “qualità della vita”, “soddisfazione” e “costo/efficacia”;
 5. tematica (sulla base della tematica di appartenenza proposta dell’ente sviluppatore);
 6. ricovero (è stato indicato “sì” se l’indicatore in questione sia stato ritenuto adeguato per l’utilizzo nelle strutture di ricovero);
 7. residenze (è stato indicato “sì” se l’indicatore in questione sia stato ritenuto adeguato per l’utilizzo nelle strutture residenziali);
 8. motivazione alla base dell’indicatore (sono state riportate le basi teoriche proposte dall’ente sviluppatore);
 9. misura specifica (descrizione particolareggiata dell’indicatore);
10. numeratore (il numeratore dell’indicatore, se applicabile);
11. denominatore (il denominatore dell’indicatore, se applicabile);
12. fonte primaria di informazione (la fonte da cui ottenere i dati necessari per l’indicatore);
13. periodo di osservazione (il periodo di osservazione proposto dall’ente sviluppatore).
Valutazione standardizzata degli indicatori preliminarmente selezionati
La procedura di valutazione standardizzata degli indicatori si è rifatta a quella utilizzata per il progetto NIMHQM (National Inventory of Mental Health Quality Measures) del Center for Quality Assessment and Improvement in Mental Health (CQAIMH) di Boston, con opportune modifiche52-58. Oggetto della valutazione sono state la significatività (importanza dell’indicatore dal punto di vista del valutatore; percezione, nell’area oggetto di valutazione dell’indicatore, di un divario tra pratica clinica attuale e ideale; probabile associazione tra un miglioramento del punteggio dell’indicatore e migliori esiti in termini di salute mentale) e la fattibilità (chiarezza nella sua descrizione, modesto carico derivato dal rilevamento dei relativi dati, ridotta necessità di modifiche per il confronto tra contesti clinici differenti) dell’indicatore. È stata poi prevista un’ultima scala che valuta in maniera globale l’indicatore.
La valutazione è stata effettuata utilizzando una scala Likert a 6 punti con ancoraggi, con punteggi compresi tra 1 (“per nulla d’accordo”) e 6 (“completamente d’accordo”). Sono stati calcolati media aritmetica e deviazione standard dei punteggi di significatività e fattibilità in base alle votazioni degli esperti. Le soglie per la selezione degli indicatori sono state di un punteggio medio ≥5 per la significatività e un punteggio medio ≥4 per la fattibilità.
Sulla base della valutazione standardizzata da parte del gruppo di esperti, sono stati selezionati 29 indicatori dei 91 della lista. Agli indicatori selezionati è stato attribuito un codice identificativo alfanumerico sulla base dell’acronimo PRISM (PRocess Indicator System for Mental health) coniato per il sistema di indicatori.
In seguito, si è tenuta presso l’ISS la seconda riunione del gruppo di esperti, che ha avuto per oggetto il sistema di indicatori sviluppato e l’organizzazione della rilevazione pilota. Sono stati apportati alcuni cambiamenti alla lista degli indicatori, con l’eliminazione di un indicatore e l’aggiunta di tre nuovi indicatori. Il sistema di indicatori, nella sua versione definitiva per la rilevazione pilota, è risultato dunque costituito da un totale di 31 indicatori, di cui 28 applicabili a strutture di ricovero e 21 a strutture residenziali. Dei 31 indicatori selezionati, 15 derivano dal Manuale QUASM, 4 dal progetto SIEP DIRECT’S, 4 dagli ACHS Clinical Indicators - Mental Health Inpatient Indicators, 2 dal National Inventory of Mental Health Quality Measures, 1 dagli Health Outcome Indicators for Severe Mental Illness, 1 da Hospital-Based Inpatient Psychiatric Services Core Measure Set, 1 da WHO Assessment Instrument for Mental Health Systems, e 3 sono nuovi indicatori proposti durante la valutazione preliminare o la fase di valutazione standardizzata.
Dei 31 indicatori selezionati, 13 sono indicatori di struttura/processo, 16 di processo e 2 di processo/esito. Essi sono stati classificati in cinque categorie omogenee per contenuto e tipo di dato: “processi di cura” (11 indicatori), “dotazioni operative della struttura” (4 indicatori), “formazione e operatività del personale” (6 indicatori), “rapporti con enti esterni” (5 indicatori), “eventi sentinella” (5 indicatori).
Rilevazione pilota degli indicatori
Tale rilevazione è stata messa in atto con l’obiettivo di valutare il sistema in riferimento al carico connesso al suo utilizzo routinario e alla qualità delle informazioni derivabili dagli indicatori. Si è ritenuto importante valutare l’applicabilità del sistema anche in contesti ove non fossero disponibili sistemi informativi, e dunque i dati utilizzati per il calcolo degli indicatori dovessero essere raccolti sul campo. Pertanto, si è concordato che la rilevazione pilota consistesse nella raccolta ad hoc dei dati necessari al calcolo degli indicatori da parte di un gruppo di rilevatori. I membri del gruppo di esperti si sono fatti responsabili della formazione dei rilevatori. Inoltre, per massimizzare l’omogeneità della rilevazione, è stata sviluppata una guida per i rilevatori che descrive dettagliatamente le procedure della rilevazione pilota.
È stato deciso un giorno indice (il 30 aprile 2011) in riferimento al quale valutare le caratteristiche di interesse delle strutture partecipanti e della popolazione di pazienti presenti all’interno di queste ultime.
Sulla base della natura degli indicatori, si è concordato di utilizzare, per tale rilevazione, le seguenti fonti di dati:
• cartelle cliniche dei degenti dimessi dalle strutture di ricovero e residenziali per tutti gli indicatori aventi come denominatore il numero delle dimissioni;
• altre fonti di informazione (per es., Direzione Sanitaria, Direzione del DSM, personale della struttura) per i restanti indicatori, volti a fornire informazioni su aspetti pertinenti alla struttura.

Per la rilevazione pilota sono stati realizzati due questionari per facilitare la raccolta dei dati. Il primo, denominato “scheda struttura”, contiene alcuni item sulla struttura oggetto della rilevazione necessari al calcolo di alcuni indicatori, e altri item relativi ad altre informazioni (tipologia di struttura, numero di posti letto, numero di dimissioni negli ultimi 3 mesi e nell’ultimo anno, numero di degenti/ospiti presenti al momento della rilevazione) necessarie per calcolare alcuni indici utilizzati nella successiva analisi dei dati. Il secondo, denominato “scheda pazienti”, contiene item relativi a caratteristiche di ciascuno dei pazienti cui si riferiscono le cartelle cliniche oggetto della rilevazione pilota. Anche in questo caso, sulla base delle informazioni ottenute dalla compilazione del questionario, è possibile calcolare gli indicatori del sistema.
Per valutare la versatilità del sistema, anche alla luce delle differenze a livello regionale nell’organizzazione dei servizi di salute mentale, si è scelto di coinvolgere nella rilevazione pilota diversi tipi di strutture, quali SPDC, reparti psichiatrici universitari, case di cura neuropsichiatriche convenzionate e strutture residenziali in sei diverse regioni italiane (Marche, Umbria, Emilia-Romagna, Lombardia, Abruzzo e Lazio).
La rilevazione pilota del sistema degli indicatori è stata compiuta tra aprile e agosto 2011. Sono state coinvolte 17 strutture di ricovero (una struttura riabilitativa di ricovero dell’IRCCS Fatebenefratelli di Brescia, 13 SPDC, 2 servizi psichiatrici ospedalieri intensivi e 1 casa di cura neuropsichiatrica) e 13 strutture residenziali. Grazie alla collaborazione delle strutture partecipanti, è stato possibile disporre di dati da 350 cartelle cliniche di pazienti di strutture di ricovero e 256 cartelle cliniche di pazienti di strutture residenziali, per un totale di 606 cartelle cliniche.
RISULTATI
Caratteristiche delle strutture partecipanti alla rilevazione pilota
Nell’anno precedente alla rilevazione pilota, le strutture partecipanti avevano effettuato in media 386,3±125,3 (strutture di ricovero) e 47,8±94,1 (strutture residenziali) dimissioni. L’indice di occupazione dei posti letto (rapporto tra numero di degenti al momento della valutazione e numero di posti letto della struttura) è risultato di 0,96±0,07 per le strutture di ricovero e di 0,97±0,05 per le strutture residenziali partecipanti. L’indice di rotazione dei posti letto nelle strutture coinvolte (rapporto tra il numero di dimissioni nell’ultimo anno e il numero di posti letto della struttura) è risultato pari a 25,5± 7,7 per le strutture di ricovero e 2,0±3,4 per le strutture residenziali.
Il numero totale medio di operatori in servizio presso le strutture partecipanti alla rilevazione pilota è stato di 26,9±11,3 operatori per le strutture di ricovero e di 15,8±4,6 operatori per le strutture residenziali. Il rapporto tra il numero totale di operatori in servizio presso le strutture partecipanti e il numero di posti letto è risultato di 1,6±0,7 per le strutture di ricovero e 1,0±0,5 per le strutture residenziali. La durata media di permanenza dei pazienti è risultata pari a 17,2±31,0 giorni nelle strutture di ricovero e a 382,8±421,9 giorni nelle strutture residenziali. Le strutture di ricovero disponevano in media di 3,1±1,4 stanze ove effettuare colloqui clinici, mentre le strutture residenziali di 3,1±1,5 stanze. In media, nelle strutture di ricovero sono stati effettuati 2,5±0,8 colloqui clinici a settimana, nelle strutture residenziali 1,0±1,0 colloqui clinici a settimana. Nelle strutture di ricovero sono state effettuate in media 4,6±3,6 ore di attività riabilitative a settimana, mentre nelle strutture residenziali 41,7±23,9 ore.
Considerato che il campione di strutture non è rappresentativo pur se abbastanza ampio, e che l’oggetto della rilevazione sono gli indicatori e non le strutture, non si è ritenuto pertinente presentare i valori degli indicatori rilevati.
Qualità dei dati e degli indicatori derivati
Una seconda analisi dei dati ha inteso valutare la qualità di questi ultimi a livello dei singoli item presenti nella scheda struttura e nella scheda pazienti. Le tipologie di errore oggetto di attenzione sono state definite nel modo seguente: a) dati mancanti, b) errata compilazione sulla base di domande condizionali (per es., compilazione di campi quando fosse stato richiesto di non compilarli); c) dati contraddittori o anomali.
In seguito, sono stati calcolati gli indicatori del sistema partendo dai dati ottenuti dalla compilazione dei questionari per ciascuna struttura. Per ciascun indicatore sono stati valutati il livello di completezza delle informazioni rilevate, e la variabilità nei punteggi tra strutture. Sono stati esaminati anche i commenti formulati dai rilevatori circa alcune ambiguità nelle domande presenti nei questionari o nelle istruzioni della guida alla rilevazione.
I dati raccolti hanno evidenziato la corretta comprensione e compilazione di gran parte degli indicatori, con un complessivo apprezzamento da parte di operatori e responsabili. I carichi di lavoro aggiuntivi sono risultati modesti, tranne che per le strutture con elevato ricambio di pazienti.
I problemi riscontrati nei dati sono stati i seguenti: compilazione di dati non previsti per il tipo di struttura; insoddisfacente specificazione di alcuni dati; formulazione poco chiara di alcuni indicatori; dati mancanti in luogo di risposta “0”; compilazione non necessaria di risposte condizionate. Al termine dell’analisi, ciascun indicatore è stato classificato secondo una “classe di problema”, tra quelle di seguito riportate:
 1. classe “A”: importanti problemi nella rilevazione, nel calcolo o nell’interpretazione dell’indicatore, tanto da richiedere verosimilmente una revisione dell’indicatore;
 2. classe “B”: casistiche molteplici e problemi nella formulazione delle domande necessarie alla costruzione dell’indicatore;
 3. classe “C”: difficoltà a recuperare le informazioni per la costruzione degli indicatori;
 4. classe “D”: scarsa pertinenza dell’indicatore rispetto al tipo di struttura ove sono stati raccolti i dati;
 5. classe “E”: nessun problema importante; possibili alcune piccole modifiche per migliorare l’indicatore.

Rifinitura del sistema di indicatori
Nel corso di una riunione conclusiva del gruppo di esperti, finalizzata alla revisione degli indicatori sulla base dei risultati della rilevazione pilota e dei riscontri ottenuti dai rilevatori, è stato presentato un testo riassuntivo sui risultati della rilevazione pilota e sulle criticità individuate per ciascun indicatore, e sono stati passati in rassegna gli indicatori al fine di raggiungere un consenso sulle eventuali modifiche da apportare al sistema. Sono state concordate le seguenti modifiche:
• si è deciso di estendere tutti gli indicatori del sistema a entrambe le tipologie di struttura, dopo l’osservazione, nel corso della rilevazione pilota, di una importante variabilità in termini di durata dei ricoveri e numero di posti letto emersa tra strutture analoghe in contesti regionali differenti: si è ritenuto in tal senso inopportuno escludere a priori l’applicazione di determinati indicatori in una delle due tipologie di struttura sulla base della classificazione della stessa come di ricovero o residenziale, e si è preferito applicare l’intero sistema a entrambe, anche al fine di offrire la possibilità di cogliere nel dettaglio e descrivere tale variabilità;
• sono stati eliminati dal sistema tre indicatori il cui calcolo ha presentato le maggiori difficoltà e che, nel contempo, sono stati ritenuti dal gruppo di esperti poco informativi;
• sono state operate alcune modifiche ai singoli indicatori per aumentare l’accuratezza e la riproducibilità della misurazione e diminuire il carico connesso alla rilevazione.

Il sistema di indicatori PRISM, nella sua forma definitiva, consiste dunque di 28 indicatori. La Tabella 1 ne riporta una descrizione essenziale. Il sistema PRISM completo, costituito dalle schede dettagliate di ciascun indicatore, dalle schede di rilevazione e dal manuale per la rilevazione, è disponibile ai soggetti istituzionali interessati su richiesta.



DISCUSSIONE
Lo svolgimento del progetto ha richiesto oltre tre anni per il raggiungimento degli obiettivi e lo sviluppo dei prodotti previsti. La procedura seguita per costruire il sistema di indicatori è stata riproducibile e innovativa. Per la prima volta in Italia, si è infatti messa in opera una valutazione standardizzata che, partendo da un vasto insieme di indicatori identificati in campo internazionale, permettesse la selezione di un sistema costituito dagli indicatori ritenuti particolarmente significativi e fattibili da parte di un gruppo di esperti, composto da professionisti di comprovata esperienza negli ambiti della clinica, dell’organizzazione dei servizi, dell’epidemiologia psichiatrica e del miglioramento continuo di qualità. Questa metodologia ha permesso di selezionare gli indicatori sulla base di elementi condivisi e oggettivi, piuttosto che di opinioni, pur se influenti. Gli indicatori PRISM sembrano ben corrispondere alla definizione di «variabili ad alto contenuto informativo, che consentono una valutazione sintetica di fenomeni complessi e forniscono gli elementi necessari a orientare le decisioni» 59.
La rilevazione pilota ha poi permesso di valutare la qualità del sistema applicando quest’ultimo a diverse tipologie di strutture di ricovero e residenziali nell’ambito della salute mentale. A questo proposito, si è potuto notare che la suddivisione effettuata tra strutture di ricovero e residenziali si è dimostrata solo in parte capace di cogliere l’importante variabilità tra strutture in contesti aziendali e regionali differenti. Per far fronte a tale criticità, anche al fine di migliorare la confrontabilità dei dati, nell’ottica di programmi di miglioramento interni ed esterni alle organizzazioni sanitarie, si è ritenuto opportuno estendere l’applicazione dell’intero sistema a entrambe le tipologie di struttura.
La scelta infine di privilegiare, per la rilevazione degli indicatori, una rilevazione ad hoc, come quella messa in campo nel corso della rilevazione pilota, è stata compiuta alla luce della considerazione di voler favorire la diffusione, anche in contesti ove non si disponga delle risorse offerte dai sistemi informativi, di programmi di valutazione periodica della qualità professionale finalizzati al miglioramento dell’assistenza. I riscontri ottenuti dagli operatori coinvolti nella rilevazione pilota e nel corso della diffusione del programma suggeriscono che tale tipo di rilevazione sia caratterizzata da un rapporto favorevole tra carico di lavoro associato all’adozione del sistema nel contesto delle attività assistenziali e benefici derivanti dalle informazioni ottenute dall’utilizzo routinario di indicatori per misurare la qualità professionale nel contesto della salute mentale nei servizi.
In futuro, sarebbe auspicabile la conduzione di una valutazione sperimentale dell’impatto del sistema PRISM sulla qualità dei servizi di salute mentale. Infatti, un elemento fondamentale, anche se purtroppo solo raramente messo in pratica, nella catena di attività che conduce alla produzione di un sistema di indicatori di qualità professionale, è costituito da una valutazione formale della sua effettiva utilità nel modificare la pratica clinica nel senso di una migliore qualità 60.
CONCLUSIONI
In conclusione, il sistema di indicatori PRISM, in considerazione della significatività degli aspetti esplorati e della sua buona accettabilità e facilità di impiego, può essere utile sia per programmi di valutazione periodica della qualità professionale, sia a fini di ricerca sui servizi sanitari. Per quest’ultimo scopo, si potrebbe sfruttare la confrontabilità dei dati tra diverse aree geografiche che il sistema garantisce. Un simile studio consentirebbe di aggiungere alle informazioni più routinarie, disponibili con i sistemi informativi, le informazioni più sofisticate sui processi assistenziali che il sistema PRISM è in grado di rilevare.
*Gruppo di lavoro PRISM: Coordinatori: A. Picardi, E. Tarolla; Gruppo degli esperti scientifici: M. Biondi, G. de Girolamo, A. Gigantesco, G. Neri, E. Rossi, G. Santone; Coordinatori locali: M. Biondi, M. Casacchia, A. Erlicher, G. de Girolamo, A. Lora, G. Neri, L. Orso, R. Pioli, E. Rossi, G. Santone; Rilevatori: S. Andreose, C. Bartoletti, L. Bersanini, S. Buzzetti, S. Campi, C. Caprioli, J. Candini, S. Caparrelli, G. Cheli, G. Colombo, G. Conserva, A. Corbetta, V. Dagani, I. D’Alessandro, F. Fiorini, J.C. Floriani, B. Fuà, D. Gibertini, D. Gibertoni, A. Lisotti, G. Maniscalco, M. Mareggiati, S. Martini, G. Matteucci, L. Mellini, M. Miglioli, R. Muratori, G. Nobili, M. Porcellana, A.L. Quarta, E. Rasi Caldogno, L. Rillosi, F. Rossi, G. Rossi, F. M. Saviotti, E. Semrov, N. Signorelli, S. Surace, A. Trequattrini, N. Toledi, G. B. Tura, C. Ungari, L. Zanni.
BIBLIOGRAFIA
 1. Murray CJ, Lopez AD. Global mortality, disability, and the contribution of risk factors: Global Burden of Disease Study. Lancet 1997; 349: 1498-504.
 2. Üstün TB, Ayuso-Mateos JL, Chatterji S, Mathers C, Murray CJL. Global burden of depressive disorders in the year 2000. Br J Psychiatry 2004; 184: 386-92.
 3. de Girolamo G, Bassi M, Neri G, Ruggeri M, Santone G, Picardi A. The current state of mental health care in Italy: problems, perspectives, and lessons to learn. Eur Arch Psychiatry Clin Neurosci 2007; 257: 83-91.
 4. de Girolamo G, Picardi A, Micciolo R, Falloon I, Fioritti A, Morosini P. Residential care in Italy. National survey of non-hospital facilities. Br J Psychiatry 2002; 181: 220-5.
 5. de Girolamo G, Picardi A, Santone G, et al. The severely mentally ill in residential facilities: a national survey in Italy. Psychol Med 2005; 35: 421-31.
 6. Amaddeo F, Grigoletti L, de Girolamo G, Picardi A, Santone G. Which factors affect the costs of psychiatric residential care? Findings from the Italian PROGRES study. Acta Psychiatr Scand 2007; 115: 132-41.
 7. Picardi A, Rucci P, de Girolamo G, Santone G, Borsetti G, Morosini P. The quality of life of the mentally ill living in residential facilities: findings from a national survey in Italy. Eur Arch Psychiatry Clin Neurosci 2006; 256: 372-81.
 8. Picardi A, de Girolamo G, Santone G, et al. The environment and staff of residential facilities: findings from the Italian “progres” national survey. Community Ment Health J 2006; 42: 263-79.
 9. Tomasi R, de Girolamo G, Santone G, et al. The prescription of psychotropic drugs in psychiatric residential facilities: a national survey in Italy. Acta Psychiatr Scand 2006; 113: 212-23.
10. Santone G, de Girolamo G, Falloon I, et al. The process of care in residential facilities: a national survey in Italy. Soc Psychiatry Psychiatr Epidemiol 2005; 40: 540-50.
11. De Girolamo G, Barbato A, Bracco R, et al. Characteristics and activities of acute psychiatric in-patient facilities: national survey in Italy. Br J Psychiatry 2007; 191: 170-7.
12. Gigantesco A, Miglio R, Santone G, et al. Process of care in general hospital psychiatric units: national survey in Italy. Aust N Z J Psychiatry 2007; 41: 509-18.
13. Preti A, Rucci P, Santone G, et al. Patterns of admission to acute psychiatric in-patient facilities: a national survey in Italy. Psychol Med 2009; 39: 485-96.
14. Guzzetta F, Miglio R, Santone G, et al. First-ever admitted psychiatric inpatients in Italy: clinical characteristics and reasons contributing to admission: findings from a national survey. Psychiatry Res 2010; 176: 62-8.
15. Santone G, Bellantuono C, Rucci P, Picardi A, Preti A, de Girolamo G. Patient characteristics and process factors associated with antipsychotic polypharmacy in a nationwide sample of psychiatric inpatients in Italy. Pharmacoepidemiol Drug Saf 2011; 20: 441-9.
16. Baars IJ, Evers SM, Arntz A, van Merode GG. Performance measurement in mental health care: present situation and future possibilities. Int J Health Plann Manage 2010; 25: 198-214.
17. Canadian Council on Health Service Accreditation. A Guide to the Development and Use of Performance Indicators (trad. it. Indicatori di Performance). Torino: Centro Scientifico Editore, 2002.
18. Gibberd R, Hancock S, Howley P, et al. Using indicators to quantify the potential to improve the quality of health care. Int J Qual Health Care 2004; 16: 37-43.
19. Loeb JM. The current state of performance measurement in health care. Int J Qual Health Care 2004; 16: 5-9.
20. Arah OA, Westert GP, Hurst J, et al. Conceptual framework for the OECD Health Care Quality Indicators project. Int J Qual Health Care 2006; 18: 5-13.
21. Australian Council on Healthcare Standards (ACHS). ACHS clinical indicator users’ manual 2008. Ultimo, NSW, Australian Council on Healthcare Standards (ACHS); 2007.
22. Australasian Clinical Indicator Report: 2001-2007. Determining the Potential to Improve Quality of Care: 9th Edition. Australian Council on Healthcare Standards, 2008.
23. Charlwood P, Mason A, Goldacre M, Cleary R, Wilkinson E (eds). Health outcome indicators: severe mental illness. Report of a working group to the Department of Health. Oxford: National Centre for Health Outcomes Development, 1999.
24. Chiu W, Yang C, Lin H, et al. Development and implementation of a nationwide health care quality indicator system in Taiwan. Int J Qual Health Care 2007; 19: 21-8.
25. Collopy BT, Williams J, Rodgers L, et al. The ACHS Care Evaluation Program: a decade of achievement. J Qual Clin Practice 2000; 20: 36-41.
26. Department of Health. National service framework for mental health. Modern standards and service models. London: Department of Health, 1999.
27. Joint Commission on Accreditation of Healthcare Organizations (JCAHO). Characteristics of clinical indicators. Qual Rev Bull 1989; 11: 330-9.
28. Joint Commission on Accreditation of Healthcare Organizations. Specifications Manual for National Hospital Inpatient Quality Measures, Version 2.6b, 01/2008. Joint Commission on Accreditation of Healthcare Organizations (JCAHO), 2008.
29. Kelley ET, Arispe I, Holmes J. Beyond the initial indicators: lessons from the OECD Health Care Quality Indicators Project and the US National Healthcare Quality Report. Int J Qual Health Care 2006; 9: 45-55.
30. Kelley E, Hurst J. Health Care Quality Indicators Project Conceptual Framework Paper. OECD Health Working Paper No. 23. Paris, Organisation for Economic Co-operation and Development (OECD), 2006.
31. Lora A, Corlito G, Miceli M, et al.; Gruppo SIEP-DIRECT’S. Il trattamento dell’episodio psicotico acuto: discrepanze fra pratiche di routine ed evidenze. Il Progetto SIEP-DIRECT’S. Epidemiol Psichiatr Soc 2008; 17: 319-30.
32. Ruggeri M, Lora A, Semisa D; SIEP-DIRECT’S Group. The SIEP-DIRECT’S Project on the discrepancy between routine practice and evidence. An outline of main findings and practical implications for the future of community based mental health services. Epidemiol Psichiatr Soc 2008; 17: 358-68.
33. Semisa D, Lora A, Morosini P, Ruggeri M. Il Progetto SIEP-DIRECT’S sulle discrepanze tra pratiche cliniche di routine ed evidenze nel trattamento della schizofrenia. Il disegno dello studio, gli indicatori e la metodologia. Epidemiol Psichiatr Soc 2008; 17: 278-90.
34. Mattke S, Epstein AM, Leatherman S. The OECD Health Care Quality Indicators Project: history and background. Int J Qual Health Care 2006; 9: 1-4.
35. World Health Organization. World Health Organization Assessment Instrument for Mental Health Systems (WHO-AIMS), Version 2.2. Geneva: WHO, 2005.
36. Bollini P, Pampallona S, Nieddu S, Bianco M, Tibaldi G, Munizza C. Indicators of conformance with guidelines of schizophrenia treatment in mental health services. Psychiatr Serv 2008; 59: 782-91.
37. Lloyd-Evans B, Johnson S, Slade M. Assessing the content of mental health services: a review of measures. Soc Psychiatry Psychiatr Epidemiol 2007; 42: 673-82.
38. Korkeila J, Lehtinen V, Bijl R, et al. Establishing a set of mental health indicators for Europe. Scand J Public Health 2003; 31: 451-9.
39. Korkeila JJA. Measuring aspects of mental health. Themes 6/2000. Helsinki, STAKES, 2000.
40. Korkeila JJA. Minimum Data Set of European Mental Health Indicators. Helsinki, STAKES, 2001.
41. Kramers PG. The ECHI project: health indicators for the European Community. Eur J Public Health 2003;13: 101-6.
42. Lora A, Morganti C, Erlicher A, et al.; Gruppo SIEP-DIRECT’S. La gestione dei comportamenti violenti e della sedazione rapida durante l’episodio psicotico acuto: discrepanze fra pratica clinica ed evidenze. Il Progetto SIEP-DIRECT’S. Epidemiol Psichiatr Soc 2008; 17: 349-57.
43. Paton C, Lelliott P. The use of prescribing indicators to measure the quality of care in psychiatric inpatients. Qual Saf Health Care 2004; 13: 40-5.
44. Ruggeri M. Guidelines for treating mental illness: love them, hate them. Can the SIEP-DIRECT’S Project serve in the search for a happy medium? Epidemiol Psichiatr Soc 2008; 17: 270-7.
45. Saxena S, van Ommeren M, Lora A, Saraceno B. Monitoring of mental health systems and services: comparison of four existing indicator schemes. Soc Psychiatry Psychiatr Epidemiol 2006; 41: 488-97.
46. Srebnik D, Hendryx M, Stevenson J, Caverly S, Dyck DG, Cauce AM. Development of outcome indicators for monitoring the quality of public mental health care. Psychiatr Serv 1997; 48: 903-9.
47. Thomson R, Taber S, Lally J, Kazandjian V. UK Quality Indicator Project (UK QIP) and the UK independent health care sector: a new development. Int J Qual Health Care 2004; 16 (suppl 1): i51-56.
48. Wilkinson J, Bywaters J, Simms S, Chappel D, Glover G. Developing mental health indicators in England. Public Health 2008; 122: 897-905.
49. Semisa D, Lasalvia A, Miceli M, et al.; Gruppo SIEP-DIRECT’S. L’accettabilità delle raccomandazioni NICE per la schizofrenia nei Dipartimenti di Salute Mentale Italiani. Il Progetto SIEP-DIRECT’S sulle discrepanze fra pratiche di routine ed evidenze. Epidemiol Psichiatr Soc 2008; 17: 291-304.
50. Donabedian A. Explorations in quality assessment and monitoring: Vol I. The definition of quality and approaches to its assessment. Ann Arbor, Michigan: Health Administration Press, 1980.
51. Donabedian A. The quality of care. How can it be assessed? J Am Med Assoc 1988; 260: 1743-8.
52. Hermann RC, Palmer RH, Leff HS, et al. Achieving consensus across diverse stakeholders on quality measures for mental healthcare. Med Care 2004; 42: 1246-53.
53. Hermann RC. Improving mental healthcare: a guide to measurement-based quality improvement. Washington, DC: American Psychiatric Press, 2005.
54. Hermann RC, Chan JA, Provost SE, Chiu WT. Statistical benchmarks for process measures of quality of care for mental and substance use disorders. Psychiatr Serv 2006; 57: 1461-7.
55. Hermann RC, Finnerty M, Provost S, et al. Process measures for the assessment and improvement of quality of care for schizophrenia. Schizophr Bull 2002; 28: 95-104.
56. Hermann RC, Mattke S, Members of the OECD Mental Health Care Panel. Selecting indicators for the quality of mental health care at the health systems level in OECD countries. Paris: Organisation for Economic Co-operation and Development (OECD), 2004.
57. Hermann RC, Mattke S, Somekh D, et al. Quality Indicators for international benchmarking of mental health care. Int J Qual Health Care 2006; 18: 31-8.
58. Hermann RC, Palmer RH. Common ground: a framework for selecting core quality measures. Psychiatr Serv 2002; 53: 281-7.
59. Focarile F. Indicatori di Qualità nell’assistenza sanitaria. Torino: Centro Scientifico Editore, 1998.
60. Morosini P. Indicatori in valutazione e miglioramento della qualità professionale. Rapporti ISTISAN 2004; 04/29: 1-98.