domenica 10 maggio 2020

La mortalità nei Comuni italiani e in Bassa Romagna durante l'emergenza Corona virus

Recentemente ISTAT ha rilasciato i primi dati 2020 sulla mortalità nei Comuni italiani, cioè i dati da 'anagrafe' dei decessi. E' stato un dato molto atteso perché si sapeva avrebbe fornito una  prima visione abbastanza 'certa' degli effetti avuti dalla diffusione dell'epidemia  ; un tassello in più per capirne l'impatto e per capire se le assunzioni fatte sull'entità del contagio a livello territoriale erano corrette.
Infatti questi dati sono stati integrati nel rapporto dell' Istituto superiore di sanità e collegati a quelli di diffusione dell'epidemia al fine di dare una prima descrizione accurata del fenomeno. E' una lettura che consiglio , e che serve per capire la visualizzazione dei dati che ho creato.

A me interessava avere una visione di insieme dell' incremento di mortalità nei Comuni ma anche la possibilità di potere entrare nel dettaglio di ogni territorio , per tutti i Comuni per i quali il dato è disponibile (circa il 90%) , cosa che non sono riuscito a trovare in giro.
I dati che ho preso in considerazione sono quelli di variazione % di mortalità nel periodo Marzo Aprile 2020 confrontato con lo stesso periodo degli anni 2015-2019 (per alcuni comuni il periodo di rilevazione è 01/03 - 15/04, per altri solo 01/03 - 31/03)
Per questo ho generato una mappa esplorabile a livello territoriale e una 'classifica' dei Comuni per evidenziare quali sono quelli dove l'incremento è stato maggiore. 

L'istogramma , mostra una classifica dei Comuni per variazione % di mortalità , si nota subito che i Comuni della provincia di Bergamo (in blu) sono in testa , ma in generale molte province lombarde e del nord Italia sono ai primi posti. Aumenti di mortalità fino al 3900%. Al di fuori dei focolai più accesi di COVID19 però vi sono zone dove la mortalità è rimasta invariata o addirittura diminuita , quindi la variabilità è molto alta e ha senso esplorare l'istogramma utilizzando i filtri per Regione e per Provincia per avere una visione più chiara (deselzionare 'Tutti' poi selezionare solo la regione o provincia di interesse). Si può inoltre utilizzare il filtro 'Nr. di decessi 2020 nel periodo'  scorrendo a destra lo slider dallo 0 per escludere dalla visualizzazione i Comuni più piccoli (dove il numero di morti è dell'ordine delle unità o decine) e confrontare così le città più grandi; mettendo per esempio lo slider a 500 si può vedere un aumento di mortalità del 355 % del Comune di Bergamo e una diminuzione del 10% del Comune di Roma.
Una osservazione importante da fare, quando si confrontano queste variazioni di mortalità tra Comuni distanti tra loro, è che il dato considera un periodo temporale 'limitato' e che intercetta in punti diversi la curva epidemica per ciascun Comune, perché ovviamente l'epidemia non si è diffusa nello stesso momento in modo uguale ovunque.
Scorrendo il mouse sulle barre dell'istogramma si può vedere anche il dettaglio di variazione %  di decessi per sesso, faccio notare che la base di dati ISTAT, in alcuni casi , omette la percentuale di decessi maschili o femminili (per esempio Comune di Grandosso), pur riportando il totale.

Venendo alla mappa essa mostra in verde i Comuni dove la mortalità 2020 è diminuita  e in gradazioni di rosso dove è aumentata. Di nuovo diciamo che le cose salienti a livello nazionale, che sono state evidenziate in mappa già da diverse testate  , sono la mortalità decisamente aumentata nelle aree intorno a Bergamo e nei focolai del lodigiano oltre che la variazione di mortalità bassa al Sud. A mio avviso è interessante anche individuare i focolai rossi isolati in mezzo ad aree perlopiù verdi.  Si notano inoltre i buchi dei Comuni per i quali non è stato rilevato il dato.  
Anche in questo caso ha senso entrare nel dettaglio utilizzando i filtri per regione o per provincia e lo zoom per avere una visualizzazione più chiara e colori più marcati che non risentano della grandissima variabilità a livello nazionale.



Venendo alla Bassa Romagna dopo avere filtrato per la Provincia di Ravenna e zoomato la mappa sul territorio, si osserva che in provincia la mortalità è molto aumentata nel Comune i Solarolo, in Bassa Romagna in particolare Bagnara e Massa Lombarda hanno gli aumenti più significativi, mentre a Cotignola e Sant'Agata la mortalità è diminuita. Manca il dato di Bagnacavallo e Alfonsine. Ecco un estratto della visualizzazione :Variazione mortalità 2020 Ravenna





venerdì 22 marzo 2019

Corso di ETL con Pentaho Data Integration

Condivido i materiali del corso per Data Analyst post-laurea che ho tenuto presso Fidia di Trento
http://www.fidiaweb.net/corso-post-laurea-data-analyst-dal-dato-allinnovazione/.


https://commons.wikimedia.org/wiki/File:KrisangelChap2-ETL.png



Il corso ha avuto un taglio pratico e il testo guida sul quale abbiamo lavorato è una raccolta di ricette per i problemi comuni che si incontrano quando si raccolgono dati da fonti eterogenee, un modo per imparare facendo. Pentaho Data Integration Cookbook 2nd ed. è acquistabile qui : https://www.packtpub.com/big-data-and-business-intelligence/pentaho-data-integration-cookbook-second-edition

Durante il corso ho introdotto alcuni argomenti teorici, per qualche argomento mi sono aiutato con le slide che condivido qui :

Datawarehouse basics : https://docs.google.com/presentation/d/1W-G0XuGWFPTMY2df7liM0o-GM50jr_oKqrkcif_tPYQ/edit?usp=sharing

ETL basics : https://docs.google.com/presentation/d/1JwPFVPJGVPJiQYmKAMOwitkFbYcW-Uq9IOZykirRYMo/edit?usp=sharing

Java basics : https://drive.google.com/open?id=1KRUWN9DKXiCoyZYIIPJ-zO_mRPKGrhMd9DdsLtcT07E

Web services : https://drive.google.com/open?id=1FvbB5xFtj9Au9qYmu_pygZJuRB6ewfplu9DWzfIJGkk

Alcune altre fonti utilizzate durante il corso :
https://www.w3schools.com/
https://help.pentaho.com/Documentation/7.1


Il programma completo del corso :
https://drive.google.com/open?id=1iYjeUa1qrEqqP2aaw93azEWlbe6FaNSd

giovedì 25 gennaio 2018

Open data e turismo seconda edizione

Pubblico la nuova edizione delle slide che ho mostrato per la lezione tenuta presso la Fondazione Universitaria San Pellegrino di Misano nell'ambito del corso organizzato dalla Scuola Superiore "Maurizio Panti" di Cattolica. Nel corso della lezione sono state effetttuate alcune esercitazioni pratiche di elaborazione e visualizzazione di open data relativi al turismo scaricati dal portale open data del Comune di Ravenna e dal portale Istat.
https://commons.wikimedia.org/wiki/Category:Tourism


lunedì 19 giugno 2017

ETL per portali open data

Pubblico le slide che ho utilizzato per la lezione tenuta presso la Open Data Summer School tenutasi a Ravenna nella settimana 12-16 Giugno.
L'argomento trattato sono gli strumenti ETL (Extract Tansform Load) e il loro uso per alimentare portali open data. In particolare il focus è posto sulle fasi di harvesting, data validation e upload. Sono portati alcuni casi d'uso di organizzazioni che hanno usato lo strumento ETL Pentaho Data Integration per alimentare i propri portali open data.



sabato 6 maggio 2017

Open data per il turismo

https://it.wikipedia.org/wiki/Segnali_di_indicazione_nella_segnaletica_verticale_italiana#/media/File:Italian_traffic_signs_-_segnali_turistici.svgPubblico le slide che ho mostrato per la lezione tenuta presso la Fondazione Universitaria San Pellegrino di Misano nell'ambito del corso organizzato dalla Scuola Superiore "Maurizio Panti" di Cattolica.









Crediti immagine 

sabato 18 marzo 2017

domenica 1 gennaio 2017

Il nuovo #FOIA e come fare richieste di accesso ai dati

Dal 23 Dicembre 2016 è entrato in vigore il cosiddetto #FOIA (Freedom Of Information Act) italiano.
L'obiettivo della legge è quello di facilitare la trasparenza dell'azione degli enti pubblici attraverso un più facile accesso alle informazioni detenute dalla pubblica amministrazione (es. da Enti Locali, Enti Centrali, Ordini, Società partecipate....).
La norma introduce il concetto di accesso generalizzato che va ad affiancarsi all'accesso civico e all'accesso agli atti.
Esistono linee guida dell'ANAC (Autorità Nazionale Anti Corruzione) in proposito che spiegano bene l'ambito di applicazione, le limitazioni, le modalità e i soggetti interessati.



La sostanza è che dovrebbe ora essere più facile ottenere informazioni e dati che appartengono alla collettività. Le richieste di dati non devono infatti essere motivate da specifici scopi e l'amministrazione ha un obbligo di risposta.
Potrebbe essere una buona occasione per fare in modo, per esempio, che vengano rilasciati più dati sui portali opendata di interesse pubblico.

Ma come si può fare una richiesta di accesso generalizzato ai dati? Per esempio in Bassa Romagna? o a Ravenna?
I siti dei Comuni della Bassa Romagna e di Ravenna hanno tutti una pagina relativa all'accesso civico, con i contatti per effettuare la richiesta, è presumibile che essi valgano anche per fare richieste di accesso generalizzato. Li elenco in coda a questo post.
Per emettere una richiesta di accesso si può anche utilizzare l'utile servizio Chiedi! messo in piedi dall'ONG Diritto di Sapere. Il servizio rende pubblica la richiesta che si fa all'amministrazione e rende pubblica anche la risposta, in questo modo vi è un controllo più generalizzato e si aiuta a non ripetere più volte la stessa richiesta da parte di persone diverse sollevando la PA dal dovere rispondere ripetutamente (diventa una sorta di FAQ di richieste di accesso). A questa pagina si possono vedere un po' di esempi delle richieste già fatte : https://chiedi.dirittodisapere.it/list/all

La normativa è appena nata ed è ancora da capire la reale efficacia dello strumento, occorre che cittadini e PA si 'allenino' un po' su questa nuova forma di interazione. Certo le PA che abbiano già abitudine a pubblicare dati (aperti e non) e abbiano revisionato i loro processi per farlo , potrebbero essere più facilitate nell'adempiere ai nuovi obblighi. In ogni modo mentre in Italia il #FOIA è appena partito, in altri luoghi già si è passati a discutere di come una buona politica di #opendata può rendere inutile la normativa #FOIA (rendendo di fatto inutili le richieste di accesso ai dati, visto che i dati sono già pubblicati o la loro pubblicazione è già stata richiesta in un maturo processo di confronto con la società civile) : http://www.yalelawjournal.org/forum/is-open-data-the-death-of-foia

Pagine dei Comuni per l'accesso civico

Comune di Ravenna : http://www.comune.ra.it/Amministrazione-Trasparente/Altri-contenuti-Accesso-civico2

Comune di Lugo : http://www.comune.lugo.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-Civico

Comune di Bagnacavallo : http://www.comune.bagnacavallo.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Alfonsine : http://www.comune.alfonsine.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Fusignano : http://www.comune.fusignano.ra.it/Il-Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Conselice : http://www.comune.conselice.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Cotignola : http://www.comune.cotignola.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Massa Lombarda : http://www.comune.massalombarda.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Bagnara di Romagna : http://www.comune.bagnaradiromagna.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Sant'Agata sul Santerno : http://www.comune.santagatasulsanterno.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico