Visualizzazione post con etichetta open data. Mostra tutti i post
Visualizzazione post con etichetta open data. Mostra tutti i post

venerdì 22 marzo 2019

Corso di ETL con Pentaho Data Integration

Condivido i materiali del corso per Data Analyst post-laurea che ho tenuto presso Fidia di Trento
http://www.fidiaweb.net/corso-post-laurea-data-analyst-dal-dato-allinnovazione/.


https://commons.wikimedia.org/wiki/File:KrisangelChap2-ETL.png



Il corso ha avuto un taglio pratico e il testo guida sul quale abbiamo lavorato è una raccolta di ricette per i problemi comuni che si incontrano quando si raccolgono dati da fonti eterogenee, un modo per imparare facendo. Pentaho Data Integration Cookbook 2nd ed. è acquistabile qui : https://www.packtpub.com/big-data-and-business-intelligence/pentaho-data-integration-cookbook-second-edition

Durante il corso ho introdotto alcuni argomenti teorici, per qualche argomento mi sono aiutato con le slide che condivido qui :

Datawarehouse basics : https://docs.google.com/presentation/d/1W-G0XuGWFPTMY2df7liM0o-GM50jr_oKqrkcif_tPYQ/edit?usp=sharing

ETL basics : https://docs.google.com/presentation/d/1JwPFVPJGVPJiQYmKAMOwitkFbYcW-Uq9IOZykirRYMo/edit?usp=sharing

Java basics : https://drive.google.com/open?id=1KRUWN9DKXiCoyZYIIPJ-zO_mRPKGrhMd9DdsLtcT07E

Web services : https://drive.google.com/open?id=1FvbB5xFtj9Au9qYmu_pygZJuRB6ewfplu9DWzfIJGkk

Alcune altre fonti utilizzate durante il corso :
https://www.w3schools.com/
https://help.pentaho.com/Documentation/7.1


Il programma completo del corso :
https://drive.google.com/open?id=1iYjeUa1qrEqqP2aaw93azEWlbe6FaNSd

giovedì 25 gennaio 2018

Open data e turismo seconda edizione

Pubblico la nuova edizione delle slide che ho mostrato per la lezione tenuta presso la Fondazione Universitaria San Pellegrino di Misano nell'ambito del corso organizzato dalla Scuola Superiore "Maurizio Panti" di Cattolica. Nel corso della lezione sono state effetttuate alcune esercitazioni pratiche di elaborazione e visualizzazione di open data relativi al turismo scaricati dal portale open data del Comune di Ravenna e dal portale Istat.
https://commons.wikimedia.org/wiki/Category:Tourism


lunedì 19 giugno 2017

ETL per portali open data

Pubblico le slide che ho utilizzato per la lezione tenuta presso la Open Data Summer School tenutasi a Ravenna nella settimana 12-16 Giugno.
L'argomento trattato sono gli strumenti ETL (Extract Tansform Load) e il loro uso per alimentare portali open data. In particolare il focus è posto sulle fasi di harvesting, data validation e upload. Sono portati alcuni casi d'uso di organizzazioni che hanno usato lo strumento ETL Pentaho Data Integration per alimentare i propri portali open data.



sabato 6 maggio 2017

Open data per il turismo

https://it.wikipedia.org/wiki/Segnali_di_indicazione_nella_segnaletica_verticale_italiana#/media/File:Italian_traffic_signs_-_segnali_turistici.svgPubblico le slide che ho mostrato per la lezione tenuta presso la Fondazione Universitaria San Pellegrino di Misano nell'ambito del corso organizzato dalla Scuola Superiore "Maurizio Panti" di Cattolica.









Crediti immagine 

domenica 1 gennaio 2017

Il nuovo #FOIA e come fare richieste di accesso ai dati

Dal 23 Dicembre 2016 è entrato in vigore il cosiddetto #FOIA (Freedom Of Information Act) italiano.
L'obiettivo della legge è quello di facilitare la trasparenza dell'azione degli enti pubblici attraverso un più facile accesso alle informazioni detenute dalla pubblica amministrazione (es. da Enti Locali, Enti Centrali, Ordini, Società partecipate....).
La norma introduce il concetto di accesso generalizzato che va ad affiancarsi all'accesso civico e all'accesso agli atti.
Esistono linee guida dell'ANAC (Autorità Nazionale Anti Corruzione) in proposito che spiegano bene l'ambito di applicazione, le limitazioni, le modalità e i soggetti interessati.



La sostanza è che dovrebbe ora essere più facile ottenere informazioni e dati che appartengono alla collettività. Le richieste di dati non devono infatti essere motivate da specifici scopi e l'amministrazione ha un obbligo di risposta.
Potrebbe essere una buona occasione per fare in modo, per esempio, che vengano rilasciati più dati sui portali opendata di interesse pubblico.

Ma come si può fare una richiesta di accesso generalizzato ai dati? Per esempio in Bassa Romagna? o a Ravenna?
I siti dei Comuni della Bassa Romagna e di Ravenna hanno tutti una pagina relativa all'accesso civico, con i contatti per effettuare la richiesta, è presumibile che essi valgano anche per fare richieste di accesso generalizzato. Li elenco in coda a questo post.
Per emettere una richiesta di accesso si può anche utilizzare l'utile servizio Chiedi! messo in piedi dall'ONG Diritto di Sapere. Il servizio rende pubblica la richiesta che si fa all'amministrazione e rende pubblica anche la risposta, in questo modo vi è un controllo più generalizzato e si aiuta a non ripetere più volte la stessa richiesta da parte di persone diverse sollevando la PA dal dovere rispondere ripetutamente (diventa una sorta di FAQ di richieste di accesso). A questa pagina si possono vedere un po' di esempi delle richieste già fatte : https://chiedi.dirittodisapere.it/list/all

La normativa è appena nata ed è ancora da capire la reale efficacia dello strumento, occorre che cittadini e PA si 'allenino' un po' su questa nuova forma di interazione. Certo le PA che abbiano già abitudine a pubblicare dati (aperti e non) e abbiano revisionato i loro processi per farlo , potrebbero essere più facilitate nell'adempiere ai nuovi obblighi. In ogni modo mentre in Italia il #FOIA è appena partito, in altri luoghi già si è passati a discutere di come una buona politica di #opendata può rendere inutile la normativa #FOIA (rendendo di fatto inutili le richieste di accesso ai dati, visto che i dati sono già pubblicati o la loro pubblicazione è già stata richiesta in un maturo processo di confronto con la società civile) : http://www.yalelawjournal.org/forum/is-open-data-the-death-of-foia

Pagine dei Comuni per l'accesso civico

Comune di Ravenna : http://www.comune.ra.it/Amministrazione-Trasparente/Altri-contenuti-Accesso-civico2

Comune di Lugo : http://www.comune.lugo.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-Civico

Comune di Bagnacavallo : http://www.comune.bagnacavallo.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Alfonsine : http://www.comune.alfonsine.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Fusignano : http://www.comune.fusignano.ra.it/Il-Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Conselice : http://www.comune.conselice.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Cotignola : http://www.comune.cotignola.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Massa Lombarda : http://www.comune.massalombarda.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Bagnara di Romagna : http://www.comune.bagnaradiromagna.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Sant'Agata sul Santerno : http://www.comune.santagatasulsanterno.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

domenica 13 novembre 2016

Le piste ciclabili della Bassa Romagna in open data

[Questo articolo è stato ripresto su Wind Transparency Forum e su Labsus]

Credo che la presenza diffusa di piste ciclabili adeguatamente segnalate e protette e la loro fruibilità sia un indice importante del benessere sostenibile di un territorio, la presenza poi di open data che descrivano i percorsi ciclabili è un segnale di attenzione al problema e un modo per rendere più 'smart' il territorio.
Nella Bassa Romagna le ciclabili non mancano, mancano però dati aperti che le descrivano e possano essere riutilizzati, ho quindi deciso di creare da me l'archivio open data delle piste ciclabili arricchendo la mappatura su OpenStreetMap .
Mettere a disposizione su OpenStreetMap la rete di ciclabili significa dotare il territorio di un mezzo utile alla mobilità sostenibile e anche al turismo ciclistico in costante crescita. Si pensi per esempio alle applicazioni di navigazione che aiutano ad esplorare il territorio in bici.
Per farlo sono partito dalle poche informazioni presenti sui siti comunali e chiedendo agli URP qualche aiuto, l'informazione più dettagliata risulta questa mappa che risale al 2009 che è stata la base della ricerca, ho poi completato i dati per quanto mi è stato possibile facendo sopralluoghi in bici e in auto; nel giro di un po' di settimane ho terminato la mappatura cercando di essere più dettagliato possibile.
E' utile dire che mi sono limitato alle piste ciclabili segnalate dalla apposita segnaletica verticale, non ho incluso percorsi o itinerari promiscui bici-auto oppure sterrati etc....
Quasi tutte le ciclabili della Bassa Romagna sono promiscue , quindi destinate sia a ciclisti che pedoni, segnalate come segue:

mercoledì 29 giugno 2016

OldRA, una mappa di foto storiche della città

Nel 2015 mi sono imbattuto nella pagina Facebook C'era una volta Ravenna che raccoglie foto storiche della città da inizio secolo ai giorni nostri. Mi è subito sembrato che fosse un modo molto bello per portare ad un pubblico ampio un po' di conoscenza sulla propria città, tanto che ho subito voluto dare un contributo inviando al curatore della pagina alcune foto di famiglia fatte a Marina di Ravenna nel 1977.

La schermata del sito www.oldra.it


Ho navigato in lungo e in largo nelle foto d'epoca pubblicate e ho pensato che sarebbe stato utile avere un modo alternativo per sfogliare questo bell'album di foto che parlano della città, in particolare con una mappa.
Ho quindi cercato progetti che avessero potuto aiutarmi nello scopo e mi sono imbattuto nel progetto OldNYC. Si tratta del progetto di @danvdk, che ha voluto mappare le foto storiche di New York conservate nella Biblioteca Pubblica di New York City.
Il software di Dan oltre a fare il geocoding delle foto estrae pure la descrizione , tramite OCR, dalle foto stesse; prevedendo quindi anche il feedback degli utenti per aiutare a correggere imprecisioni nella raccolta dati. Recentemente è stata rilasciata anche l'applicazione per IOS per navigare la mappa da dispositivi mobili e che propone in modalità push le foto in base al luogo di NY in cui ci si trova, fornendo quindi, per esempio, una nuova esperienza ai turisti.
Mi è sembrato che il software di Dan, condiviso su GitHub, fosse perfetto quindi l'ho adattato ai miei scopi ed ecco il risultato : www.oldra.it.  In particolare il mio sistema fa 3 cose principali :
- Interroga la pagina Facebook C'era una volta Ravenna e ne legge i post attraverso le API di Facebbok.
- Assegna un rating di popolarità alle foto in base al conteggio di condivisioni (sul sito sono nel riquadro Popular Photos)
- Effettua il geocoding attraverso le API di Google (già utilizzate in OldNYC) estraendo l'indirizzo dalla descrizione della foto. In questo è stato molto utile che il Comune di Ravenna abbia pubblicato il dataset in open data dello stradario della città.
- Crea la mappa piazzando le foto in base ai risultati del geocoding. Le foto sono dei link alla pagina C'era una volta Ravenna.

mercoledì 11 maggio 2016

Spunti di riflessione sui temi dell’Agenda Digitale ER

La regione Emilia Romagna ha intrapreso un percorso partecipativo di redazione dell'agenda digitale regionale. Faccio riferimento ai contenuti esposti in questo post e di cui si parlerà in un incontro organizzato per il 12 Maggio ,lanciando qualche idea 'pratica' che magari fa già parte della strategia regionale e qualche suggestione che non ha la pretesa di essere una teoria completa e solida.
By darwin Bell from San Francisco, USA - digitalUploaded by SunOfErat, CC BY 2.0, https://commons.wikimedia.org/w/index.php?curid=30988177

sabato 15 agosto 2015

Lugo digitale

Come membro dell'associazione Digital Champions (iniziativa europea che ha lo scopo di diffondere e creare cultura digitale), che rappresento per la città di Lugo, ho partecipato ad un sondaggio promosso dall'associazione che vorrebbe fotografare lo stato del digitale sul territorio nazionale e i cui risultati verranno pubblicati in autunno.
Condivido le risposte che ho fornito (in giallo) e le motivazioni relative al Comune di Lugo per raccogliere eventuali commenti e integrazioni alle informazioni in mio possesso.

domenica 3 maggio 2015

Le basi di dati della pubblica amministrazione

Da qualche mese a questa parte AGID ha messo a disposizione il catalogo che intende censire tutte le basi di dati delle pubbliche amministrazioni italiane.

Un simile censimento è il primo passo necessario per valorizzare il patrimonio informativo pubblico, visto che i dati in esso contenuti sono un asset strategico fondamentale per lo sviluppo del paese. Da esso si potrebbe partire per fare un lavoro di unificazione e omogeneizzazione di basi di dati e applicazioni (attualmente molto diversi anche se usati per gli stesso processi....) nonchè a una definizione delle ontologie necessarie a descrivere la conoscenza della PA.

Tutto questo si tradurrebbe in enormi vantaggi per cittadini e imprese che potrebbero così usufruire di servizi gestiti e offerti in modo uniforme e interoperabile in tutto il paese.


Durante il recente raduno #SOD15 abbiamo cominciato ad analizzare tale catalogo per capirne il contenuto e cercare di definirne una ontologia. Ci siamo però resi conto che la base di dati era molto più sporca del previsto e quindi poco usabile. Per questo ho cercato di continuare il lavoro di pulizia e mettere insieme qualche visualizzazione che aiutasse a chiarire i contenuti del catalogo.

Sono partito dal dump SQL fornito da AGID ricreando il database Postgres di partenza e ho creato una fact-table esportabile in formato csv (questo perchè,come constatato durante l'hackathon,il csv presente sul sito di AGID ha grossi problemi di qualità dei dati).
Il risultato è un csv che ho sottoposto a pulizia attraverso Google Refine cercando di uniformare le varie colonne. Ho notato che un parziale lavoro di pulizia era già stato compiuto da AGID poichè esistono colonne con suffisso "_new" più 'pulite' e su tali ho lavorato. Qui condivido i file dei vari step e anche il progetto Refine nel caso qualcuno volesse continuare nel lavoro di pulizia ancora necessario : https://drive.google.com/folderview?id=0B285aRfZDUKiflpkRmI3ZWs0WmxlekE5NU9wVFBKWEtCSGJwSUxFTkhyaUwtbS1TMF8xYm8&usp=sharing

Infine ho creato una visualizzazione interattiva per capire la distribuzione del numero di basi di dati in base a un po' di parametri che mi sembrano interessanti e anche in modo georiferito sul territorio nazionale.
Nella visualizzazione di dettaglio ho cercato di mostrare l'elenco delle singole basi di dati per area geografica. La visualizzazione mi ha permesso di constatare, per esempio, che purtroppo ad oggi l' Unione dei Comuni della Bassa Romagna risulta inadempiente nella comunicazione delle proprie basi di dati, come circa il 30% delle amministrazioni pubbliche (http://www.agid.gov.it/agenda-digitale/open-data/basi-dati-pa/amministrazioni-inadempienti).

venerdì 13 giugno 2014

Dati che ci riguardano



Ogni amministrazione pubblica italiana è tenuta, in virtù del Dlgs 33/2013, a pubblicare una serie di informazioni allo scopo di rendere il proprio operato più trasparente possibile, il fine ultimo è stimolare il controllo diffuso sull'operato della PA per evitare corruzione, garantire efficienza e responsabilizzare gli amministratori.Tali informazioni sono disponibili in ogni sito di ente pubblico in una sezione denominata 'Amministrazione Trasparente'.

Recentemente sono stato invitato, insieme ad un manipolo di Spaghetti folks, a partecipare ad un focus group presso la regione Emilia Romagna che intende raccogliere suggerimenti ed idee su come migliorare la sezione di amministrazione trasparente del portale e ampliare la quantità di informazioni pubblicate.
Per questo motivo ho fatto un giro, insieme all' altro attivista civico Matteo Fortini nell'area 'Amministrazione Trasparente' del portale per capire intanto che cosa c'è e ricavare qualche impressione su cosa si potrebbe migliorare. Va detto che parte delle nostre osservazioni sono probabilmente già previste dal Programma triennale per la trapsarenza e l'integrità della regione E-R , occorrerà valutare quando sarà attuato completamente.

Personalmente ritengo che portare partecipazione sull'area Amministrazione Trasparente di una Regione sia più difficoltoso rispetto ad un Comune o al Governo centrale poichè l'entità Regione non gode della stessa prossimità al cittadino del primo ne della copertura mediatica del secondo. Per questo il lavoro da fare deve essere di massima apertura dei contenuti e attenzione all'interazione utente.

Il risultato del nostro lavoro è un breve documento iniziale di osservazioni in ordine sparso (magari non tanto chiare in alcuni punti....) che abbiamo sottoposto al contributo della comunità Spaghetti Open Data e che chiunque può leggere qui (diviso in 2 sheet 'Considerazioni Generali' e 'Considerazioni puntuali sul portale') : https://docs.google.com/spreadsheets/d/1mnNxn2GcyU6r06k3UFv__dRxuASXXkSLz-6kXSgl2fI/edit?usp=sharing

Tra le tante, se dovessi riassumere poche osservazioni generali che in prima battuta mi stanno a cuore, che riguardano non solo il portale dell'Emilia Romagna ma un po' tutte le aree Amministrazione Trasparente della PA, direi queste:
  • Fare sparire i PDF. Bisognerebbe che i PDF, quando non si tratti di delibere o atti, sparissero dal portale trasparenza a favore di HTML per il testo e dati in formato tabellare aperto con preview e ricercabili. Questo per limitare il numero di click e scrolling che un utente deve eseguire (la soluzione ai nostri problemi è in un PDF che nessuno leggerà mai)
  • Usare il più possibile data visualizations dinamiche ed esplorabili per scendere, se si vuole, nel dettaglio dei dati. Per questo, dove possibile, occorre categorizzare i dati. I lunghi elenchi, anche se ricercabili, non sono altrettanto efficaci nella comprensione.
  • Usare gli opendata. Tutti i dati imposti dal Dlgs.33 che possono essere espressi in formato opendata devono essere pubblicati come tali. L'area amministrazione trasparente dovrebbe anche ospitare , per ciascuna sezione, link a opendata pertinenti presenti sul portale opendata dell'amministrazione.
  • Geocoding. Ogni dato riferibile a coordinate geografiche dovrebbe essere rappresentato su mappa.
  • Aprire ai commenti , al rating e alla condivisione. Ogni contenuto dovrebbe essere facilmente commentabile , valutabile e condivisible con altri.
  • Integrare il più possibile, e al massimo livello di dettaglio, il portale trasparenza ai sistemi informativi della PA, questo per evitare che la pubblicazione dei dati sia in ritardo o incompleta.
  • Dare priorità e risalto ai dati che riguardano le spese, investimenti, consulenze, sussidi, imposte, utilizzo dei fondi comunitari, etc... Sono i dati che notoriamente suscitano maggiore interesse e devono essere sotto il controllo dei cittadini.







giovedì 1 maggio 2014

Il reddito degli italiani in ogni Comune,le disuguaglianze e dove vivono i super-ricchi


Recentemente il Ministero dell' Economia e delle Finanze ha rilasciato i dati delle denunce dei redditi IRPEF 2012 in formato open data. Il dataset che ho preso in considerazione (qui quello arricchito da me con coeff. di Gini) contiene il reddito totale dichiarato per ogni Comune italiano e considera sia il lavoro dipendente che autonomo. E' necessario precisare che si parla di reddito dichiarato, quindi i risultati delle elaborazioni sono ovviamente viziati dall'evasione fiscale non contemplata ne facilmente stimabile. Per il calcolo del reddito medio pro-capite non ho diviso l'ammontare del reddito per il totale di abitanti del Comune ma per il totale dei dichiaranti.



Il reddito medio pro-capite
Ho elaborato il dataset per capire come è distribuita la ricchezza nazionale sul territorio e per farlo ho generato una mappa choropleth che mostra in gradazioni di rosso i redditi pro-capite annuali  inferiori alla media nazionale (che si attesta intorno ai 20.000 Euro annui ) e in gradazioni di verde i redditi superiori alla media.
Il risultato, ottenuto utilizzando QGis e TileMill,  è un mosaico che evidenzia chiaramente la disparità tra Nord e Sud e la maggiore ricchezza di Milano e Roma e dei capoluoghi. Esplorando la mappa interattiva con il mouse e usando lo zoom si possono indagare i luoghi più ricchi o più poveri del paese e le isole 'felici' o 'infelici' che si differenziano dai vicni. Al Nord per esempio risalta la relativa 'povertà' di molte aree alpine, della zona a Sud di Piacenza e della pianura ferrarese e rovigotta. A Sud, in mezzo al rosso preponderante si evdenziano zone relativamente più benestanti vicino alle coste oltre che intorno ai capoluoghi. Link per la mappa a schermo intero




Le disuguaglianze di reddito
Oltre alle disuguaglianze territoriali che si notano nella mappa esistono anche disuguaglianze nella distribuzione del reddito all'interno dello stesso Comune. Esistono luoghi in cui la ricchezza totale di pochi è molto più alta della ricchezza totale di una moltitudine di persone. L'Italia nel panorama europeo è fanalino di coda per quanto riguarda la disuguaglianza di reddito. Per misurare la disuguale distribuzione della ricchezza si usa l'indice di Gini , un numero compreso tra 0 e 1 che più e grande e più manifesta una concentrazione di ricchezza nelle mani di pochi. Se l'indice di Gini è 0 allora la ricchezza è distribuita in modo uguale a tutte le persone, se è uguale a 1 allora è il caso limite in cui una persona ha tutto e gli altri non hanno niente. Uno dei mezzi che i governi hanno per calmierare le disuguaglianze, le quali possono tradursi in importanti problemi sociali e di sostenibilità economica, è l'imposizione fiscale progressiva (non ultimo il decreto IRPEF dell'attuale governo Renzi)
Ho calcolato l'indice di Gini per ciascun Comune italiano, ho verificato di avere fatto un lavoro accettabile confrontando con i risultati della Banca d'Italia e ho messo in relazione reddito medio pro-capite e indice di Gini costruendo un grafico di dispersione in cui ogni pallino è un Comune. Il grafico non evidenzia una chiara correlazione tra l'aumento di reddito pro-capite e l'aumento di disuguaglianza ma consente di individuare quali sono in Italia i luoghi con reddito pro-capite più alto (i primi 5 : Basiglio, Campione d'Italia, Cusago, Torre d'Isola, Pino Torninese) e quelli con maggiore disuguaglianza di reddito tra gli abitanti (i primi 5: Dambel, Lenno, Rocca De Giorgi, Menarola, Portofino). A proposito delle disuguaglianza va notato che il risultato di Dambel, Rocca de Giorgi e Menarola non è a mio avviso particolarmente significativo per il reddito medio molto basso del primo (poco più di 8.000 euro pro-capite....) e per il fatto che il secondo e terzo hanno rispettivamente 84 e 47 abitanti (direi che sarebbe il caso di abolire simili inutili micro Comuni...).
Attraverso i filtri del grafico si possono analizzare le situazioni delle singole regioni e province.

Dove vivono i super-ricchi
Il dataset analizzato contiene i redditi divisi per fasce di reddito e l'ultima fascia di reddito riporta i contribuenti che dichiarano più di 120.000 Euro annui. Ho allora calcolato il reddito medio di questi 'ricchi' per capire in quali luoghi vi sono poche persone molto più ricche della media dei loro compaesani. Il risultato è un istogramma che evidenzia ai primi posti le città di Lenno (2 Milioni di Euro pro-capite annuali !) Lajatico (dove vive Andrea Bocelli, buon contribuente) Agordo (quartier generale di Luxottica) Tavullia (paese di Valentino Rossi).




Alcuni link dove potete trovare la mappa:

http://www.ilpost.it/2014/04/29/mappa-reddito-italia/
http://www.lastampa.it/2014/04/30/economia/ecco-la-mappa-del-reddito-italiano-i-pi-ricchi-vivono-a-milano-e-roma-BqfB9RFwoZAQHAuNKrGjBO/pagina.html
http://torino.repubblica.it/cronaca/2014/05/02/news/vivono_a_caprie_i_pi_ricchi_del_piemonte_sono_i_quinti_in_italia-85044487/
http://www.vanityfair.it/news/italia/14/04/30/paesi-reddito-italia
http://www.internazionale.it/atlante/disuguaglianze/
http://www.fanpage.it/il-reddito-degli-italiani-comune-per-comune-mappa/
http://www.quifinanza.it/8559/soldi/la-mappa-ricchezza-in-italia-indice-gini-redditi-disuguaglianza-citta.html
http://www.ilmattino.it/PRIMOPIANO/CRONACA/mappa-comuni-ricchezza-italia/notizie/658956.shtml
http://www.ilgazzettino.it/ITALIA/CRONACABIANCA/mappa_comuni_ricchezza_italia/notizie/658920.shtml
http://www.grandain.com/2014/04/30/ecco-i-redditi-online/
http://ctzen.it/2014/05/03/dove-vivono-i-superi-ricchi-a-catania-la-mappa-del-reddito-comune-per-comune/
http://www.oggicronaca.it/2014/05/02/tortona-e-la-citta-piu-ricca-della-provincia-di-alessandria-si-vede-nella-mappa/
http://www.umbria24.it/redditi-in-umbria-perugia-corciano-e-terni-i-piu-ricchi-la-mappa-comune-per-comune/280853.html
http://www.lozzodicadore.eu/blog/il-reddito-degli-italiani-per-ogni-comune-dati-con-mappatura.html
http://www.blitzquotidiano.it/economia/mappa-dei-redditi-ecco-dove-vivono-i-piu-ricchi-in-testa-roma-e-milano-1852162/
http://www.giornaledelcilento.it/it/30-04-2014-stipendi_del_cilento_pi_ugrave_bassi_d_italia_nessun_comune_sopra_la_media_nazionale_ma_super_ricchi_a_centola_e_agropoli-23412.html#.U2X5N1cVeSp
http://www.modenatoday.it/economia/mappa-ricchezza-redditi-comuni.html
http://www.molfettalive.it/news/Attualit%C3%A0/284422/news.aspx
http://rbe.it/news/2014/05/08/la-mappa-dei-redditi-nellitalia-che-aumenta-le-disuguaglianze/

sabato 12 aprile 2014

Opendata e elezioni, verso il 25 Maggio

“Coloro che votano non decidono nulla. Coloro che contano i voti decidono tutto”. - J. Stalin

Stalin era di sicuro un grande esperto di elezioni e di diritti negati e sapeva bene quale fosse il valore dei numeri che uscivano dalle urne.
Se i dati delle votazioni non fossero aperti, pienamente disponibili e possibilmente in tempo reale, allora la legittimità del risultato, il diritto di voto , la democrazia sarebbero in pericolo.
Nel corso del tempo si è passati da cartelloni scritti a mano che uscivano quando anche l'ultima sezione elettorale aveva terminato il conteggio ai dati aggiornati in tempo reale e disponibili sul web in modo ufficioso prima che essi facciano l'iter verso il ministero per la validazione definitiva.
L'aspetto che arrichisce ulteriormente tali dati è che siano pubblicati in formato aperto e rielaborabile. Questo consente un controllo diffuso dei risultati e la possibilità di dare diverse letture degli esiti delle elezioni grazie a visualizzazioni e mashup.
Anche nella Bassa Romagna , durante le ultime elezioni politiche, sono stati utilizzati strumenti di pubblicazione in tempo reale dei dati elettorali in formato aperto (qui i risultati di Lugo http://elezioni.comune.lugo.ra.it/client/modules.php). Siccome le elezioni amministrative ed europee del 25 Maggio si avvicinano mi è venuta la curiosità di elaborare tali dati per capire meglio come hanno votato i lughesi per la Camera dei Deputati nel 2013.
Ho quindi preso le sezioni di censimento ISTAT per ottenere una mappa di Lugo con le frazioni, le ho elaborate con QGis per ottenere le circoscrizioni elettorali (ho unito Lugo Est,Ovest,Sud,Nord per semplicità) e portate su Tableau con uno script apposito. Infine ho aggiunto i dati elettorali presi dal sito sopra menzionato.
Ecco il risultato su una mappa interattiva del territorio comunale (link per visualizzare a pagina intera) : la mappa aiuta a capire in quali aree ciascuna coalizione è stata più 'forte', mentre gli istogrammi mostrano la composizione del voto e l'entità del numero dei votanti.



giovedì 27 febbraio 2014

Open data e mappe, l'esempio degli investimenti a Lugo

Poche rappresentazioni grafiche risultano di immediata comprensione quanto una mappa.

Le mappe consentono al nostro cervello di identificare in modo 'naturale' correlazioni tra il dato spaziale caratteristco dell' area rappresentata e il dato specifico che vi viene sovrapposto (facendo quello che si chiama un mashup). L'esempio più noto di questo tipo di meccanismo cognitivo è quello legato alla storia del Dottor Snow che scoprì la causa dell'epidemia di colera a Londra del 1854 grazie proprio ad una mappa della città a cui sovrappose i dati di diffusione del colera e la dislocazione delle pompe pubbliche di acqua.
Il risultato di questo mashup fu l'individuazione visuale chiara di un area ben definita in cui si concentravano i casi di colera , proprio intorno ad una fontana in Broad Street, prontamente disattivata.
La mappa del colera di John Snow
La visualizzazione di dati su mappe può quindi consentire di creare nuova conoscenza. Può essere un buon modo, per esempio, per creare più consapevolezza negli abitanti di una città a proposito delle caratterische del luogo dove vivono oltre che per creare servizi utili alla collettività (si veda per esempio http://mapumental.com/ che usa open data georeferenziati per aiutare a scegliere il luogo migliore dove andare a vivere per avere tempi di trasferimento casa-lavoro accettabili ).

Io ho scelto di rappresentare i dati del piano degli investimenti triennali del Comune di Lugo (già trattati in un precedente post) su una mappa del territorio, per capire dove si concentrano maggiormente le risorse.
Devo dire che il risultato delle georeferenziazione dei dati è parziale, in quanto non tutte le voci presenti nel file PDF fornito dal Comune sono facilmente 'mappabili' sul territorio (per esempio la macrovoce di investimento in generiche nuove rotonde o nuovo arredo urbano non sono piazzabili su una mappa univocamente...), di conseguenza la mappa non è completa,quindi se il dato che il comune offre  Comune fosse già georeferenziato sarebbe certo meglio :). In ogni caso comunque la maggior parte degli investimenti è rappresentata, quindi l'informazione che se ne ricava è comunque interesante.

Nella mappa (che si può zoomare) sono rappresentati gli investimenti con delle bolle (cliccabili per maggiorni info) di grandezza proporzionale all'ammontare in euro di ciascun investimento. Si nota evidentemente che il centro città , più densamente popolato e dove si concentrano i servizi, è anche il luogo dove si concentrano maggiormente gli investimenti. Si nota anche che l'area di Voltana è interessata da bolle molto grandi che rappresentano gli investimenti nella rete viaria locale.
Come detto la mappa rappresenta gli investimenti 2013-2015. Se essa contenesse anche il dato storico si potrebbero fare considerazioni molto interessanti per esempio per vedere  la correlazione del valore storico degli immobili di una certa area e la quantità di denaro investito dal Comune in tale area. O ancora si capirebbe come sono mutate nel tempo le politiche dell'amministrazione rispetto alle infrastrutture.


domenica 23 febbraio 2014

Il variegato mondo degli opendatari a Bologna per ODD14



Ieri in occasione dell'International Open Data Day ci si è trovati a Bologna per parlare di open data. E' stato un incontro interessante e ricco di spunti, dal quale mi sembra ci si sia congedati con molta conoscenza in più. Un accrescimento di conoscenza che è una diretta conseguenza, come faceva notare l'organizzatore Andrea Nelson Mauro, della varietà di figure che ruotano intorno al fenomeno dei dati aperti. In attesa che gli open data possano divenire veramente una infrastruttura di innovazione economica e sociale essi già costituiscono un mezzo di contaminazione di competenze e conoscenze. All'incontro di ieri c'erano civil servants che parlavano di ontologie, informatici che si interrogavano sul diritto amministrativo, giuristi che approcciavano database, giornalisti alle prese con dataset, attivisti civici e sociali che mostrvano geodati. Ecco allora una breve sintesi,seguendo il programma della giornata, dello scambio di conoscenza che abbiamo potuto mettere in pratica ieri.


Open Data: Benvenuti in Romagna 
In apertura ho presentato una fotografia della diffusione degli open data in Romagna partendo dal 'censimento' delle iniziative delle singole amministrazioni comunali romagnole e facendone una mappa , che spero a breve si potrà ulteriormente colorare di verde ma aumentano anche la qualità di quanto già fatto :

open data in romagna 2014
A seguire Paola Palmieri , responsabile dei sistemi informativi del Comune di Ravenna ha ufficialmente presentato in anteprima per l'Open Data Day il neonato portale open data di Ravenna e il concorso di idee per valorizzare i dati finora pubblicati. Il lavoro fatto da Ravenna sui dati aperti merita una menzione di merito anche e soprattutto perchè è il frutto di un percorso partecipato, che auspico non si fermi qui, che ha coinvolto cittadini , imprese e civic hackers confrontatisi per realizzare insieme l'agenda digitale cittadina.

Sempre sull'esperienza ravennate Michele Martoni del CIRSFID ha approfondito il processo di liberazione dei dati compiuto dal Comune disegnando in modo assai efficace i passi che a mio avviso potrebbero diventare uno standard da prendere a riferimento per tutte le ammnistrazioni che intendano fare open data. 

In ultimo Guido Sitta di Geographics è entrato nel dettaglio tecnologico dei geodati aperti di Ravenna e delle problematiche che sorgono nel trattare dati geografici del secondo comune più esteso d'Italia.


Open Data nei piccoli comuni: il caso di Anzola
Patrizia Saggini responsabile innovazione del Comune di Anzola (BO) ci ha mostrato come anche in un Comune di poche migliaia di abitanti e con budget limitato si possa fare open data. Questo grazie alla volontà di innovare che dovrebbe spingere ogni funzionario pubblico ad aprirsi al mondo della tecnologia e alle reti sociali per cogliere tutte le opportunità di miglioramento e di contaminazione di cui la PA ha bisogno.

Aziende Women Friendly: una questione (e un questionario) di genere
Linda Serra e Pina Agozzino hanno presentano un'iniziativa di raccolta di dati che possa offrire una visione delle aziende women friendly sul territorio , all'interno di un progetto (Work Wide Women) che intende creare una rete sociale di donne escluse dal mondo del lavoro ma che possano scambiarsi competenze,accrescere skills, e cogliere opportunità di reinserimento. In bocca al lupo!

Open data ambientali
Susanna Ferrari  ci ha parlato dell'esperienza del Comune di Reggio Emilia in tema di accountability ambientale veicolata da dati aperti. Il progetto della città emiliana, che è un punto di riferimento su questo tema, intende aprire quei dati che consentono alla collettività di capire gli impatti ambientali delle politiche delle amministrazioni su  gestione dei rifiuti, difesa del verde urbano, mobilità, utilizzo del suolo pubblico, risorse energetiche. Credo che questi siano temi che diverranno sempre più cruciali nell'amministrazione di una città e che necessitino di una apertura sempre più ampia delle informazioni , per arrivare ad uno standard aperto di Bilancio Ambientale.

Il progetto Carta Geografica Unica della Provincia di Ferrara
Paola Rossi di ANCI Emilia Romagna ha introdotto il progetto della CGU della Provincia di Ferrara, una cartografia completa e molto ricca di layer che copre l'intero territorio provinciale. 

Che succede a Bologna
Pina Civitella ICT manager area applicativa del Comune e Michele D'Alena digital communication strategist del Comune ci hanno raccontato le novità in programma a Bologna a  partire dal raduno Spaghetti Open Data (28, 29, 30 marzo 2014). In particolare hanno disegnato i prossimi passi della strategia del Comune di Bologna che , avendo ormai una solida presenza di dataset sul proprio portale open data, intende avviare un processo di coprogettazione con attivisti civici e cittadinanza per valorizzare ulteriormente il patrimonio informativo reso disponibile. 

Un dataset del dopoguerra
Mara Cinquepalmi  giornalista e attivista open data ci ha mostrato come da un set di dati d'antan (scritti a macchina su carta...) del 1946  può nascere un progetto a metà strada tra il reportage, la ricerca d'archivio e il datajournalism. Via del mare racconta è un esempio di story telling che usa gli strumenti di oggi per capire meglio la storia di ieri.

Regione Emilia-Romagna: HOMER, “Hack4MED”
Marcello Crosara Regione Emilia-Romagna ci ha presentato l’hackathon Hack4MED che sarà organizzato il 17 maggio a Venezia nell’ambito del progetto comunitario HOMER (Harmonising Open data in the Mediterranean). Una maratona di hacking sui dati aperti della pubblica amministrazione organizzata dalla Regione Veneto e supportata anche dalla Regione Emilia-Romagna. Penso che l'incentivazione di queste occasioni di hacking, anche a scapito di qualche evento  puramente 'convegnistico', sia la strada da percorrere se si vuole valorizzare il patrimonio informativo pubblico.

Linked open data per i beni culturali
Alessandro Zucchini  direttore Istituto per i beni artistici culturali e naturali della Regione Emilia-Romagna , ci ha presentato il progetto di apertura dei dati archivistici  e dei beni culturali e naturalistici che ha avviato la Regione. In particolare il progetto ReLoad intende creare un linguaggio ed una ontologia comune al più grande numero possible di archivi nazionali per favorire l'interoperabilità e l'aggregazione delle risorse basandosi sulle tecnologie del web semantico.