venerdì 16 gennaio 2015

Scraping per genitori indaffarati

E' la prima volta che scopro il mondo dei compiti scolastici da genitore. Alla scuola primaria i compiti per casa e le comunicazioni scuola-famiglia non hanno cadenza regolare, in particolare per gli alunni che frequentano il 'tempo pieno'.  Inoltre i bambini non sempre ricordano che sia stato assegnato loro un compito (forse sto generalizzando troppo, nel mio caso comunque è così ;) ). Capita quindi che  ci si possa dimenticare di svolgere i compiti a casa...

Per fortuna le insegnanti di mia figlia hanno avuto la bella idea di pubblicare su un blog i compiti assegnati (occorrerebbe  che fosse cosí per  tutte le sezioni), cosa che aiuta molto a non perdersi informazioni :http://maestravventura.altervista.org/.
Però , siccome i compiti a casa sono per natura antipatici e perciò difficili da 'ricordare' ;) , ho pensato che sarebbe stato ancora meglio se mi fossero arrivati via mail e solo nel caso ve  ne fossero, senza costringermi a  verificare periodicamente il blog delle insegnanti. In figura il corpo della mail che ho creato:


Spiegherò  brevemente come ho ottenuto il risultato sperando di essere imitato da altri genitori troppo distratti per ricordarsi sempre dei compiti, anche perché si tratta di un hack veramente semplice.
Come prima cosa ho catturato gli aggiornamenti delle 3 pagine web  che mi interessavano : compiti di italiano, compiti di matematica, comunicazioni. Per farlo ho utilizzato un servizio chiamato DeltaFeed che trasforma gli aggiornamenti di una pagina web in un feed RSS,  perciò ogni volta che la pagina o una sezione di essa  viene modificata esso genera un post RSS. In particolare ho creato un feed per ogni pagina, selezioando attraverso i selettori css esattamente la parte di pagina che volevo monitorare. I 3 feed che sono nati sono i seguenti : compiti di italiano RSS , compiti di matematica RSS, comunicazioni RSS. Il servizio DeltaFeed consente anche di ricevere i propri feed via mail, perciò per i più pigri l'hack può fermarsi qui, avendo già ottenuto il risultato sperato potendo disporre nella propria casella di una mail di aggiornamento per ogni feed.
A me è sembrato giusto potere mettere a disposizione gli aggiornamenti via mail anche agli altri genitori della sezione perciò ho creato una mailling list usando MailChimp. Il servizio consente, tra le altre cose, di inviare ai sottoscrittori mail generate da RSS , esattamente ciò che serviva a me. Dunque mi è bastato creare una 3 campagne rss-driven e collegarle alla mailing list e curare un po' il layout da dare ai messaggi.
Il risultato finale è una mail che arriva ai sottoscrittori nel primo pomeriggio se e solo se vi sono nuove comunicazioni o compiti assegnati: ecco un esempio.
Il sistema funziona discretamente, anche se talvolta spedisce messaggi spuri dovuti ad aggiornamenti fatti e poi corretti sul sito originale.
In ogni caso penso che ci si possa accontentare , nell'attesa che la scuola italiana si doti di meccanismi di comunicazione più evoluti da mettere a disposizione degli insegnanti.
Per iscriversi alla maililng list dei compiti/comunicazioni della 1a C basta compilare il form a questo link.

domenica 28 dicembre 2014

Come riusare la mappa di ConfiscatiBene


Da un po' di tempo cercavo uno strumento che consentisse di mettere in piedi una mappa interattiva di rappresentazione di dati con un po' di caratteristiche 'avanzate' già pronte e che non richiedesse pesante programmazione.
Per fortuna la comunità opendatara è un vulcano di risorse :)
La mappa costruita dagli amici del progetto ConfiscatiBene è uno strumento di esplorazione dei dati veramente ben costruito e che mi ha colpito fin da subito per la semplicità di utilizzo. In più, il mitico Dataninja, Alessio Cimarelli è riuscito nell'intento di rendere facilmente riusabile la mappa facendone uno strumento parametrizzabile : https://github.com/Dataninja/advanced-mapping-tool.


Mappa fallimenti

Per sperimentare il tool dei Dataninja ho usato un dataset che ho generato facendo un po' di scraping in rete, il dataset contiene un insieme di imprese italiane fallite dal 2010 al 2014 con dettaglio per Comune; sulla scarsità di dati anagrafici di impresa liberamente accessibili occorrerà poi fare un post apposito :( . Facendo un confronto con i dati ufficiali sui fallimenti si nota comunque che la visualizzazione è sensata almeno per quel che riguarda il trend annuo di crescita e la grandezza relativa del numero di fallimenti a livello territoriale.
Come prima cosa ho forkato il progetto su GitHub https://github.com/eccoilmoro/advanced-mapping-tool/ e ho letto le istruzioni di parametrizzazione le quali spiegano come agire sul file di configurazione (dataninja-advanced-mapping-tool.conf.js) per crearsi la propria mappa.
Spulciando tra le issues del progetto ho notato che Alessio ha pure inserito una cartella demo contenente già dati e parametrizzazioni , la demo riguarda proprio i dati di ConfiscatiBene e io l'ho usata come punto di partenza.
La cartella 'fallimenti'
Ecco i passi successivi :
1. Nel branch gh-pages ho quindi duplicato la cartella 'confiscatibene' e rinominata in fallimenti
2. Ho lasciato inalterata la cartella geo che contiene i confini territoriali regionali provinciali, comunali mostrati nella mappa
3. Ho caricato nella cartella 'data' i 3 dataset contenenti il numero di fallimenti per regione,provincia,comune. Ciascun dataset deve avere una colonna chiave che gli permetta di fare join con i dati dei confini territoriali. Ho usato il formato json ma lo strumento consente anche il formato csv.
4. Ho rinominato il file confiscatibene.conf.js e confiscatibene.custom.css in fallimenti.conf.js e fallimenti.custom.css e modificato index.html per farlo puntare a tali files.
5. Ho configurato fallimenti.conf.js impostando l'origine dei dati, il tipo di visualizzazione tematica (per ora è configurabile solo choropleth) e alcune descrizioni.

Ecco il risultato finale (link per schermo intero) :

   

sabato 23 agosto 2014

Come mappare il proprio territorio: una bici, uno smartphone, Mapillary.

Mapillary è un servizio che consente a chiunque di creare mappature per immagini alla Google Street View per mezzo di uno smartphone. Lo scopo è quello di creare una mappatura crowdsourced del mondo con foto georeferenziate , sfruttando la conoscenza dei luoghi di coloro che meglio li conoscono, gli abitanti stessi.
A mio parere il servizio può rivelarsi utilissimo per mappare tutti i luoghi che non possono essere coperti dalla mappatura per immagni di Google, arrivando ad un livello di dettaglio notevole. Si potrebbe utilizzare per descrivere : 
- Piste ciclabili
- Aree pedonali
- Parchi
- Percorsi naturalistici (es. sentieri di montagna)
- Itinerari turistici
Avere a disposizione una descrizione per immagini georeferenziate  può aiutare molto nella valorizzazione del proprio territorio.

Per fare una prova ho mappato il percorso ciclabile della pineta e la diga foranea di Marina di Ravenna, aree non coperte da Google Street View.
L'applicazione per smartphone scatta sequenze di foto ogni 2 secondi (tempo regolabile a piacere) associando la foto alla posizione rilevata dal GPS, successivamente le carica sui sever di Mapillary eliminandole dal telefono.

Ecco come procedere per mappare con la bici e alcuni accorgimenti che suggerisco per evitare errori basandomi sulla mia esperienza :
  • Creare il proprio account su Mapillary
  • Scaricare l'applicazione per smartphone Android o per IPhone. Io ho utilizzato le impostazioni di base dell'applicazione, tranne che per il fatto che ho abilitato l'effetto sonoro dello scatto foto (importante se non si può guardare il display durante la marcia perchè in questo modo se non si ode più lo scatto ci si ferma a controllare).
  • Pianificare la propria uscita per la mattina presto se si intende visitare luoghi che potrebbero essere affollati durante il giorno. Evitare inoltre percorsi contro sole che potrebbero pregiuducare la qualità delle foto.
  • Verificare la risoluzione della fotocamera. Mapillary è in grado di gestire foto in alta risoluzione, sarebbe un peccato accorgersi alla fine della mappatura di avere scattato foto in bassa risoluzione. Io ho utilizzato la risoluzione di default del mio telefono Samsung S3 Neo (3264 x 1836).
  • Per fissare lo smartphone alla bicicletta ho utilizzato il supporto in foto, si adatta a tutte le bici, ha però l'inconveniente di non mostrare il display del telefono durante la marcia impedendo di controllare come si sta fotografando (io infatti ho scattato una intera sequenza di foto tutte non orizzontali senza accorgermenepoichè non ho fatto pause di controllo...) :


  • L'applicazione consuma molta batteria quindi se si intende stare fuori per molte ore (non è il caso del mio test) suggerisco di disattivare i servizi del telefono non necessari ed eventualmente dotarsi di una batteria supplementare come ad esempio quella in foto :
  • Verificare di avere sufficiente spazio di memoria sulla scheda SD del telefono in base a quante sequenze si intendono mappare.
  • Ecco la schermata che appare facendo partire l'applicazione sul telefono e scegliendo 'Take me to the camera' per entrare in modalità di mappatura :
  •  Prima di partire con il percorso fare una sequenza di prova (occorre scegliere lo modalità 'Driving' col tasto il alto a destra e pigiare il tasto di registrazione cerchio rosso) muovendosi per qualche metro per verificare l'orientamento della fotocamera e la qualità del segnale GPS, l'applicazione non scatta foto finchè il segnale GPS non è sufficientemente buono (finchè non è buono compare sullo schermo 'Waiting for better locaion fix'). Quando si vuole terminare la sequenza di prova occorre pigiare il tasto quadrato rosso di stop.
  • Iniziare la sequenza di cattura vera e propria (pigiando il tasto '+' per fare partire una nuova sequenza e poi il tasto di recording cerchio rosso) mantenendo una andatura non troppo veloce (nel mio caso mi sono mosso sui 10-15 KMh). Cercare di mantenere una traiettoria rettilinea ed evitare le buche (nel mio caso la sequenza della pineta contiene molte foto mosse a causa delle irregolarità del terreno). Se il terreno è molto irregolare occorre diminuire molto la velocità; eventualmente consiglio di sgonfiare un po' le gomme della bici per attenuare le vibrazioni.
  • Tenere d'occhio l'orientamento della fotocamera e del supporto che potrebbe muoversi durante la marcia. Fare qualche pausa per accertarsi che tutto sia ok.
  • Una volta finita la fase di cattura occorre verificare le foto finchè sono ancora sul telefono. Se si dispone di un editor di foto sul telefono si può intervenire per esempio sull'orientamento degli scatti (come avrei dovuto fare io per una delle sequenze della diga ....) o sull'oscuramento di volti e targhe (ma quello lo si può fare anche a posteriori dopo avere caricato le foto sul sito).
  • Collegarsi ad una rete wi-fi. Una volta collegati l'applicazione comincia automaticamente a mandare le foto sul sito di Mapillary cancellandole contemporaneamente dal telefono.
  • Quando l'upload è finito occorre revisionare le foto sul sito Mapillary accedendovi col proprio account in 'My uploads', è importante oscurare i volti delle persone fotografate (blurring) durante il percorso nonchè le targhe delle auto e altri dati personali, eliminando inoltre gli scatti errati; le modifiche vengono prese in carico ed eseguite entro qualche giorno dallo staff Mapillary. Le foto che si mettono sul sito sono visibili da tutti e ridistribuibili ovunque!
  • Le modifiche alle foto relative alla privacy sono richiedibili da chiunque abbia un account, quindi se ci si accorge di essere stati fotografati e non oscurati si può richiedere l'oscuramento o l'eliminazione in prima persona.
  • Nel momento in cui scrivo molte delle modifiche alle mie sequenze non sono ancora state applicate alle foto quindi esistono ancora foto spurie e che visualizzano volti. Lo staff di Mapillary mi ha comunicato che presto sarà disponibile anche sul sito la funzionalità di rotazione delle foto.
Ecco di seguito i percorsi che ho mappato (link per schermo intero diga foranea, link per schermo intero pineta), di sicuro i prossimi risulteranno migliori!


domenica 13 luglio 2014

Le fusioni e i confini dei Comuni italiani 2014

La tendenza è oramai accertata, i Comuni italiani sempre più spesso si uniscono dando vita a Unioni di Comuni o addirittura si fondono in nuove entità comunali. I motivi di questi movimenti sono da ricercare innanzitutto nella necessità di realizzare economie accorpando la gestione dei servizi nonchè nella opportunità di unire realtà troppo piccole permettendo loro di avere sufficiente 'forza' per rispondere ai nuovi bisogni.
Nel solo 2014 sinora ci sono state 24 fusioni di Comuni e altre sono in cantiere, tante quante se ne sono avute dal 1930 al 2013, segno di una chiara strategia 'accorpatrice' (qui le parole del presidente dell'ANCI Fassino) . Ci sarebbe poi da scrivere un intero post sui nomi dei nuovi Comuni, quasi tutti generati per contatenazione dei nomi dei Comuni componenti (le fusioni non vanno d'accordo con il campanilismo dei nostri paesi, c'è da augurarsi che la cosa non sia ricorsiva , ci troveremmo con nomi kilometrici :) ).

Questa notevole attività di modifica delle entità amministrative si riflette ovviamente anche sui confini comunali, i quali vengono ridisegnati con notevole frequenza. Per chi lavora con i dati geografici risulta quindi difficile rimanere aggiornato, tanto più che l'ISTAT mette a disposizione solo i confini comunali del 2011.
Anche io per elaborare la mappa dei redditi dei Comuni italiani ho dovuto fare un lavoro di corripondenze poichè i dati del MEF sono forniti su basi comunali più aggiornate rispetto ai confini 2011 dell' ISTAT (nei dati del MEF sono presenti già molti comuni fusi che invece risultano ancora separati nei dati ISTAT).

Per ovviare al problema ho creato un dataset che consente di fare la corrispondenza tra i Comuni del 2011 e i Comuni del 2014, in particolare nel dataset c'è la corripondenza tra 2011 e Gennaio 2014 e tra 2011 e Febbraio 2014. Infatti i dati del MEF che ho trattato si riferiscono alla situazione a Gennaio 2014, successivamente però ci sono state ulteriori fusioni di Comuni.
Per mezzo di tale dataset ho poi costruito lo shapefile dei confini dei Comuni italiani a Febbraio 2014, qui rappresentato con una mappa che mostra in colore diverso tutti i Comuni che si sono fusi dal 2011 al 2014/02 (le fusioni sinora coinvolgono solo il Centro-Nord).
Penso che sia il dataset di corrispondenze che lo shapefile possano rivelarsi utili per coloro che operano su dati a livello comunale. Sarebbe auspicabile, vista la tendenza in corso, che l'ISTAT rilasciasse periodicamente un dataset di corrispondenze che tenga conto delle fusioni di Comuni consentendo a tutti di ridisegnare i confini comunali ad una certa data.


venerdì 13 giugno 2014

Dati che ci riguardano



Ogni amministrazione pubblica italiana è tenuta, in virtù del Dlgs 33/2013, a pubblicare una serie di informazioni allo scopo di rendere il proprio operato più trasparente possibile, il fine ultimo è stimolare il controllo diffuso sull'operato della PA per evitare corruzione, garantire efficienza e responsabilizzare gli amministratori.Tali informazioni sono disponibili in ogni sito di ente pubblico in una sezione denominata 'Amministrazione Trasparente'.

Recentemente sono stato invitato, insieme ad un manipolo di Spaghetti folks, a partecipare ad un focus group presso la regione Emilia Romagna che intende raccogliere suggerimenti ed idee su come migliorare la sezione di amministrazione trasparente del portale e ampliare la quantità di informazioni pubblicate.
Per questo motivo ho fatto un giro, insieme all' altro attivista civico Matteo Fortini nell'area 'Amministrazione Trasparente' del portale per capire intanto che cosa c'è e ricavare qualche impressione su cosa si potrebbe migliorare. Va detto che parte delle nostre osservazioni sono probabilmente già previste dal Programma triennale per la trapsarenza e l'integrità della regione E-R , occorrerà valutare quando sarà attuato completamente.

Personalmente ritengo che portare partecipazione sull'area Amministrazione Trasparente di una Regione sia più difficoltoso rispetto ad un Comune o al Governo centrale poichè l'entità Regione non gode della stessa prossimità al cittadino del primo ne della copertura mediatica del secondo. Per questo il lavoro da fare deve essere di massima apertura dei contenuti e attenzione all'interazione utente.

Il risultato del nostro lavoro è un breve documento iniziale di osservazioni in ordine sparso (magari non tanto chiare in alcuni punti....) che abbiamo sottoposto al contributo della comunità Spaghetti Open Data e che chiunque può leggere qui (diviso in 2 sheet 'Considerazioni Generali' e 'Considerazioni puntuali sul portale') : https://docs.google.com/spreadsheets/d/1mnNxn2GcyU6r06k3UFv__dRxuASXXkSLz-6kXSgl2fI/edit?usp=sharing

Tra le tante, se dovessi riassumere poche osservazioni generali che in prima battuta mi stanno a cuore, che riguardano non solo il portale dell'Emilia Romagna ma un po' tutte le aree Amministrazione Trasparente della PA, direi queste:
  • Fare sparire i PDF. Bisognerebbe che i PDF, quando non si tratti di delibere o atti, sparissero dal portale trasparenza a favore di HTML per il testo e dati in formato tabellare aperto con preview e ricercabili. Questo per limitare il numero di click e scrolling che un utente deve eseguire (la soluzione ai nostri problemi è in un PDF che nessuno leggerà mai)
  • Usare il più possibile data visualizations dinamiche ed esplorabili per scendere, se si vuole, nel dettaglio dei dati. Per questo, dove possibile, occorre categorizzare i dati. I lunghi elenchi, anche se ricercabili, non sono altrettanto efficaci nella comprensione.
  • Usare gli opendata. Tutti i dati imposti dal Dlgs.33 che possono essere espressi in formato opendata devono essere pubblicati come tali. L'area amministrazione trasparente dovrebbe anche ospitare , per ciascuna sezione, link a opendata pertinenti presenti sul portale opendata dell'amministrazione.
  • Geocoding. Ogni dato riferibile a coordinate geografiche dovrebbe essere rappresentato su mappa.
  • Aprire ai commenti , al rating e alla condivisione. Ogni contenuto dovrebbe essere facilmente commentabile , valutabile e condivisible con altri.
  • Integrare il più possibile, e al massimo livello di dettaglio, il portale trasparenza ai sistemi informativi della PA, questo per evitare che la pubblicazione dei dati sia in ritardo o incompleta.
  • Dare priorità e risalto ai dati che riguardano le spese, investimenti, consulenze, sussidi, imposte, utilizzo dei fondi comunitari, etc... Sono i dati che notoriamente suscitano maggiore interesse e devono essere sotto il controllo dei cittadini.







giovedì 1 maggio 2014

Il reddito degli italiani in ogni Comune,le disuguaglianze e dove vivono i super-ricchi


Recentemente il Ministero dell' Economia e delle Finanze ha rilasciato i dati delle denunce dei redditi IRPEF 2012 in formato open data. Il dataset che ho preso in considerazione (qui quello arricchito da me con coeff. di Gini) contiene il reddito totale dichiarato per ogni Comune italiano e considera sia il lavoro dipendente che autonomo. E' necessario precisare che si parla di reddito dichiarato, quindi i risultati delle elaborazioni sono ovviamente viziati dall'evasione fiscale non contemplata ne facilmente stimabile. Per il calcolo del reddito medio pro-capite non ho diviso l'ammontare del reddito per il totale di abitanti del Comune ma per il totale dei dichiaranti.



Il reddito medio pro-capite
Ho elaborato il dataset per capire come è distribuita la ricchezza nazionale sul territorio e per farlo ho generato una mappa choropleth che mostra in gradazioni di rosso i redditi pro-capite annuali  inferiori alla media nazionale (che si attesta intorno ai 20.000 Euro annui ) e in gradazioni di verde i redditi superiori alla media.
Il risultato, ottenuto utilizzando QGis e TileMill,  è un mosaico che evidenzia chiaramente la disparità tra Nord e Sud e la maggiore ricchezza di Milano e Roma e dei capoluoghi. Esplorando la mappa interattiva con il mouse e usando lo zoom si possono indagare i luoghi più ricchi o più poveri del paese e le isole 'felici' o 'infelici' che si differenziano dai vicni. Al Nord per esempio risalta la relativa 'povertà' di molte aree alpine, della zona a Sud di Piacenza e della pianura ferrarese e rovigotta. A Sud, in mezzo al rosso preponderante si evdenziano zone relativamente più benestanti vicino alle coste oltre che intorno ai capoluoghi. Link per la mappa a schermo intero




Le disuguaglianze di reddito
Oltre alle disuguaglianze territoriali che si notano nella mappa esistono anche disuguaglianze nella distribuzione del reddito all'interno dello stesso Comune. Esistono luoghi in cui la ricchezza totale di pochi è molto più alta della ricchezza totale di una moltitudine di persone. L'Italia nel panorama europeo è fanalino di coda per quanto riguarda la disuguaglianza di reddito. Per misurare la disuguale distribuzione della ricchezza si usa l'indice di Gini , un numero compreso tra 0 e 1 che più e grande e più manifesta una concentrazione di ricchezza nelle mani di pochi. Se l'indice di Gini è 0 allora la ricchezza è distribuita in modo uguale a tutte le persone, se è uguale a 1 allora è il caso limite in cui una persona ha tutto e gli altri non hanno niente. Uno dei mezzi che i governi hanno per calmierare le disuguaglianze, le quali possono tradursi in importanti problemi sociali e di sostenibilità economica, è l'imposizione fiscale progressiva (non ultimo il decreto IRPEF dell'attuale governo Renzi)
Ho calcolato l'indice di Gini per ciascun Comune italiano, ho verificato di avere fatto un lavoro accettabile confrontando con i risultati della Banca d'Italia e ho messo in relazione reddito medio pro-capite e indice di Gini costruendo un grafico di dispersione in cui ogni pallino è un Comune. Il grafico non evidenzia una chiara correlazione tra l'aumento di reddito pro-capite e l'aumento di disuguaglianza ma consente di individuare quali sono in Italia i luoghi con reddito pro-capite più alto (i primi 5 : Basiglio, Campione d'Italia, Cusago, Torre d'Isola, Pino Torninese) e quelli con maggiore disuguaglianza di reddito tra gli abitanti (i primi 5: Dambel, Lenno, Rocca De Giorgi, Menarola, Portofino). A proposito delle disuguaglianza va notato che il risultato di Dambel, Rocca de Giorgi e Menarola non è a mio avviso particolarmente significativo per il reddito medio molto basso del primo (poco più di 8.000 euro pro-capite....) e per il fatto che il secondo e terzo hanno rispettivamente 84 e 47 abitanti (direi che sarebbe il caso di abolire simili inutili micro Comuni...).
Attraverso i filtri del grafico si possono analizzare le situazioni delle singole regioni e province.

Dove vivono i super-ricchi
Il dataset analizzato contiene i redditi divisi per fasce di reddito e l'ultima fascia di reddito riporta i contribuenti che dichiarano più di 120.000 Euro annui. Ho allora calcolato il reddito medio di questi 'ricchi' per capire in quali luoghi vi sono poche persone molto più ricche della media dei loro compaesani. Il risultato è un istogramma che evidenzia ai primi posti le città di Lenno (2 Milioni di Euro pro-capite annuali !) Lajatico (dove vive Andrea Bocelli, buon contribuente) Agordo (quartier generale di Luxottica) Tavullia (paese di Valentino Rossi).




Alcuni link dove potete trovare la mappa:

http://www.ilpost.it/2014/04/29/mappa-reddito-italia/
http://www.lastampa.it/2014/04/30/economia/ecco-la-mappa-del-reddito-italiano-i-pi-ricchi-vivono-a-milano-e-roma-BqfB9RFwoZAQHAuNKrGjBO/pagina.html
http://torino.repubblica.it/cronaca/2014/05/02/news/vivono_a_caprie_i_pi_ricchi_del_piemonte_sono_i_quinti_in_italia-85044487/
http://www.vanityfair.it/news/italia/14/04/30/paesi-reddito-italia
http://www.internazionale.it/atlante/disuguaglianze/
http://www.fanpage.it/il-reddito-degli-italiani-comune-per-comune-mappa/
http://www.quifinanza.it/8559/soldi/la-mappa-ricchezza-in-italia-indice-gini-redditi-disuguaglianza-citta.html
http://www.ilmattino.it/PRIMOPIANO/CRONACA/mappa-comuni-ricchezza-italia/notizie/658956.shtml
http://www.ilgazzettino.it/ITALIA/CRONACABIANCA/mappa_comuni_ricchezza_italia/notizie/658920.shtml
http://www.grandain.com/2014/04/30/ecco-i-redditi-online/
http://ctzen.it/2014/05/03/dove-vivono-i-superi-ricchi-a-catania-la-mappa-del-reddito-comune-per-comune/
http://www.oggicronaca.it/2014/05/02/tortona-e-la-citta-piu-ricca-della-provincia-di-alessandria-si-vede-nella-mappa/
http://www.umbria24.it/redditi-in-umbria-perugia-corciano-e-terni-i-piu-ricchi-la-mappa-comune-per-comune/280853.html
http://www.lozzodicadore.eu/blog/il-reddito-degli-italiani-per-ogni-comune-dati-con-mappatura.html
http://www.blitzquotidiano.it/economia/mappa-dei-redditi-ecco-dove-vivono-i-piu-ricchi-in-testa-roma-e-milano-1852162/
http://www.giornaledelcilento.it/it/30-04-2014-stipendi_del_cilento_pi_ugrave_bassi_d_italia_nessun_comune_sopra_la_media_nazionale_ma_super_ricchi_a_centola_e_agropoli-23412.html#.U2X5N1cVeSp
http://www.modenatoday.it/economia/mappa-ricchezza-redditi-comuni.html
http://www.molfettalive.it/news/Attualit%C3%A0/284422/news.aspx
http://rbe.it/news/2014/05/08/la-mappa-dei-redditi-nellitalia-che-aumenta-le-disuguaglianze/

sabato 26 aprile 2014

Un post molto noioso sui programmi elettorali

A circa una settimana dalle elezioni amministrative di Lugo ancora in molti sono indecisi su quale sindaco scegliere, con questo post vorrei dare una mano a chi come me si vuole informare in tal senso.

In questa campagna elettorale sono andati per la maggiore gli aperitivi, i pranzi di autofinanziamento, i super-ospiti, i confronti tra i candidati a colpi di slogan più che di idee; tutto molto bello per carità, e i programmi elettorali ? Si, ci sono anche quelli. Sono assai noiosi, sicuramente più noiosi di uno spritz in compagnia o di una braciolata di gruppo.

Eppure su che cosa ci si dovrebbe basare per scegliere chi ci governerà? La fiducia che ispira un candidato è sufficiente a fare una scelta? La cieca fede in una parte politica è buona consigliera?  Io penso di no.
Penso che la politica sia in questo stato anche perchè le persone non leggono i programmi politici (perchè i programmi sono scritti allo stesso illeggibile modo da 50 anni....), non sanno cosa è stato pianificato per loro, se non quelle 3 o 4 proposte 'civetta' che riescono a trattenere.
Sono anche convinto che buona parte dei più accaniti sostenitori delle varie parti in campo non abbiano idea di cosa contengono i programmi dei candidati, da dove traggono tanta convinzione?

Se non si conosce cosa c'è nel programma politico di un candidato che diviene sindaco , non si può chiedere conto delle promesse non mantenute, non si può responsabilizzare la politica e la pubblica amministrazione nei 5 anni di mandato.

In quest'ultima campagna elettorale non ho visto granchè di diverso da quelle che cho visto in passato, eppure la distanza tra la politica e le persone è ormai siderale, probabilmente andava fatto qualcosa di diverso, di nuovo.
Questa lontanza tra persone e politica non si colma secondo me offrendo aperitivi o strigendo mani. Difficile chiedere razionalità ad una campagna elettorale, ma bisogna partire dalle proposte, dai programmi e dalla loro realizzazione.

Per questo ho cercato di sintetizzare le proposte dei candidati sindaco mettendole insieme per riuscire a confrontarle. Purtroppo sono riuscito a reperire con facilità in formato elettronico solo 3 programmi (Ranalli, Verlicchi, Coppola) da poter elaborare (soliti PDF che nessuno legge...), gli altri non li ho trovati e mi scuso se non ho avuto la 'voglia' anche di trascrivere papiri di carta....
Da questi 3 programmi ho cercato di estrarre le proposte, non è stato sempre facile anche perchè spesso nella prosa di questi scritti politici non si distingue bene cosa è veramente una cosa che verrà fatta o cosa invece è un intento o un tentativo o una suggestione, o anche qualcosa che verrebbe fatto comunque perchè già pianificato dall'amminitrazione in carica.

In ogni modo a colpi di copia-incolla un po' rozzi ho creato un dataset di proposte classificate con temi che mi sono sembrati accettabili. Devo dire che molte delle proposte programmatiche che ho individuato non sono facilmente misurabili in un ottica di controllo dell'operato del futuro sindaco, a mio avviso i punti di programma dovrebbero avere un qualche tipo di indicatore di performance simile a quello che si usa per verificare i Piani Esecutivi di Gestione delle amministrazioni comunali, da aggiornare durante i 5 anni di mandato.

Ho messo le proposte di programma in questa pagina nella quale si possono filtrare le proposte per tema o ancora cercare una singola parola (per esempio se qualcuno vuole sapere le sorti del Pavaglione basta che cerchi la parola in questione nell'apposito campo). Avrei potuto fare un lavoro migliore per rendere più leggibili da un punto di vista semantico le proposte (ulteriori classificazioni per esempio) ma i dati da cui partivo non me lo permettevano e anche il poco tempo a disposizione....
Embeddo anche qui di seguito ma suggerisco di usare l'apposita pagina.



sabato 12 aprile 2014

Opendata e elezioni, verso il 25 Maggio

“Coloro che votano non decidono nulla. Coloro che contano i voti decidono tutto”. - J. Stalin

Stalin era di sicuro un grande esperto di elezioni e di diritti negati e sapeva bene quale fosse il valore dei numeri che uscivano dalle urne.
Se i dati delle votazioni non fossero aperti, pienamente disponibili e possibilmente in tempo reale, allora la legittimità del risultato, il diritto di voto , la democrazia sarebbero in pericolo.
Nel corso del tempo si è passati da cartelloni scritti a mano che uscivano quando anche l'ultima sezione elettorale aveva terminato il conteggio ai dati aggiornati in tempo reale e disponibili sul web in modo ufficioso prima che essi facciano l'iter verso il ministero per la validazione definitiva.
L'aspetto che arrichisce ulteriormente tali dati è che siano pubblicati in formato aperto e rielaborabile. Questo consente un controllo diffuso dei risultati e la possibilità di dare diverse letture degli esiti delle elezioni grazie a visualizzazioni e mashup.
Anche nella Bassa Romagna , durante le ultime elezioni politiche, sono stati utilizzati strumenti di pubblicazione in tempo reale dei dati elettorali in formato aperto (qui i risultati di Lugo http://elezioni.comune.lugo.ra.it/client/modules.php). Siccome le elezioni amministrative ed europee del 25 Maggio si avvicinano mi è venuta la curiosità di elaborare tali dati per capire meglio come hanno votato i lughesi per la Camera dei Deputati nel 2013.
Ho quindi preso le sezioni di censimento ISTAT per ottenere una mappa di Lugo con le frazioni, le ho elaborate con QGis per ottenere le circoscrizioni elettorali (ho unito Lugo Est,Ovest,Sud,Nord per semplicità) e portate su Tableau con uno script apposito. Infine ho aggiunto i dati elettorali presi dal sito sopra menzionato.
Ecco il risultato su una mappa interattiva del territorio comunale (link per visualizzare a pagina intera) : la mappa aiuta a capire in quali aree ciascuna coalizione è stata più 'forte', mentre gli istogrammi mostrano la composizione del voto e l'entità del numero dei votanti.



martedì 1 aprile 2014

Impegno,civismo,nerditudine: #SOD14



Per raccontare tutto quanto è accaduto a Bologna al raduno di Spaghetti Open Data , che ha visto
quest'anno un aumento considerevole dei partecipanti e temi , servirebbero paginate di commenti e comunque non riuscirei ad esprimere tutta la ricchezza dei contenuti emersi.
Cercherò allora di raccontare l'esperienza #SOD14 con una 'soggettiva' di frammenti di quanto ho vissuto in prima persona nei 2 in cui sono potuto essere presente.

Premiazione del contest Ra4Open
Durante il fitto programma della plenaria di Venerdì mattina, si sono premiati i vincitori del concorso indetto dal Comune di Ravenna per il riuso dei dati pubblicati sul neonato portale open data.
Photo by Matteo Fortini
Il concorso ha avuto un numero di partecipanti a mio avviso superiore alle aspettative, in poco meno di un mese sono stati infatti presentati 12 progetti. Questo è un segnale forte di interesse per il tema dei dati aperti, un interesse che ha coinvolto soprattutto ragazzi giovani ,quelli che hanno l'energia giusta per innovare veramente. Il concorso è stata anche l'occasione per migliorare la qualità dei dataset presenti sul portale, diversi concorrenti infatti hanno indivuduato e corretto errori presenti sui dati, si tratta di un lavoro preziosissimo che dovrebbe essere messo 'a sistema' con meccanismi di review e feedback utili a mantenere la base di dati sempre a buoni livelli qualitativi.
Da un punto di vista tecnico poi, avendo avuto la possibilità di fare parte della giuria, devo dire che le applicazioni premiate sono effettivamente di buona qualità, considerando anche il poco tempo per svilupparle. Ora sono da perfezionare per renderle ancora più usabili, avanti così!!

Il barcamp
Nel pomeriggio di Venerdì all'interno del barcamp che comprendeva 13 sessioni , che avrei voluto seguire tutte (il prossimo anno piazzerò videocamere ovunque :)) ), ho scelto di partecipare alla sessione su Openbilanci e a quella sull'integrità dei dati.

Openbilanci
Con Ettore Di Cesare di Openpolis abbiamo parlato del prossimo rilascio (questione di settimane) della piattaforma Openbilanci. Il progetto, portato avanti per qualche anno , ha raccolto i dati di bilancio degli ultimi 10 anni degli oltre 8000 Comuni italiani per per renderli disponibili in open data e fruibili attraverso visualizzazioni in un unico portale. Lo scopo è quello di creare un luogo in cui cittadini, imprese, giornalisti, amministratori possano trovare dati chiari e fruibili sulla finanza locale, portando tali dati alla conoscenza non solo degli addetti ai lavori. La fonte dei dati è http://finanzalocale.interno.it/ , sito sul quale è stato fatto un massiccio lavoro di scraping per estrarre le informazioni di tuttti i Comuni dall' HTML; un lavoro notevole è stato inoltre quello di 'normalizzare' i bilanci che hanno subito riclassificazioni nel corso degli anni per renderli tutti comparabili anno su anno.
Il progetto prevede in più di arricchire i dati di bilancio, affiancandovi anche altri dati reperipili da banche dati pubbliche (es. dati demografici, numero di auto immatricolate, dati sulle sulle fasce di reddito IRPEF, etc...) e in grado di offrire così maggiori informazioni di contesto. Inoltre è previsto che il portale possa accogliere feddback degli utenti e integrazioni per rendere la base di dati aperta alla partecipazione.
In ultimo la piattaforma potrà essere 'affittata' in versione hosted dai Comuni che volessero gestire i propri dati in modo autonomo.
Il progetto va incontro alla necessità, a mio parere non più procrastinabile, di 'riformare' la comunicazione tra la PA e i cittadini , per questo attendo con impazienza il rilascio della piattaforma e confido che le amministrazioni locali ne facciano l'uso più largo possibile.

Chi controlla l'integrità dei dati
Con il compagno spaghettaro Matteo Fortini ci siamo interrogati sui metodi e le tecniche per verificare la qualità dei dati (ecco le slide di Matteo). La sessione è nata in seguito a diversi thread che si sono susseguiti sulla mailing list di Spaghetti Open Data relativi ai problemi che si affrontano nel garantire dati 'buoni' in un panorama sempre più affollato di dati, fonti, elaborazioni. L'argomento è assai vasto e complesso ma assai importante per riuscire a capire dove sta l'errore in un certo dataset, se qualcuno ha manipolato i dati, se la base dati è corrotta etc... Esistono delle buone pratiche per verificare la qualità dei dati (qui per esempio quelle seguite da ISTAT) e anche tecniche di hashing per dare garanzie di integrità e non ripudio ma nella pratica chi lavora coi dati deve fare molto affidamento sulla sua esperienza e sulla sua conoscenza del dominio di applicazione. Non esistono metodi passo-passo generalizzabili che da una base di dati grezza portino ad un dataset pulito e 'corretto', oltre ai controlli formali  e di coerenza con i metadati (se ci sono), esistono infatti anche controlli domain-driven che riguardano lo specifico dataset (penso ad esempio alle regole di partita doppia per i bilanci).
Penso che il tema in questione non si possa ridurre in poche righe, una cosa è certa, per riuscire a verificare la qualità e l'integrita di un dato serve molta pratica, esperienza, conoscenza del dominio e un attitudine a guardare i dati con approccio puramente scientifico. Confido inoltre che oltre a tanti più dati ci saranno anche tante più persone interessate a usarli e valutarli in modo da creare una ampia popolazione di reviewers , una moltitudine di occhi in grado di garantire dati integri e buoni.

L'Hackathon
Photo by Matteo Fortini

Nella giornata di Sabato ha avuto luogo l'hachathon (ma non sono mancate neppure le goliardiche premiazioni "Master Chef" agli opendatari benemeriti :) ), il momento più atteso da molti, quando si può finalmente lavorare insieme per creare qualcosa. Le tracce di hackthon in programma erano 4, ma poi si sono moltiplicate spontaneamente :) e io ho partecipato alla traccia che si occupava di dati sulla sanità.

Il lavoro è partito da una base di dati ministeriale assai ampia di indicatori di efficacia delle cure di tutte le ASL italiane su base decennale. Come prima cosa abbiamo cercato di capire il significato delle diverse colonne dei dataset e il razionale, un documento PDF che spiegava in dettaglio ciascun indicatore di efficacia per patologia. Vista la grandezza della base di dati abbiamo quindi dovuto scegliere di concentrarci su una patologia in particolare in modo da potere riuscire ad avere un lavoro più possibile completo a fine giornata. Abbiamo scelto di focalizzare l'attenzione sul diabete e sull'indicatore fissato per valutare l'efficacia delle cure, il numero di amputazioni agli arti inferiori. Il gruppo ha lavorato dunque alla pulizia dei dataset coinvolti, all'aggiunta di dati di controllo, alla scelta della dimensione di aggregazione ottimale, all'analisi statistica di base per individuare medie e varianze. Alla fine tutto messo su una mappa ed ecco il risultato (ci stiamo ancora lavorando però!) : http://www.dataninja.it/diabete-amputazioni-evitabili-litalia-peggiora/

Takeaway
Cosa porto con me dopo questo secondo raduno? La conferma di avere incontrato persone con le quali condivido gran parte degli intenti , dell'impegno che stanno alla base della filosofia open data; persone di estrazione e cultura diversa la cui eterogeneità costituisce una ricchezza notevole sia perchè dall'incrocio di competenze si estrae maggiore conoscenza , sia perchè gli ambiti di competenza diversi permettono di creare una rete più aperta al cambiamento e all'ingresso di nuove persone.
In ultimo, mi porto via il diploma che appenderò con riconoscenza in bella vista ;) .

giovedì 27 febbraio 2014

Open data e mappe, l'esempio degli investimenti a Lugo

Poche rappresentazioni grafiche risultano di immediata comprensione quanto una mappa.

Le mappe consentono al nostro cervello di identificare in modo 'naturale' correlazioni tra il dato spaziale caratteristco dell' area rappresentata e il dato specifico che vi viene sovrapposto (facendo quello che si chiama un mashup). L'esempio più noto di questo tipo di meccanismo cognitivo è quello legato alla storia del Dottor Snow che scoprì la causa dell'epidemia di colera a Londra del 1854 grazie proprio ad una mappa della città a cui sovrappose i dati di diffusione del colera e la dislocazione delle pompe pubbliche di acqua.
Il risultato di questo mashup fu l'individuazione visuale chiara di un area ben definita in cui si concentravano i casi di colera , proprio intorno ad una fontana in Broad Street, prontamente disattivata.
La mappa del colera di John Snow
La visualizzazione di dati su mappe può quindi consentire di creare nuova conoscenza. Può essere un buon modo, per esempio, per creare più consapevolezza negli abitanti di una città a proposito delle caratterische del luogo dove vivono oltre che per creare servizi utili alla collettività (si veda per esempio http://mapumental.com/ che usa open data georeferenziati per aiutare a scegliere il luogo migliore dove andare a vivere per avere tempi di trasferimento casa-lavoro accettabili ).

Io ho scelto di rappresentare i dati del piano degli investimenti triennali del Comune di Lugo (già trattati in un precedente post) su una mappa del territorio, per capire dove si concentrano maggiormente le risorse.
Devo dire che il risultato delle georeferenziazione dei dati è parziale, in quanto non tutte le voci presenti nel file PDF fornito dal Comune sono facilmente 'mappabili' sul territorio (per esempio la macrovoce di investimento in generiche nuove rotonde o nuovo arredo urbano non sono piazzabili su una mappa univocamente...), di conseguenza la mappa non è completa,quindi se il dato che il comune offre  Comune fosse già georeferenziato sarebbe certo meglio :). In ogni caso comunque la maggior parte degli investimenti è rappresentata, quindi l'informazione che se ne ricava è comunque interesante.

Nella mappa (che si può zoomare) sono rappresentati gli investimenti con delle bolle (cliccabili per maggiorni info) di grandezza proporzionale all'ammontare in euro di ciascun investimento. Si nota evidentemente che il centro città , più densamente popolato e dove si concentrano i servizi, è anche il luogo dove si concentrano maggiormente gli investimenti. Si nota anche che l'area di Voltana è interessata da bolle molto grandi che rappresentano gli investimenti nella rete viaria locale.
Come detto la mappa rappresenta gli investimenti 2013-2015. Se essa contenesse anche il dato storico si potrebbero fare considerazioni molto interessanti per esempio per vedere  la correlazione del valore storico degli immobili di una certa area e la quantità di denaro investito dal Comune in tale area. O ancora si capirebbe come sono mutate nel tempo le politiche dell'amministrazione rispetto alle infrastrutture.