Visualizzazione post con etichetta dataviz. Mostra tutti i post
Visualizzazione post con etichetta dataviz. Mostra tutti i post

domenica 10 luglio 2016

How to map the photos of your city like OldNYC does

Some months ago I was looking for a way to render on a map the historical photos of Ravenna collected in this Facebook Page. I stumbled upon the OldNYC project and thought it was perfect for my needs! Therefore I forked the project on Github, worked on it and this is the result : www.oldra.it.
In this tutorial which is intended for programmers, I’ll try to explain which are the main steps for reusing the code of OldNYC (written by @danvdk) , and setup the photo map of your city.






At this moment my system has a backend hosted in a Ubuntu virtual machine on my PC and a frontend (a static site) hosted in the cloud. In order to collect the newer posts of the Facebook Page the backend harvests from Facebook and re-generates once a week all of the static pages of the static site and sends them to the cloud to be served by www.oldra.it.

The system

The developement environment and the backend run on a Ubuntu Server 16.04 virtual machine.
  1. First of all I forked the 2 Github repos https://github.com/danvk/oldnyc for the backend and https://github.com/oldnyc/oldnyc.github.io for the static site, then I cloned them on my server with the git clone command (git clone git://github.com/danvk/oldnyc.git git clone git://github.com/danvk/oldnyc.github.io.git). After that my home directory looks like that :


2. I installed python2.7 (do not install python 3) :  apt-get install python2.7
3. I installed virtualenv : apt-get install virtualenv
4. Then I followed the instructions written by @danvdk to setup the environment :
cd oldnyc
virtualenv env
source env/bin/activate
pip install -r requirements.txt
     I did not use Google App Engine therefore did not run ./develop.py
     I installed the numpy package : pip install numpy
5. Created some directories necessary for the backend to work :
   mkdir oldnyc/gecocache
   mkdir oldnyc/images
   mkdir oldnyc/thumbnails
6. Fot testing purposes Installed an Apache web server : apt-get install apache2
   Configured it to listen on localhost and serve the content of the directory oldnyc.github.io ,
which is the static site that will be hosted in the cloud.

martedì 1 ottobre 2013

Come fare Open Data nei piccoli Comuni

Condivido un breve articolo che abbiamo scritto io e Patrizia Saggini del Comune di Anzola Emilia (ultimo suo articolo su CheFuturo) in seguito alla nostra esperienza di ‘collaborazione’ sul tema della liberazione e visualizzazione dei dati di bilancio (qui i risultati , qui la dataviz ). L’articolo è diviso in 2 parti redatte rispettivamente da Patrizia e da me.


Come fare OPEN DATA nei piccoli comuni


Da un po' di tempo si parla spesso di OPEN DATA, tanto che con 2 provvedimenti normativi (prima il decreto crescita e poi il decreto sulla trasparenza) lo stato italiano ha deciso che tutti i dati debbono essere pubblicato in un formato aperto.
Il tema e' complesso e ha risvolti che vanno dal tipo di licenza, al formato, alla piattaforma da utilizzare, ecc. e implicano aspetto giuridici e informatici,  ma in questa sede parlerò solo degli aspetti organizzativi: perché i dati non escono per magia da un database, ma debbono essere "trattati" nel modo dovuto, soprattutto in questo momento in cui il processo di pubblicazione deve ancora prendere forma.


Se si fa una breve ricerca sulla rete, salta subito all'occhio che solo i Comuni di grandi dimensioni si sono cimentati con questo tema; e i comuni piccoli?
Ricordiamoci sempre che su un totale di poco più di 8000 Comuni italiani, l'80% ha una popolazione inferiore ai 15.000 abitanti, e quindi si parla di realtà medio piccole.


Come può fare un piccolo comune a cimentarsi con gli OPEN DATA?
Proverò a dare alcune indicazioni: come si fa per una ricetta di cucina, ecco quali possono essere gli ingredienti:
  1. innanzitutto un progetto e un referente definito (non dimentichiamoci che ogni ente può avere le migliori intenzioni, ma se non c'e qualcuno che conduce il gioco, difficilmente l'obiettivo verra' raggiunto)
  2. un referente per ciascun settore, perché i cambiamenti non si fanno da soli, ma insieme alla struttura (ci vuole più tempo, ma fa crescere l'organizzazione)
  3. un po' di formazione non guasta, perché comunque una minima base teorica e' necessaria
  4. un censimento delle basi dati da cui estrarre ciò che ci serve, sapendo come possiamo utilizzarle ai nostri fini
  5. la collaborazione di qualcuno (Comune capoluogo? Provincia? Regione?) per la pubblicazione dei dati (difficilmente un piccolo Comune può investire risorse in costose piattaforme o siti tematici)
  6. e per ultimo, ma non per ultimo, occorre darsi uno sguardo intorno, cercando i software free che danno modo di rappresentare i dati: e' vero che stiamo parlando della pubblicazione dei dati in formato "grezzo", ma e' anche vero che i dati sono patrimonio dei cittadini, che hanno anche il diritto di leggerli e capirli con facilita'.


Ed ecco che il gioco e' fatto!


Meno male che ad un certo punto di questa avventura anche la rete mi ha dato una mano, perché sono entrata in contatto con un "civic hacker" (sembra una brutta parola, ma tranquilli, non fa male a nessuno!), che mi ha fatto conoscere un modo veloce e abbastanza facile per rappresentare i dati di bilancio.


I risultati sono pubblicati in questa pagina, e a breve pubblicheremo tutti i dati di bilancio (preventivo e consuntivo) dal 2011 al 2013 sul portale della Regione Emilia Romagna, con cui abbiamo sottoscritto un accordo.



Come un piccolo Comune può entrare in contatto con un civic hacker


Ma poi cos’è un civic hacker? Cito una delle definizioni che si può trovare qui http://www.codeforamerica.org/2013/06/07/defining-civic-hacking/, quella che a me piace di più : “Civic hacker sono persone che lavorano insieme in modo rapido e creativo per fare delle loro città luoghi migliori per tutti”
Ecco penso che ci sia molto bisogno di ‘civic hacking’ nelle nostre città, nei nostri paesi, nei nostri territori. E’ una nuova forma di impegno civico e credo che anche le piccole comunità possano avere vantaggio nell’alimentare questo tipo di partecipazione.
Nell’ambito dell’open government poi, le amministrazioni di piccole realtà , che magari stentano a trovare budget per progetti in questo campo, hanno fortemente bisogno di coinvolgere pezzi di società civile che abbiano qualche competenza in merito. Ma come possono farlo? Ecco come la vedo io :


  1. Individuando, all’interno dell’ amministrazione, persone che abbiano la giusta sensibilità per i temi della trasparenza, della partecipazione, dei dati aperti. Degli innovatori, a prescindere dal loro mansionario, cui affidare lo sviluppo di relazioni con il variegato mondo degli hacker civici.


  1. Cercando e tessendo connessioni con i gruppi e le associazioni, quanto più locali possibili, che si occupano in qualche modo di nuove tecnologie. Ritengo che , ad esempio, da un LUG (Linux User Group) di una cittadina possano nascere interessanti idee di civic hacking.


  1. Presidiando i network e i canali in rete che si occupano di dati aperti e di open government, in questi gruppi ci sono persone che possono aiutare lo sviluppo delle idee che una amministrazione vorrebbe realizzare. Un esempio perfetto è il gruppo di Spaghetti Open Data


  1. Favorendo tutte le iniziative locali (aggregative, formative, ludiche, etcc…) che hanno una cifra innovativa, cercando in questo modo di coltivare e di far crescere nella popolazione la propensione all’innovazione che sarà dei futuri ‘civic hackers’


Il lavoro di apertura della PA che è necessario se si vuole progredire sui temi di  trasparenza, dati aperti, partecipazione legati alle nuove tecnologie, è di sicuro un lavoro lungo e complesso, soprattutto in piccole realtà dove il digital divide frena questo tipo di innovazione; credo però che lo sforzo debba essere compiuto perchè dietro a queste innovazioni si nasconde un valore notevole per tutti.

domenica 22 settembre 2013

Come spende i soldi il Comune di Ravenna?

In occasione del recente #romagnacamp tenutosi il 6-7 Settembre a Marina Romea, come caso di studio (qui le slide del mio intervento) , ho elaborato una visualizzazione dei dati di spesa del bilancio preventivo 2013 del Comune di Ravenna; per l'occasione sono stato aiutato nella fase di scraping dall'organizzatrice dell'evento Alessandra Farabegoli.
Il caso del Comune di Ravenna è stato particolarmente significativo di quanto ancora occorra migliorare l'apertura dei dati dei nostri Comuni per renderli utili. Infatti, come per i casi di Lugo e Bagnacavallo, i dati di bilancio di Ravenna sono racchiusi in un PDF che, nel caso specifico , non è nemmeno esportabile facilmente in un file di testo per ricavarne un csv.... tanto che Alessandra ha preferito trascrivere a mano i dati.
Il risultato finale di tale sforzo congiunto è una visualizzazione che utilizza lo stesso schema già provato su Lugo e Bagnacavallo e che consente di capire meglio la struttura dei costi in questione.
Al solito la visualizzazione che ritengo più interessante è quella che categorizza i costi per SERVIZIO in quanto consente di avere una percezione visiva immediata di quali sono i costi sostenuti dal Comune per fornire servizi ai cittadini e della loro grandezza relativa.
Come già evidenziato nei post precedenti la visualizzazione è interattiva e quindi navigabile e indagabile fino al livello di dettaglio più preciso disponibile. Se si vuole entrare nel dettaglio di una 'bolla' basta seguire i passi:
- cliccare sulla bolla
- cliccare sull'icona 'view data'
- cliccare sul tab 'Underlying'
- scegliere 'show all columns'
Inoltre i dati grezzi che stanno dietro alla visualizzazione sono scaricabili direttamente con il tasto 'Export' che si trova in basso a destra nel grafico.