Visualizzazione post con etichetta open data. Mostra tutti i post
Visualizzazione post con etichetta open data. Mostra tutti i post

mercoledì 12 febbraio 2014

Un tutorial per l'installazione di CKAN

Il lavoro che potete vedere in questo post è nato dalla collaborazione con http://lavorocoidati.blogspot.it (che ha fatto il grosso :) ).
I bisogni fondamentali per una comunità che vuol fare opendata sono senza dubbio quello di potere condividere i dati, dal punto di vista del produttore, e quello di avere a disposizione i dati, dal punto di vista del consumatore, a prescindere dal fatto che produttore e consumatore potrebbero essere anche lo stesso soggetto.

La risposta tecnologica a questi bisogni sono i Data Portal ovvero ambienti condivisi ove sia possibile: 
  • pubblicare Datasets in diversi formati e con appropriate licenze d'uso.
  • organizzarli per tematica, territorialità, ente produttore, etc.
  • ricercarli per tematica, territorialità, ente produttore, parole chiave, etc.
  • visualizzarli con gli strumenti del portale.
  • utilizzare i dati direttamente (mediante download o API per sviluppatori), manipolarli e renderli disponibili in altre forme (ovviamente senza un'alterazione dell'origine).
Nella comunità open source CKAN è attualmente tra i principali Data Portal di riferimento e si descrive da sè nel sottotitolo che riporto qui sotto.
"CKAN is a powerful data management system that makes data accessible – by providing tools to streamline publishing, sharing, finding and using data. CKAN is aimed at data publishers (national and regional governments, companies and organizations) wanting to make their data open and available."
CKAN è attualmente utilizzato come portale open data di numerosi governi tra i quali USA (http://www.data.gov/), UK (http://data.gov.uk/), Brasile (http://dados.gov.br/), Germania (https://www.govdata.de/) ,Italia (http://www.dati.gov.it) e amministrazioni locali come ad esempio Berlino (http://daten.berlin.de/), Helsinki (http://www.hri.fi/fi/), Trentino (http://dati.trentino.it/), Roma (http://www.opendata.provincia.roma.it/).
Abbiamo quindi pensato fosse utile e stimolante creare una istanza di CKAN (accessibile qui : http://www.ingmazzotti.it:5000/) e pubblicare un tutorial in italiano per la sua installazione su ambiente non Linux (CentOS 6.5 per la precisione).

sabato 1 febbraio 2014

Perchè anche la Bassa Romagna dovrebbe aprire i dati e dotarsi di una Agenda Digitale

L'ultimo rapporto Eurostat sull'utilizzo delle tecnologie ICT in Europa disegna un quadro alquanto sconfortante per l'Italia.  Il rapporto intende fotografare la diffusione in diversi ambiti (privati, imprese , PA) dell'uso dei mezzi di comunicazione tecnologici.

Gli indicatori presenti nel rapporto sono molti e tutti più o meno impietosi per l'Italia, un paese dove le conoscenze informatiche , l'uso di internet, l'utilizzo di servizi web crescono a ritmi più lenti rispetto agli altri paesi europei e si attestano su percentuali da serie B.
Mi viene il sospetto che ci sia una correlazione causale tra questi dati sconfortanti e il fatto che l'Italia sia l'unico paese 'importante' europeo ancora in recessione...

I dataset del rapporto sono tutti open (anche se la licenza sul singolo dataset non è chiara, presumo CC-BY) e qundi ho potuto creare una rappresentazione utlizzando ad esempio l'indicatore della percentuale di uso del web per interfacciarsi con la pubblica amministrazione :








Come si nota l'Italia si piazza in fondo alla classifica di questo come di altri indicatori simili e questa è sicuramente una delle cause della scarsa competitività del nostro sisterma.
A mio avviso serve dunque una volontà forte di cambiamento se si desidera invertitre la tendenza e scalare la classifica per affrontare il futuro più serenamente. Questo deve essere fatto a partire dai territori perchè nessuno dall'alto può fornire ricette giuste in questo ambito ancora 'sperimentale'; gli amministratori devono prendere coscienza del lavoro necessario e dare impulso ad un cambiamento di mentalità che passa senza dubbio attraverso il confronto coi cittadini, mettendo in conto inevitabili fallimenti ma tenendo sempre il punto sugli obiettivi.
La Bassa Romagna è un territorio ancora relativamente 'sano' e per questo a mio avviso può intraprendere un percorso in questo senso prima che le situazioni 'emergenziali' abbiano il sopravvento.
Ecco alcuni dei motivi per i quali penso che il nostro territorio dovrebbe intraprendere un percorso di apertura dei dati e di programmazione di una Agenda Digitale (anche se il termine comincia un po' ad annoiarmi...) :
  • L'economia della conoscenza avrà un ruolo sempre più predominante e i dati sono i mattoni fondamentali di ogni conoscenza. Un territorio che non espone i propri dati non può attrarre questo tipo di economia.
  • La predisposizione di una Agenda Digitale può essere un momento importate per rianalizzare la vocazione del territorio.
  • E' presumibile che nel nostro territorio ci saranno sempre più bisogni e sempre meno risorse. Quindi se si vuole mantenere un livello accettabile dei servizi occorre affidarsi anche alle nuove tecnologie per recuperare efficienza.
  • Per governare bene un territorio bisogna conoscerlo bene. La mole di dati prodotta dalla PA è il fondamento di questa conoscenza. Occorre raccoglierli, aprirli al dibattito, analizzarli insieme ai cittadini.
  • Una Unione dei Comuni è per definizione una 'federazione' di entità. Le nuove tecnologie possono essere utili per tenere insieme queste entità e garantire comuque servizi efficaci .

Mi aiuto infine con la retorica di Barack Obama per fare passare un messaggio che condivido pienamente :

martedì 1 ottobre 2013

Come fare Open Data nei piccoli Comuni

Condivido un breve articolo che abbiamo scritto io e Patrizia Saggini del Comune di Anzola Emilia (ultimo suo articolo su CheFuturo) in seguito alla nostra esperienza di ‘collaborazione’ sul tema della liberazione e visualizzazione dei dati di bilancio (qui i risultati , qui la dataviz ). L’articolo è diviso in 2 parti redatte rispettivamente da Patrizia e da me.


Come fare OPEN DATA nei piccoli comuni


Da un po' di tempo si parla spesso di OPEN DATA, tanto che con 2 provvedimenti normativi (prima il decreto crescita e poi il decreto sulla trasparenza) lo stato italiano ha deciso che tutti i dati debbono essere pubblicato in un formato aperto.
Il tema e' complesso e ha risvolti che vanno dal tipo di licenza, al formato, alla piattaforma da utilizzare, ecc. e implicano aspetto giuridici e informatici,  ma in questa sede parlerò solo degli aspetti organizzativi: perché i dati non escono per magia da un database, ma debbono essere "trattati" nel modo dovuto, soprattutto in questo momento in cui il processo di pubblicazione deve ancora prendere forma.


Se si fa una breve ricerca sulla rete, salta subito all'occhio che solo i Comuni di grandi dimensioni si sono cimentati con questo tema; e i comuni piccoli?
Ricordiamoci sempre che su un totale di poco più di 8000 Comuni italiani, l'80% ha una popolazione inferiore ai 15.000 abitanti, e quindi si parla di realtà medio piccole.


Come può fare un piccolo comune a cimentarsi con gli OPEN DATA?
Proverò a dare alcune indicazioni: come si fa per una ricetta di cucina, ecco quali possono essere gli ingredienti:
  1. innanzitutto un progetto e un referente definito (non dimentichiamoci che ogni ente può avere le migliori intenzioni, ma se non c'e qualcuno che conduce il gioco, difficilmente l'obiettivo verra' raggiunto)
  2. un referente per ciascun settore, perché i cambiamenti non si fanno da soli, ma insieme alla struttura (ci vuole più tempo, ma fa crescere l'organizzazione)
  3. un po' di formazione non guasta, perché comunque una minima base teorica e' necessaria
  4. un censimento delle basi dati da cui estrarre ciò che ci serve, sapendo come possiamo utilizzarle ai nostri fini
  5. la collaborazione di qualcuno (Comune capoluogo? Provincia? Regione?) per la pubblicazione dei dati (difficilmente un piccolo Comune può investire risorse in costose piattaforme o siti tematici)
  6. e per ultimo, ma non per ultimo, occorre darsi uno sguardo intorno, cercando i software free che danno modo di rappresentare i dati: e' vero che stiamo parlando della pubblicazione dei dati in formato "grezzo", ma e' anche vero che i dati sono patrimonio dei cittadini, che hanno anche il diritto di leggerli e capirli con facilita'.


Ed ecco che il gioco e' fatto!


Meno male che ad un certo punto di questa avventura anche la rete mi ha dato una mano, perché sono entrata in contatto con un "civic hacker" (sembra una brutta parola, ma tranquilli, non fa male a nessuno!), che mi ha fatto conoscere un modo veloce e abbastanza facile per rappresentare i dati di bilancio.


I risultati sono pubblicati in questa pagina, e a breve pubblicheremo tutti i dati di bilancio (preventivo e consuntivo) dal 2011 al 2013 sul portale della Regione Emilia Romagna, con cui abbiamo sottoscritto un accordo.



Come un piccolo Comune può entrare in contatto con un civic hacker


Ma poi cos’è un civic hacker? Cito una delle definizioni che si può trovare qui http://www.codeforamerica.org/2013/06/07/defining-civic-hacking/, quella che a me piace di più : “Civic hacker sono persone che lavorano insieme in modo rapido e creativo per fare delle loro città luoghi migliori per tutti”
Ecco penso che ci sia molto bisogno di ‘civic hacking’ nelle nostre città, nei nostri paesi, nei nostri territori. E’ una nuova forma di impegno civico e credo che anche le piccole comunità possano avere vantaggio nell’alimentare questo tipo di partecipazione.
Nell’ambito dell’open government poi, le amministrazioni di piccole realtà , che magari stentano a trovare budget per progetti in questo campo, hanno fortemente bisogno di coinvolgere pezzi di società civile che abbiano qualche competenza in merito. Ma come possono farlo? Ecco come la vedo io :


  1. Individuando, all’interno dell’ amministrazione, persone che abbiano la giusta sensibilità per i temi della trasparenza, della partecipazione, dei dati aperti. Degli innovatori, a prescindere dal loro mansionario, cui affidare lo sviluppo di relazioni con il variegato mondo degli hacker civici.


  1. Cercando e tessendo connessioni con i gruppi e le associazioni, quanto più locali possibili, che si occupano in qualche modo di nuove tecnologie. Ritengo che , ad esempio, da un LUG (Linux User Group) di una cittadina possano nascere interessanti idee di civic hacking.


  1. Presidiando i network e i canali in rete che si occupano di dati aperti e di open government, in questi gruppi ci sono persone che possono aiutare lo sviluppo delle idee che una amministrazione vorrebbe realizzare. Un esempio perfetto è il gruppo di Spaghetti Open Data


  1. Favorendo tutte le iniziative locali (aggregative, formative, ludiche, etcc…) che hanno una cifra innovativa, cercando in questo modo di coltivare e di far crescere nella popolazione la propensione all’innovazione che sarà dei futuri ‘civic hackers’


Il lavoro di apertura della PA che è necessario se si vuole progredire sui temi di  trasparenza, dati aperti, partecipazione legati alle nuove tecnologie, è di sicuro un lavoro lungo e complesso, soprattutto in piccole realtà dove il digital divide frena questo tipo di innovazione; credo però che lo sforzo debba essere compiuto perchè dietro a queste innovazioni si nasconde un valore notevole per tutti.

domenica 22 settembre 2013

Come spende i soldi il Comune di Ravenna?

In occasione del recente #romagnacamp tenutosi il 6-7 Settembre a Marina Romea, come caso di studio (qui le slide del mio intervento) , ho elaborato una visualizzazione dei dati di spesa del bilancio preventivo 2013 del Comune di Ravenna; per l'occasione sono stato aiutato nella fase di scraping dall'organizzatrice dell'evento Alessandra Farabegoli.
Il caso del Comune di Ravenna è stato particolarmente significativo di quanto ancora occorra migliorare l'apertura dei dati dei nostri Comuni per renderli utili. Infatti, come per i casi di Lugo e Bagnacavallo, i dati di bilancio di Ravenna sono racchiusi in un PDF che, nel caso specifico , non è nemmeno esportabile facilmente in un file di testo per ricavarne un csv.... tanto che Alessandra ha preferito trascrivere a mano i dati.
Il risultato finale di tale sforzo congiunto è una visualizzazione che utilizza lo stesso schema già provato su Lugo e Bagnacavallo e che consente di capire meglio la struttura dei costi in questione.
Al solito la visualizzazione che ritengo più interessante è quella che categorizza i costi per SERVIZIO in quanto consente di avere una percezione visiva immediata di quali sono i costi sostenuti dal Comune per fornire servizi ai cittadini e della loro grandezza relativa.
Come già evidenziato nei post precedenti la visualizzazione è interattiva e quindi navigabile e indagabile fino al livello di dettaglio più preciso disponibile. Se si vuole entrare nel dettaglio di una 'bolla' basta seguire i passi:
- cliccare sulla bolla
- cliccare sull'icona 'view data'
- cliccare sul tab 'Underlying'
- scegliere 'show all columns'
Inoltre i dati grezzi che stanno dietro alla visualizzazione sono scaricabili direttamente con il tasto 'Export' che si trova in basso a destra nel grafico.


martedì 16 luglio 2013

Il bilancio preventivo 2013 del Comune di Lugo , le uscite

A fine Giugno anche il Comune di Lugo ha pubblicato il bilancio preventivo 2013 : http://www.comune.lugo.ra.it/Comune/Documenti-e-Progetti/Bilancio/Anno-2013.

Anche in questo caso ho 'liberato' i dati dal PDF e creato la stessa elaborazione già effettuata per il bilancio del Comune di Bagnacavallo : http://public.tableausoftware.com/views/Bilancio2013Lugo-Uscite/PerServizio
Purtroppo in questo caso manca il dettaglio ultimo delle spese (che nel bilancio di Bagnacavallo era presente), cioè la gerarchia si ferma all' INTERVENTO. Questo fa capire quanta strada ci sia ancora da fare sulla standardizzazione della pubblicazione dei dati, 2 Comuni facenti parte della stessa Unione di Comuni pubblicano i bilanci in modi diversi....

Venendo al contenuto dei grafici ritengo che la visualizzazione più interessante sia quella per SERVIZIO nella quale mi colpiscono la spesa per lo smaltimento rifiuti e per le farmacie (sui 52 Mln di Euro del totale delle uscite sono rispettivamente il 12% e il 7%).
Grazie alla visualizzazione ciascuno è libero di indagare e cercare i dati che più interessano, se si vuole entrare nel dettaglio di una 'bolla' basta seguire i passi:
- cliccare sulla bolla
- cliccare sull'icona 'view data'
- cliccare sul tab Underlying
- scegliere 'show all columns'


domenica 23 giugno 2013

Il bilancio preventivo 2013 del Comune di Bagnacavallo , le entrate

Come si finanzia il Comune? In questo caso la gerarchia delle voci di bilancio è la seguente : TITOLO -> CATEGORIA -> RISORSA -> CAPITOLO - DETTAGLIO.
In questo caso la gerarchia non aiuta ad analizzare approfonditamente le voci in quanto CATEGORIA RISORSA E CAPITOLO hanno valori uguali.
Dunque le visualizzazioni alternative che danno informazione sono per TITOLO , per CAIPTOLO e per DETTAGLIO

Per Titolo : si nota che le entrate tributarie rappresentano più del 50% dei 21 Milioni totali di entrate. A seguire le entrate derivanti da prestiti (15% del totale)

Per Capitolo: è evidente che le imposte (in cui l'IMU è preponderante) e le tasse sono la principale fonte di finanziamento.Differenza tra imposte e tasse


Per Dettaglio : in questa visualizzazione l'importanza dell'IMU è subito apprezzabile, insieme alle anticipazioni di cassa (prestiti) e la tassa di smaltimento rifiuti (che ,stando al grafico delle uscite, viene usata in toto per pagare il contratto di servizio smaltimento)

E' evidente che le imposte siano la principale fonte di finanziamento per le casse comunali In particolare l'IMU rappresenta la parte preponderante degli introiti (circa il 30% della somma di tutte le poste di bilancio)


martedì 4 giugno 2013

Il bilancio preventivo 2013 del Comune di Bagnacavallo , le uscite

Il Comune di Bagnacavallo ha recentemente pubblicato il bilancio di previsione 2013 :
http://www.comune.bagnacavallo.ra.it/Comune/Atti-Amministrativi/Bilancio/2013/Bilancio-anno-2013

Purtroppo la pagina sopra menzionata è un tipico esempio di dato 'chiuso', i dati interessanti sono imprigionati in file PDF , quando non addirittura in PDF frutto di scanner...

Fortunatamente il bilancio analitico è un PDF strtturato e non una scansione, dunque sono riuscito a 'liberare' i dati contenuti in esso per dimostrare come un set di dati aperto (http://datahub.io/it/dataset/bil-prev-2013-bagna) aiuti a spiegare, meglio che in 100 conferenze, come vengono spesi i soldi della comunità.

Ecco il risultato in rappresentazione grafica , in sostanza si tratta di una serie di visualizzazioni che mostrano come è suddiviso l'ammontare totale della spesa (circa 21 milioni di Euro) sotto vari punti di vista (per titolo, per funzione, per servizio, per intervento, per dettaglio):

http://public.tableausoftware.com/views/Bilancio2013Bagnacavallo-Uscite/TabellaDettaglio

Personalmente , la cosa che ho trovato più saliente è l'ammontare della spesa per il servizio smaltimento rifiuti, non penso che,anche con buona volontà, leggendo le 80 pagine del bilancio in PDF mi sarei accorto che più del 10% (!!!!) della spesa annuale del Comune serve a questo.




L'albo pretorio

Ritengo che l'albo pretorio (http://it.wikipedia.org/wiki/Albo_pretorio)sia uno strumento utile poichè contiene le decisioni del consiglio e della giunta oltre che le ordinanze che riguardano tutti i cittadini.Può essere un veicolo di partecipazione oltre che di trasparenza. Lo si trova su tutti i siti delle pubbliche amministrazioni ma in forma a mio avviso poco fruibile, per questo ho implementato un piccolo software che quotidianamente riporta il contenuto dell'albo su fb cercando di renderlo più 'vivo'.

http://www.facebook.com/AlboPretorioBassaRomagna

 Anche su twitter : https://twitter.com/BassaRomagna

Il codice che fa lo scraping dal sito dei comuni si trova qui https://scraperwiki.com/profiles/eccoilmoro/ , chiunque può creare una applicazione che interroga l'albo pretorio 'scrapperizzato'

Il codice che fa il posting su fb e twitter si trova qui :  https://github.com/eccoilmoro

Il bilancio 2012 del Comune di Lugo

Il bilancio di un Comune non è certo una cosa facilissima da comprendere. 'Aprire' i dati del bilancio,come ho fatto con i dati del Comune di Lugo che erano imprigionati in un PDF, aiuta ai cittadini a farsi un idea su come vengono spesi i soldi di tutti, per esempio perchè a qualcuno potrebbe venire in mente di farci un bel grafico chiarificatore.

Qui si può trovare il dataset che ho 'estratto' dal PDF : http://datahub.io/it/dataset/bilanciolugo2012

E qui qualche rappresentazione grafica  : http://openspending.org/bil_lugo_2012_spesa/views/bilancio-preventivo-2012-comune-di-lugo