Visualizzazione post con etichetta CKAN. Mostra tutti i post
Visualizzazione post con etichetta CKAN. Mostra tutti i post

lunedì 19 giugno 2017

ETL per portali open data

Pubblico le slide che ho utilizzato per la lezione tenuta presso la Open Data Summer School tenutasi a Ravenna nella settimana 12-16 Giugno.
L'argomento trattato sono gli strumenti ETL (Extract Tansform Load) e il loro uso per alimentare portali open data. In particolare il focus è posto sulle fasi di harvesting, data validation e upload. Sono portati alcuni casi d'uso di organizzazioni che hanno usato lo strumento ETL Pentaho Data Integration per alimentare i propri portali open data.



mercoledì 12 febbraio 2014

Un tutorial per l'installazione di CKAN

Il lavoro che potete vedere in questo post è nato dalla collaborazione con http://lavorocoidati.blogspot.it (che ha fatto il grosso :) ).
I bisogni fondamentali per una comunità che vuol fare opendata sono senza dubbio quello di potere condividere i dati, dal punto di vista del produttore, e quello di avere a disposizione i dati, dal punto di vista del consumatore, a prescindere dal fatto che produttore e consumatore potrebbero essere anche lo stesso soggetto.

La risposta tecnologica a questi bisogni sono i Data Portal ovvero ambienti condivisi ove sia possibile: 
  • pubblicare Datasets in diversi formati e con appropriate licenze d'uso.
  • organizzarli per tematica, territorialità, ente produttore, etc.
  • ricercarli per tematica, territorialità, ente produttore, parole chiave, etc.
  • visualizzarli con gli strumenti del portale.
  • utilizzare i dati direttamente (mediante download o API per sviluppatori), manipolarli e renderli disponibili in altre forme (ovviamente senza un'alterazione dell'origine).
Nella comunità open source CKAN è attualmente tra i principali Data Portal di riferimento e si descrive da sè nel sottotitolo che riporto qui sotto.
"CKAN is a powerful data management system that makes data accessible – by providing tools to streamline publishing, sharing, finding and using data. CKAN is aimed at data publishers (national and regional governments, companies and organizations) wanting to make their data open and available."
CKAN è attualmente utilizzato come portale open data di numerosi governi tra i quali USA (http://www.data.gov/), UK (http://data.gov.uk/), Brasile (http://dados.gov.br/), Germania (https://www.govdata.de/) ,Italia (http://www.dati.gov.it) e amministrazioni locali come ad esempio Berlino (http://daten.berlin.de/), Helsinki (http://www.hri.fi/fi/), Trentino (http://dati.trentino.it/), Roma (http://www.opendata.provincia.roma.it/).
Abbiamo quindi pensato fosse utile e stimolante creare una istanza di CKAN (accessibile qui : http://www.ingmazzotti.it:5000/) e pubblicare un tutorial in italiano per la sua installazione su ambiente non Linux (CentOS 6.5 per la precisione).