Corso di ETL con Pentaho Data Integration

Condivido i materiali del corso per Data Analyst post-laurea che ho tenuto presso Fidia di Trento
http://www.fidiaweb.net/corso-post-laurea-data-analyst-dal-dato-allinnovazione/.

https://commons.wikimedia.org/wiki/File:KrisangelChap2-ETL.png

Il corso ha avuto un taglio pratico e il testo guida sul quale abbiamo lavorato è una raccolta di ricette per i problemi comuni che si incontrano quando si raccolgono dati da fonti eterogenee, un modo per imparare facendo. Pentaho Data Integration Cookbook 2nd ed. è acquistabile qui : https://www.packtpub.com/big-data-and-business-intelligence/pentaho-data-integration-cookbook-second-edition

Durante il corso ho introdotto alcuni argomenti teorici, per qualche argomento mi sono aiutato con le slide che condivido qui :

Datawarehouse basics : https://docs.google.com/presentation/d/1W-G0XuGWFPTMY2df7liM0o-GM50jr_oKqrkcif_tPYQ/edit?usp=sharing

ETL basics : https://docs.google.com/presentation/d/1JwPFVPJGVPJiQYmKAMOwitkFbYcW-Uq9IOZykirRYMo/edit?usp=sharing

Java basics : https://drive.google.com/open?id=1KRUWN9DKXiCoyZYIIPJ-zO_mRPKGrhMd9DdsLtcT07E

Web services : https://drive.google.com/open?id=1FvbB5xFtj9Au9qYmu_pygZJuRB6ewfplu9DWzfIJGkk

Alcune altre fonti utilizzate durante il corso :
https://www.w3schools.com/
https://help.pentaho.com/Documentation/7.1


Il programma completo del corso :
https://drive.google.com/open?id=1iYjeUa1qrEqqP2aaw93azEWlbe6FaNSd

Read More

Open data e turismo seconda edizione

Pubblico la nuova edizione delle slide che ho mostrato per la lezione tenuta presso la Fondazione Universitaria San Pellegrino di Misano nell'ambito del corso organizzato dalla Scuola Superiore "Maurizio Panti" di Cattolica. Nel corso della lezione sono state effetttuate alcune esercitazioni pratiche di elaborazione e visualizzazione di open data relativi al turismo scaricati dal portale open data del Comune di Ravenna e dal portale Istat.

https://commons.wikimedia.org/wiki/Category:Tourism

Open data e turismo 2a Edizione from Franco Morelli

Read More

ETL per portali open data

Pubblico le slide che ho utilizzato per la lezione tenuta presso la Open Data Summer School tenutasi a Ravenna nella settimana 12-16 Giugno.
L'argomento trattato sono gli strumenti ETL (Extract Tansform Load) e il loro uso per alimentare portali open data. In particolare il focus è posto sulle fasi di harvesting, data validation e upload. Sono portati alcuni casi d'uso di organizzazioni che hanno usato lo strumento ETL Pentaho Data Integration per alimentare i propri portali open data.

Etl per portali open data from Franco Morelli

Read More

Open data per il turismo

Pubblico le slide che ho mostrato per la lezione tenuta presso la Fondazione Universitaria San Pellegrino di Misano nell'ambito del corso organizzato dalla Scuola Superiore "Maurizio Panti" di Cattolica.

Open data e turismo from Franco Morelli

Crediti immagine 

Read More

Open data day 2017

Ecco le slide del mio intervento all' Open Data Day 2017 a Lugo e qualche foto dell'evento e anche del laboratorio di civic hacking tenuto all' Open Data Day di Imola.

Open data beni comuni digitali from Franco Morelli

Read More

Il nuovo #FOIA e come fare richieste di accesso ai dati

Dal 23 Dicembre 2016 è entrato in vigore il cosiddetto #FOIA (Freedom Of Information Act) italiano.
L'obiettivo della legge è quello di facilitare la trasparenza dell'azione degli enti pubblici attraverso un più facile accesso alle informazioni detenute dalla pubblica amministrazione (es. da Enti Locali, Enti Centrali, Ordini, Società partecipate....).
La norma introduce il concetto di accesso generalizzato che va ad affiancarsi all'accesso civico e all'accesso agli atti.
Esistono linee guida dell'ANAC (Autorità Nazionale Anti Corruzione) in proposito che spiegano bene l'ambito di applicazione, le limitazioni, le modalità e i soggetti interessati.

La sostanza è che dovrebbe ora essere più facile ottenere informazioni e dati che appartengono alla collettività. Le richieste di dati non devono infatti essere motivate da specifici scopi e l'amministrazione ha un obbligo di risposta.
Potrebbe essere una buona occasione per fare in modo, per esempio, che vengano rilasciati più dati sui portali opendata di interesse pubblico.

Ma come si può fare una richiesta di accesso generalizzato ai dati? Per esempio in Bassa Romagna? o a Ravenna?
I siti dei Comuni della Bassa Romagna e di Ravenna hanno tutti una pagina relativa all'accesso civico, con i contatti per effettuare la richiesta, è presumibile che essi valgano anche per fare richieste di accesso generalizzato. Li elenco in coda a questo post.
Per emettere una richiesta di accesso si può anche utilizzare l'utile servizio Chiedi! messo in piedi dall'ONG Diritto di Sapere. Il servizio rende pubblica la richiesta che si fa all'amministrazione e rende pubblica anche la risposta, in questo modo vi è un controllo più generalizzato e si aiuta a non ripetere più volte la stessa richiesta da parte di persone diverse sollevando la PA dal dovere rispondere ripetutamente (diventa una sorta di FAQ di richieste di accesso). A questa pagina si possono vedere un po' di esempi delle richieste già fatte : https://chiedi.dirittodisapere.it/list/all

La normativa è appena nata ed è ancora da capire la reale efficacia dello strumento, occorre che cittadini e PA si 'allenino' un po' su questa nuova forma di interazione. Certo le PA che abbiano già abitudine a pubblicare dati (aperti e non) e abbiano revisionato i loro processi per farlo , potrebbero essere più facilitate nell'adempiere ai nuovi obblighi. In ogni modo mentre in Italia il #FOIA è appena partito, in altri luoghi già si è passati a discutere di come una buona politica di #opendata può rendere inutile la normativa #FOIA (rendendo di fatto inutili le richieste di accesso ai dati, visto che i dati sono già pubblicati o la loro pubblicazione è già stata richiesta in un maturo processo di confronto con la società civile) : http://www.yalelawjournal.org/forum/is-open-data-the-death-of-foia

Pagine dei Comuni per l'accesso civico

Comune di Ravenna : http://www.comune.ra.it/Amministrazione-Trasparente/Altri-contenuti-Accesso-civico2

Comune di Lugo : http://www.comune.lugo.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-Civico

Comune di Bagnacavallo : http://www.comune.bagnacavallo.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Alfonsine : http://www.comune.alfonsine.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Fusignano : http://www.comune.fusignano.ra.it/Il-Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Conselice : http://www.comune.conselice.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Cotignola : http://www.comune.cotignola.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Massa Lombarda : http://www.comune.massalombarda.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Comune di Bagnara di Romagna : http://www.comune.bagnaradiromagna.ra.it/Comune/Amministrazione-trasparente/Altri-contenuti/Accesso-civico

Comune di Sant'Agata sul Santerno : http://www.comune.santagatasulsanterno.ra.it/Comune/Amministrazione-Trasparente/Altri-contenuti/Accesso-civico

Read More