Data Sharing, DataGov e Open Data
81
Società italiana di statistica Scuola SIS Web e Statistica Data Sharing, Data Gov e Open Data Vincenzo Patruno Pisa, Santa Croce in Fossabanda, 5 – 9 settembre 2011 Dipartimento di economia aziendale Dipartimento di statistica applicata all’economia Facoltà di Economia, Università di Pisa
-
Upload
vincenzo-patruno -
Category
Technology
-
view
1.247 -
download
0
Transcript of Data Sharing, DataGov e Open Data
Società italiana di statistica
Scuola SIS
Web e Statistica
Data Sharing, Data Gov e Open DataVincenzo Patruno
Pisa, Santa Croce in Fossabanda,
5 – 9 settembre 2011
Dipartimento di economia aziendale
Dipartimento di statistica applicata all’economiaFacoltà di Economia, Università di Pisa
Il punto di partenzaS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
“Lavoreremo insieme per accrescere la fiducia del pubblico e per
creare un sistema basato sulla trasparenza, la partecipazione e
la collaborazione. Questa apertura rafforzerà la nostra
democrazia e promuoverà l'efficienza e l'efficacia del nostro
governo”
Barak Obama
http://www.whitehouse.gov/the_press_office/TransparencyandOpenGovernment/
Il punto di partenzaS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
“Make a beautiful website, but first give us the unadulterated data,
we want the data. We want unadulterated data. OK, we have to
ask for raw data now”
Sir Tim Berners-Lee, inventor of the World Wide Web
Open Government
Si intende un modello di Governance a
livello centrale e locale basato sull'apertura
(partecipazione e collaborazione) e sulla
trasparenza nei confronti dei cittadini
Scu
ola
SIS
“W
eb
e S
tati
sti
ca”
Open Government
Apertura: “ridefinire le modalita' di approccio e di
relazione delle amministrazioni nei confronti del
cittadino” (attraverso la partecipazione e la
collaborazione).
Scu
ola
SIS
“W
eb
e S
tati
sti
ca”
Fonte: Come si fa Open Data? Istruzioni per l'uso per Enti e Amministrazioni Pubbliche –
Associazione italiana per l'Open Government - Maggioli Editore 2011
Open Government
Trasparenza: “consentire, stimolare e facilitare i
cittadini nelle attività di controllo continuo dei
processi decisionali all‟interno delle istituzioni, a tutti
i livelli amministrativi e attraverso l‟utilizzo delle
nuove tecnologie.”
Scu
ola
SIS
“W
eb
e S
tati
sti
ca”
Fonte: Come si fa Open Data? Istruzioni per l'uso per Enti e Amministrazioni Pubbliche –
Associazione italiana per l'Open Government - Maggioli Editore 2011
Open GovernmentS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://www.recovery.gov
http://www.usaspending.gov
Open GovernmentS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Where Does My Money Go
http://www.wheredoesmymoneygo.org
http://www.openspending.org
by
Open GovernmentS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://opengovernmentdata.org/data/map/
E in Italia?S
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
?
E in Italia?S
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Gli HashtagS
cu
ola
SIS
“W
eb
e S
tati
sti
ca” #a4i
#opendata
#okf
#opengov
#opendataitaly
#24opendata
Open GovernmentS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
“[...] Rendere più trasparente il lavoro del governo
mettendo a disposizione in un unico sito web le
informazioni su economia, salute, ambiente e altri
argomenti, consentendo al pubblico di accedere ai
dati grezzi e di utilizzarli in nuovi modi innovativi”
Open GovernmentS
cu
ola
SIS
“W
eb
e S
tati
sti
ca” C’è la consapevolezza che l’Open
Government sia un elemento chiave per lo
sviluppo economico e sociale di un
Paese
Open Data
Nel 2009 la Commissione UE ha stimato
che il mercato europeo per il riutilizzo delle
informazioni del settore pubblico sia di 27
miliardi di euro l’anno. Un’enorme quantità di
denaro di cui, nel 2011, ancora nessuno ha
realmente beneficiato.
Scu
ola
SIS
“W
eb
e S
tati
sti
ca”
Studio “MEPSIR – Measuring European Public Sector
Information Resources" (2006), HELM Group
of Companies with Zenc, per la Commissione europea.
Dati pubblici e Dati OpenS
cu
ola
SIS
“W
eb
e S
tati
sti
ca” I dati Open sono dati Pubblici riutilizzabili
http://opendatamanual.org/
Open DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca” L’intelligenza collettiva
Open DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Data JournalismApps
Data JournalismS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
AppsS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Applicazioni Web
Applicazioni standalone su desktop
Applicazioni standalone su dispositivi mobile
I Contest sugli Open DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://www.appsfordemocracy.org/
La prima edizione di Apps for Democracy ha fruttato 47
Apps (web, iPhone e Facebook) in 47 giorni per un
valore di $2,300,000 per la città a fronte di un costo di
$50,000
“Our mission with "Community Edition" is two fold: to engage the
populace of Washington, DC to ask for their input into the problems
and ideas they have that can be addressed with technology and then
to build the best community platform for submitting 311 service
requests to the city”
I Contest sugli Open DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://appsfordevelopment.challengepost.com/
I Contest sugli Open DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://opendatachallenge.org/
I Contest sugli Open DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://www.appsforitaly.org/
Open DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
L’illuminante talk di Sir Tim Berners-Lee:
The year open data went worldwide
http://www.ted.com/talks/tim_berners_lee_the_year_open_data_went_worldwide.html
Ma… come trovare i dati?S
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Come i dati vengono messi sulla Rete
Un passo indietroS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Il diluvio di datiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Imprigionare i datiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
I dati vengono di fatto imprigionati nei portali, nei
sistemi informativi e nei siti web dove vengono rilasciati
La caccia ai datiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
I dati sul WebS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Portali
Sistemi Informativi
DataGov
Open Data
Scu
ola
SIS
“W
eb
e S
tati
sti
ca”
=
La caccia ai dati
Le piattaforme di DataGovS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://data.octo.dc.gov/
Le piattaforme di DataGovS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://www.data.gov/ http://www.data.gov.uk/
Le piattaforme di DataGovS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
EU Call for TenderS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Piattaforme di Data SharingS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
…
Le Stelline di Tim B. LeeS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Ma…gli Open Data stanno funzionando?
Scu
ola
SIS
“W
eb
e S
tati
sti
ca”
Alcune riflessioniS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://www.compete.com/
Un passaggio necessarioS
cu
ola
SIS
“W
eb
e S
tati
sti
ca” Dati sulla Rete
Dati nella Rete
Connettersi ai DatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Data Producer
Data Consumer
Connettersi ai DatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Dati StrutturatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Il “problema” dei MetadatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
88217
Il “problema” dei MetadatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
– Qual’è il SOGGETTO della misura?
– Qual’è l’UNITA’ di misura?
– Qual’è la REGIONE GEOGRAFICA a cui il dato siriferisce?
– QUANDO la misura è stata fatta?
Il “problema” dei MetadatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Dietro ognuna di queste domande, c’è una idea o CONCETTO che viene usato per descrivere i dati
– Il Soggetto è “popolazione totale"
– L’unità di misura è “persone"
– Il riferimento territoriale è “Comune di Pisa"
– Il Tempo è “31 Dicembre 2010"
Il “problema” dei MetadatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Possiamo quindi dire che:
La popolazione totale del comune di Pisa al
31 dicembre 2010 è di 88217 unità
Il problema dei MetadatiS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
I metadati strutturati devono essere associati
ai dati, altrimenti diventa impossibile
identificare, ritrovare e navigare attraverso i dati
La struttura dei datasetS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Computers need structure
of data
•Concepts and terms
•Code lists
•Data values
•How these fit together
Unit Multiplier
Unit
Topic
Time/Frequency
Country
Stock/Flow
La struttura dei datasetS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Topic
A Brady Bonds
B Bank Loans
C Debt
Securities
Country
AR Argentina
MX Mexico
SA South Africa
Stock/Flow
1 Stock
2 Flow
Concepts
TOPIC
COUNTRY
FLOW
La struttura dei datasetS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
16457
Data Structure DefinitionS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
The simplest explanation of a data structure definition is that it is a set of descriptor concepts, associated with a set of data, which allow us to understand what that data means.
Data Structure DefinitionS
cu
ola
SIS
“W
eb
e S
tati
sti
ca” • Dimension (e.g. frequency, reference area):
• Attribute (e.g. title, observation status):
• Measure (e.g. turnover index, # of births, # of deaths):
• Groups:
– Grouping of dimensions in order to attach group attributes (e.g. sibling group)
Data Structure DefinitionS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Year Month
Turnover
index Status Confidentiality
2002 January 84.5 actual free
2002 February 85.6 actual free
2002 March 95.4 actual free
2002 April 106.2 actual free
2002 May 98.0 actual free
2002 June 95.3 actual free
2002 July 105.4 actual free
2002 August 107.1 actual free
2002 September 105.2 actual free
2002 October 109.4 actual free
2002 November 104.5 actual free
2002 December 111.9 actual free
2003 January 89.1 provisional free
2003 February 88.3 provisional free2003 March 96.1 provisional free
Source: National Statistical Service of Greece
Data prepared to be transmitted to the European Commission (including EUROSTAT)
Table 1. Deflated turnover index (on volume of sales) for retail trade for Greece
(no adjustment). Reference period: January 2002 to March 2003.
(monthly data - Base year: 2000)
Data Structure DefinitionS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Year Month
Turnover
index Status Confidentiality
2002 January 84.5 actual free
2002 February 85.6 actual free
2002 March 95.4 actual free
2002 April 106.2 actual free
2002 May 98.0 actual free
2002 June 95.3 actual free
2002 July 105.4 actual free2002 August 107.1 actual free
2002 September 105.2 actual free
2002 October 109.4 actual free
2002 November 104.5 actual free2002 December 111.9 actual free
2003 January 89.1 provisional free
2003 February 88.3 provisional free
2003 March 96.1 provisional freeSource: National Statistical Service of Greece
Data prepared to be transmitted to the European Commission (including EUROSTAT)
Table 1. Deflated turnover index (on volume of sales) for retail trade for Greece
(no adjustment). Reference period: January 2002 to March 2003.
(monthly data - Base year: 2000)
Dimensions
Measure
Attributes
<? XML ?>S
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://demo.istat.it/api_demo/?q=getpopolazione&prov=0
12&com=012
SDMX FrameworkS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Il Web “Classico”S
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
The Emerging Web of Linked Data - Chris Bizer, Freie
Universität Berlin
Il Web è una ragnatela di documenti collegati tra loro,
per l'utilizzo umano
API e Mash-UpS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
The Emerging Web of Linked Data - Chris Bizer, Freie
Universität Berlin
http://cheapguru.org/comuni/
Semantic WebS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Il Semantic Web è una
ragnatela di informazioni
connesse dalla semantica.
L’idea è di generare
documenti che possano al
tempo stesso essere letti e
compresi da esseri umani,
ma anche acceduti ed
interpretati da agenti
automatici alla ricerca di
contenuti.
Linked DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
The Emerging Web of Linked Data - Chris Bizer, Freie
Universität Berlin
Usa le tecnologie del Semantic Web per
1. Pubblicare dati strutturati sul Web,
2. definire link tra dati di fonti diverse
RDFS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
RDF (Resource Description Framework) è lo strumento proposto dal W3C per
descrivere i metadati relativi ad una risorsa, mettendo a disposizione un
linguaggio per esprimere la semantica di una risorsa.
RDF è costituito da due componenti:
· RDF Model and Syntax: definisce il data model RDF e la sua codifica XML;
· RDF Schema: permette di definire specifici vocabolari per i metadati.
RDFS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Una risorsa, identificata univocamente da un URI, viene descritta utilizzando il
data model RDF.
Questo modello è basato su tre oggetti:
Resource (risorsa): indica ciò che viene descritto mediante RDF e può essere
una risorsa Web (ad esempio una pagina HTML, un documento XML o parti di
esso) o anche una risorsa esterna al Web (ad esempio un libro, un quadro, etc.);
Property (proprietà): indica una proprietà, un attributo o una relazione utilizzata
per descrivere una risorsa. Il significato e le caratteristiche di questa componente
vengono definite tramite RDF Schema;
Statement (espressione): è l'elemento che descrive la risorsa ed è costituito da
un soggetto (che rappresenta la Resource), un predicato (che esprime la
Property) e da un oggetto (chiamato Value) che indica il valore della proprietà.
RDFS
cu
ola
SIS
“W
eb
e S
tati
sti
ca” Le triple: Soggetto, Predicato, Oggetto
Nella forma più semplice, il concetto può essere
applicato a frasi come:
„John drinks tea‟
„David likes apple‟
„Italy hasCapital Rome‟
Essentialmente, una tripla RDF mette in relazione
risorse and dati insieme, indicando “come”
RDFS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
ItalyhasCapital
Rome
http://example.org/countries/Italy
RDFS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Italy RomehasCapital
0580912761477
areaCodepopulation
http://example.org/countries/Italy
http://example.org/cities/Rome
Dove hasCapital è l’occorrenza di un
vocabolario condiviso, che diventa così
un identificatore universale a cui viene
associato un significato specifico
Linked DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
E’ un approccio per pubblicare dati sul Web,
permettendo di linkare dataset insieme usando
riferimenti a concetti comuni
http://baseculturale.it/
RDF Data CubeS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
http://schemapedia.com/schemas/qb
Il vocabolario Data Cube permette la
pubblicazione di dati e di statistiche
multidimensionali in modo da essere linkati ai
relativi dataset e concetti. Il modello alla base del
vocabolario Data Cube è compatibile con il
modello descritto da SDMX
(Statistical Data and Metadata eXchange)
RDFS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
ISTAT Linked DataS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Open Data e interoperabilitàS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
L’interoperabilità è dunque un elemento chiave di uno
degli aspetti più innovativi offerti dagli open data: l’uso
dei dati in modi e per scopi “inattesi”, nuovi in quanto
non previsti dai singoli enti e soggetti che pubblicano i
“dati grezzi”.
Una sfida per il futuroS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Il lavoro più sexy?S
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Hal Varian
Il lavoro più sexy?S
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Hal Varian
Il ruolo dello statisticoS
cu
ola
SIS
“W
eb
e S
tati
sti
ca”
Michael Driscoll
Scu
ola
SIS
“W
eb
e S
tati
sti
ca”
Grazie dell’attenzione
References:1. http://www.linkedopendata.it/semantic-web
2. http://linkeddatabook.com/editions/1.0/
3. http://segnalazionit.org/2010/01/statistico-su-youtube/
4. http://www.wiwiss.fu-berlin.de/en/institute/pwo/bizer/research/publications/Bizer-
SRIinternational-LinkedDataTalk.pdf
5. http://www.cs.unibo.it/~fabio/corsi/ltw01/slides/19-RDF/19-RDF.pdf
6. http://www.slideshare.net/jindrichmynarz/statistical-data-in-rdf
7. http://www.slideshare.net/patruno/sdmxedi-and-sdmxml
8. http://www.slideshare.net/patruno/census-hub-project
