Dall'open-source agli open-data

download Dall'open-source agli open-data

If you can't read please download the document

description

Seminario Università di Camerino 23 aprile 2012 Open Source, Open Access, Open Government e Open Data Carlo Vaccari

Transcript of Dall'open-source agli open-data

  • 1. Universit di Camerino filosofia OPEN e ICT OPEN - source- access- Government- dataLayout by orngjce223, CC-BYCarlo Vaccari (Istat, UniCam , ISF , MZ , ...)[email protected]://vaccaricarlo.wordpress.com 1Universit di Camerino, 23 aprile 2012

2. This material is distributed under the Creative Commons"Attribution - NonCommercial - Share Alike - 3.0", available atLayout by orngjce223, CC-BYhttp://creativecommons.org/licenses/by-nc-sa/3.0/ Universit di Camerino, 23 aprile 2012 3. indiceOpen InformationOpen Source: Stallman, Raymond, FSF, OSI, OS Softwarevs. Software Libero, licenzeOpen AccessOpen GovernmentOpen Data (community, Europa, licenze)Layout by orngjce223, CC-BY3 Universit di Camerino, 23 aprile 2012 4. (prei)storiadalla lettera di T. Jefferson a Isaac McPherson (1813)If nature has made any one thing less susceptible than all others of exclusive property, it is the action of the thinking power called an idea, which an individual may exclusively possess as long as he keeps it to himself; but the moment it is divulged, it forces itself into the possession of every one, and the receiver cannot dispossess himself of it. Its peculiar character, too, is that no one possesses the less, because every other possesses the whole of it.He who receives an idea from me, receives instruction himselfwithout lessening mine; as he who lights his taper at mine,receives light without darkening me. That ideas should freely spreadfrom one to another over the globe, for the moral and mutual instructionof man, and improvement of his condition, seems to have beenpeculiarly and benevolently designed by nature, when she made them,Layout by orngjce223, CC-BYlike fire, expansible over all space ... and like the air ... incapable ofconfinement or exclusive appropriation.4Universit di Camerino, 23 aprile 2012 5. storia1966: Freedom of Information Act (FOIA): coerente con laconvinzione che i cittadini hanno il "diritto di conoscere" I dati delgovernoLa legge impone al governo una serie di regole per permettere achiunque di sapere come funziona il governo federale,garantendo laccesso totale o parziale a documenti classificatiIlprovvedimento garantisce la trasparenza dellapubblica amministrazione verso il cittadino e la libert di stampaLayout by orngjce223, CC-BY5Universit di Camerino, 23 aprile 2012 6. Stallmanun tempo tutti i software erano open e freerms al MIT nei primi anni 80 si scontra con i primi sistemi chiusi(PDP e Xerox)1983: esce dal MIT e lancia GNU (Gnus Not Unix) lo sviluppoinizia dagli strumenti di sviluppo Emacs e gcc1985: rms fonda la Free Software Foundation1989: GPL General Public License copyleft permesso di autoreNota: free software, free as in freedom, not free as a beer!Layout by orngjce223, CC-BY6 Universit di Camerino, 23 aprile 2012 7. software liberoLibert 0, o Libert fondamentale: libert di eseguire il programma per qualunque scopo, senza vincoli sul suo utilizzo.Libert 1: libert di studiare il funzionamento del programma, e di adattarlo alle proprie esigenze.Libert 2: libert di redistribuire copie del programma.Libert 3: libert di migliorare il programma, e di distribuirne i miglioramenti.Layout by orngjce223, CC-BYdalla fsf7 Universit di Camerino, 23 aprile 2012 8. linuxnel 1991 Linus Torvalds uno studente finlandese lancia unarichiesta su un newsgroup per lo sviluppo di un sistema operativoapertoparte uno dei pi grandi processi collettivi di sviluppo con migliaia diprogrammatori di tutto il mondogli strumenti GNU sono usati per sviluppare linux (GNU/Linux)oggi kernel linux ancora gestito da Linus, distribuzioni: diversiimpacchettamenti del kernellinux everywhere: dai supercomputer ai cellulari alle autoLayout by orngjce223, CC-BYinternet come strumento indispensabile per consentire il lavoro collettivo 8Universit di Camerino, 23 aprile 2012 9. la cattedrale e il bazarEric S. Raymond nel 1997 pubblica La cattedrale e il bazar una riflessione sul modo di sviluppare delle comunit open-sourceNessuna cattedrale da costruire in silenzio e reverenza. Piuttosto,la comunit Linux assomigliava a un grande e confusionariobazar, pullulante di progetti e approcci tra loro diversi(efficacemente simbolizzati dai siti contenenti larchivio di Linuxdove apparivano materiali prodotti da chiunque). Un bazar dalquale soltanto una serie di miracoli avrebbe potuto far emergereun sistema stabile e coerente.In realt ritengo che la mossa pi scaltra e consequenziale di Linus non sia stata la costruzione del kernel di Linux in s, bens la sua invenzione del modello di sviluppo di Linux. Quando ho espresso questo mio pensiero in sua presenza, sorridendo ha ripetuto conLayout by orngjce223, CC-BY calma quel che va spesso affermando: Praticamente sono una persona molto pigra cui piace prendersi il merito di quel che sono gli altri a fare. Pigro come una volpe. Oppure, come avrebbe detto Robert Heinlein, troppo pigro per fallire.9 Universit di Camerino, 23 aprile 2012 10. la cattedrale e il bazarNel testo elencati principi validi ancora oggi:1. Ogni buon lavoro software inizia dalla frenesia personale di uno sviluppatore2. I bravi programmatori sanno cosa scrivere. I migliori sanno cosa riscrivere (e riusare) (ndr: anche Linux nasce da Minix)3. Preparati a buttarne via uno; dovrai farlo comunque. (Fred Brooks, The Mythical Man-Month, Capitolo 11)4. Se hai latteggiamento giusto, saranno i problemi interessanti a trovare te5. Quando hai perso interesse in un programma, lultimo tuo dovere passarlo a un successore competente6. Trattare gli utenti come co-sviluppatori la strada migliore per ottenereLayout by orngjce223, CC-BY rapidi miglioramenti del codice e debugging efficaceRispetto a FSF, accento su maggiore efficacia e qualit dei prodotti software open-source, piuttosto che sugli aspetti etici10Universit di Camerino, 23 aprile 2012 11. open source1988: Open Source Initiative (OSI - Raymond) definizione open source:Libert di redistribuzione (gratuita o no);Libert di consultare il codice sorgente;Necessit di approvazione per i prodotti derivati;Integrit del codice sorgente dellautore;Nessuna discriminazione verso singoli o gruppi di persone;Nessuna discriminazione verso i settori di applicazione;La licenza deve essere distribuibile;La licenza non pu essere specifica per un prodotto;La licenza non pu contaminare altri software;Layout by orngjce223, CC-BYLa licenza deve essere tecnologicamente neutrale;11Universit di Camerino, 23 aprile 2012 12. licenzeGPL The General Public License is a copying license whichbasically says that you have the freedoms we want you to haveand that you cant take these freedoms away from anyone else.(rms)GPLv2 e LGPL (meno restrittiva) rilasciate nel 1991ora GPLv3 considerata troppo restrittiva, non usata da LinuxBSD: licenza vicina al public domainApache : licenza non-copyleft, lascia la libert di usare il softwarederivato sotto qualunque licenzaLayout by orngjce223, CC-BY12 Universit di Camerino, 23 aprile 2012 13. la soluzione EUPLEUPL, la prima licenza F/OSS europea, creata per iniziativa dellaCommissione Europea.Approvata dalla Commissione il 9 gennaio 2007 in tre lingue,validata nel 2008 nelle 22 lingue ufficiali dellUnione EuropeaNel 2009 viene adottata una nuova versione (EUPL v.1.1) e nelmarzo 2009 EUPL viene certificata dallOSIEUPL uno strumento legale unico, in quanto elaborato nelrispetto della legge europea e ha valore legale (grazie anche allaLayout by orngjce223, CC-BYtraduzione) in tutti gli stati europeiUniversit di Camerino, 23 aprile 2012 14. EUPL Esistono pi di 100 licenze open: scopo dellEUPL non competere con queste, ma incoraggiare le PA europee adabbracciare il modello FLOSS per valorizzare software econoscenza, a partire dalle stesse istituzioni europee, che lausano per rilasciare software openEUPL quindi compatibile con alcune licenze copyleft, inclusa laGPLv2Joinup (prima OSOR Open Source Observatory and Repository),allinterno del progetto IDABC finanziato dalla CommissioneEuropea: repository, supporto legale etcLayout by orngjce223, CC-BY Universit di Camerino, 23 aprile 2012 15. iniziative in europahttp://flossimpact.eu/: studio su FLOSS 2007Neelie Kroes messaggio sullopensourceEU strategy 2011-2013:http://ec.europa.eu/dgs/informatics/oss_tech/index_en.htmUso di OSS quando si riscontrino beneficiOSS sempre valutati a fianco dei software proprietariPer i futuri sviluppi promosso luso di prodotti che supportinostandard riconosciuti e documentatiPer lo sviluppo di nuovi sistemi informativi, se rilasciati fuori dallaCommissione, le soluzioni OSS saranno preferite, ogni qualvoltaLayout by orngjce223, CC-BYsia possibileUniversit di Camerino, 23 aprile 2012 16. internet come free software1969: Arpanet per collegare 4 universit1982: separazione di MilNetanni 80: altre reti IBM, DEC, Microsoft ...Internet basata su protocolli aperti e gratuiti TCP/IPgestione da parte di ISOC (politica) e IETF (tecnica)RFC Request For Commentstutti gli standard di Internet sono pubblici e gratuiti: pensate come sarebbe la rete se avessero vinto gli altri? dovremmo pagare per usare un protocollo, per progettare un router, per usare un driver, per navigare, per scrivere una mail ...Layout by orngjce223, CC-BYinternet sta diventando un bene comune (commons)16Universit di Camerino, 23 aprile 2012 17. altro software liberooltre a linux:Apache: il pi diffuso webserver al mondoFirefox e ChromeOpenOffice Libreoffice: il fork pi famosotutti i CMS pi diffusi: Wordpress, Joomla, Drupal, DB: MySQL, PostgreSQL, ...Linguaggi: PHP, Java, Rubysourceforge: >300k progetti.. e ancora altriLayout by orngjce223, CC-BY17 Universit di Camerino, 23 aprile 2012 18. il software open ha gi vinto?in occasione dei 20 anni di Linux, Cosa non avremmo senza ilsoftware aperto (Zemlin):GoogleFacebook, Twitter e WikipediaApple MacOS e iOSil 90% dei 500 supercomputer pi veloci del mondoAmazon Kindle e gli altri ebookcellulari Android (>50% degli smartphone)televisori (smart TV e box multimedia, IPTV), elettrodomestici, inLayout by orngjce223, CC-BYfuturo auto intelligenti FLOSS indispensabile per linnovazione 18 Universit di Camerino, 23 aprile 2012 19. creative commonsal di fuori del software il concetto di copyleft passato aicontenuti (testi, musica, video) con il lavoro di Lawrence Lessig,fondatore delle licenze Creative CommonsLayout by orngjce223, CC-BY 19 Universit di Camerino, 23 aprile 2012 20. creative commonsle licenze CC nascono tra il copyright (all rights reserved) eil public domain CC = some rights reserveddal 2009 anche CC0 (public domain)dal 2009 Wikipedia viene rilasciata sotto licenza CC BY-SA,in aggiunta alloriginaria GFDL (di FSF)Layout by orngjce223, CC-BYmolti repository (v Google, Flickr, Slideshare, ) usano lelicenze CC per filtrare i risultati 20Universit di Camerino, 23 aprile 2012 21. open accessNel 2001 a Budapest si tiene un convegno promosso dall Open Society Institute con lobiettivo di aumentare gli sforzi infavore della pubblicazione delle ricerche liberamente suinternetNasce cos la Budapest Open Access Initiative che sostiene chelaccesso libero d ai lettori uno straordinario potere di trovaree usare I risultati della ricerca e d agli autori una maggioremisurabile visibilit e un maggiore impattoDue le strategie consigliate:Self-archiving (secondo gli standard Open Archive)Layout by orngjce223, CC-BYOpen-access journals (v. DOAJ) 21 Universit di Camerino, 23 aprile 2012 22. open accessNel 2008, la Commissione europea ha deciso che il 20% dellaricerca finanziata dalla Commissione allinterno del 7 PQ deveessere pubblicato come Open Access dopo un embargo di 6-12mesi; lazione stata seguita dal Consiglio Europeo della Ricerca(pubblicazione ad accesso aperto dopo 6 mesi), e poi daEuropean Science Foundation (ESF) e dal Consiglio europeo dellaricerca (EuroHORCS)OpenAIRE un repository dove sono depositati i risultati dellericerche europee sul sito anche statistiche e lelenco dellerisorse open access degli stati europeiLayout by orngjce223, CC-BYWorld Bank ha rilasciato il sito Open Knowledge dove molte ricerche sono rilasciate con licenze Creative Commons (CC BY e CC BY-NC-ND) 22 Universit di Camerino, 23 aprile 2012 23. open governmentIl primo atto di Obama come presidente USA (gennaio 2009) stato il Memorandum on Transparency and Open Governmentche inizia cos:My Administration is committed to creating an unprecedented levelof openness in Government. We will work together to ensure thepublic trust and establish a system of transparency, publicparticipation, and collaboration. Openness will strengthen ourdemocracy and promote efficiency and effectiveness inGovernmentA dicembre 2009 la Open Government Directive per mettere inpratica il Memorandum: nella Direttiva fissate precise scadenzeentro le quali tutte le amministrazioni dovevano mettere in pratica iprincipi del memorandumLayout by orngjce223, CC-BYLe azioni sono descritte nel sito Open Government Initiative(esempio recovery.gov) Universit di Camerino, 23 aprile 2012 24. open government in europeSempre nel 2009 in Europa una Open Declaration on EuropeanPublic Services ha proposto tre principi fondamentali per i servizipubblici europei:1. Trasparenza:- organizzazioni del settore pubblico "trasparenti" per default- informazioni chiare e aggiornate sui processi aministrativi- cittadini in grado di indicare dove aumentare la trasparenza- formati open, standard e riutilizzabili2. Partecipazione:- input dai cittadini in tutte le attivit- collaborazione con i cittadini: competenza base del governo3. Empowerment:- istituzioni piattaforma per la creazione di valore pubblico- dati e servizi disponibili in modo che altri possano riutilizzarli- fornire risorse per consentire ai cittadini di risolvere problemiLayout by orngjce223, CC-BY- cittadini proprietari dei dati e in grado di controllare come i datisono condivisiDichiarazione accettata nella Ministerial Declaration di MalmoeUniversit di Camerino, 23 aprile 2012 25. open governmentRaccomandazioni da Tim OReilly: Government as a Platform (v.)Lanciare una direttiva sul governo apertoCreare una infrastruttura semplice, affidabile e accessibile al pubblico chepubblichi i dati di citt, stato, o agenziaCostruire i siti web e applicazioni usando gli stessi sistemi aperti usati perdiffondere laccesso ai datiCondividere le API con il pubblico, utilizzando le API di Data.gov per ilgoverno e creandone di equivalenti a livello localeCondividere il lavoro con altre citt, stati o agenzieRilasciare il software come open source, collaborare con i organismi di standardizzazione, costruire una comune piattaforma di cloudLayout by orngjce223, CC-BY computing, o semplicemente condividere le migliori prassi (cfr. Code for America)Universit di Camerino, 23 aprile 2012 26. open governmentNon re-inventare la ruota: supportare gli standard aperti esistenti e usaresoftware open appena possibile (ad esempio Open311 unbellesempio di standard aperti adottati da molte citt)Creare un elenco di applicazioni software riusabili dagli impiegati pubblicisenza bisogno di gareCreare un app store che offra applicazioni, sia create dai privati chegenerate dal governo (v. Apps.DC.gov)Crear linee guida permissive sulluso dei social media da parte deidipendenti pubblici che consentano agli impiegati di coinvolgere ilpubblico, anche senza lautorizzazione dei superioriSponsorizzare incontri, code-camp e altre attivit che consentano aicittadini di impegnarsi in attivit civicheLayout by orngjce223, CC-BYUniversit di Camerino, 23 aprile 2012 27. open governmentOpen Government Partnership : 73 nazioni che aderiscono alliniziativa perla realizzazione di azioni funzionali a:un innalzamento del livello di trasparenza nellazione governativauna efficace lotta alla corruzioneun coinvolgimento reale dei cittadini nei processi decisionalilutilizzo delle nuove tecnologie dellinformazione per migliorare lagovernanceLItalia ha aderito ad aprile 2012 con un Action Plan sottoposto aconsultazione pubblicaLayout by orngjce223, CC-BY Universit di Camerino, 23 aprile 2012 28. open dataTim Berners-Lee: Raw Data Now! TED 2009In Europa si parla da anni di PSI: Public Sector Information (vedi lapiattaforma EPSIplus) dati non necessariamente apertiIl dato per essere aperto deve essere: ricercabile aperto legalmente aperto tenicamente gratuitoRegole per gli Open Government Data:se non indicizzato, non esiste se non disponibile in formati aperti e machine readable, noncoinvolgeLayout by orngjce223, CC-BYse non c un quadro legale che consente il ri-uso, non abilita luso Universit di Camerino, 23 aprile 2012 29. valore degli open dataNel 2006 la Commissione europea ha commissionato lo studioMEPSIR (Measuring European Public Sector InformationResources), che stimava un valore complessivo per gli open dataEU tra 10 e 48 miliardi di Nel 2011 lo studio Vickery stima la possibilit di 40 miliardi di diguadagni derivanti dallapertura dei dati pubbliciSe si tiene conto che gli open data possono essere usati ancheindirettamente in altre applicazioni e si tiene conto degli effettieconomici diretti ed indiretti limpatto delluso dei dati PSsulleconomia europea potrebbe raggiungere i 140 miliardi di annuiLayout by orngjce223, CC-BYUniversit di Camerino, 23 aprile 2012 30. definizione di openhttp://www.opendefinition.org/okd/: cosa si intende per open?1. AccessoDisponibile a un ragionevole costo di riproduzione, meglio sescaricabile gratuitamente da Internet, I dati devono esseredisponibili in un formato utilizzabile e modificabile2. RedistribuzioneLa licenza non deve limitare la possibilit di vendere o redistribuire illavoro interamente o in parte anche con modifiche. La licenza nondovrebbe prevedere pagamenti.3. RiusoLa licenza deve consentire modifiche ai dati e deve consentire didistribuire le modifiche con la stessa licenzaLayout by orngjce223, CC-BY4. Assenza di restrizioni tecnologicheIl lavoro deve essere messo a disposizione senza ostacolitecnologici (es. di formato) Universit di Camerino, 23 aprile 2012 31. definizione di open5. AttribuzioneLa licenza pu richiedere la attribuzione la paternit ai vari autori6. IntegritLa licenza pu richiedere che i lavori modificati siano rilasciati con unnome diverso7. Nessuna Discriminazione verso persone o gruppiLa licenza non deve discriminare persone o gruppi8. Nessuna Discriminazione contro diversi usiLa licenza non deve impedire luso del lavoro in diversi campi diapplicazione (ad esempio uso negli affari o nella ricerca genetica)Layout by orngjce223, CC-BY Universit di Camerino, 23 aprile 2012 32. ultime mosse europeeDicembre 2011:Agenda Digitale turning government data into goldOpen Data Package composto da:una proposta per la revisione della direttiva 2003una comunicazione sugli Open Datanuove regole per il ri-uso dei documenti della CommissioneTre azioni per superare barriere e frammentazione:adattare il quadro legale per il ri-uso dei datirisorse finanziarie per gli open data e i portali europei dei datifacilitare il coordinamento tra nazioni europee, attraversoLayout by orngjce223, CC-BYPSI group e PSI platform (scambio di best-practices)LAPSI network (questioni legali sulle PSI)ISA action soluzioni di inter-operabilit per le PA EU (164 m) Universit di Camerino, 23 aprile 2012 33. come si aprono i dati?Consigli per lapertura dei dati:Fatela semplice (KISS): partite subito, dal poco e dal sempliceNon tutti I dati devono essere aperti subito. Muoversi velocementeconsente di imparare dallesperienzaCoinvolgere presto e coinvolgere spesso gli utenti (e i ri-utilizzatori)attuali e potenziali dei dati: cittadini, aziende sviluppatori. Spesso i datiraggiungeranno gli utenti finali attraverso infomediari che trasformanoe remixano i dati (gli utenti non vogliono un DB di vettori, ma voglionole mappe). Cos i primi utenti da coinvolgere sono gli infomediariAffrontare le paure e le incomprensioni , specie se lavorate in ambitigovernativo. Aprendo i dati si incontrano molti ostacoli e bisogna saperliidentificare e affrontare il prima possibileLayout by orngjce223, CC-BY Universit di Camerino, 23 aprile 2012 34. passi da seguireCi sono 4 passi principali (a volte ricorsivi) da seguire (dalmanuale OKFN)Scegliere i dati da aprire; attenzione: se si incontrano problemi neipassi seguenti si torna a questo passo Applicare una licenza aperta, valida per tutti i diritti esistenti sui dati(Apertura legale) Rendere i dati disponibili allingrosso e in formati utili (a volte via API)(Apertura tecnica)Renderli rintracciabili: metterli sul web e magari organizzare unLayout by orngjce223, CC-BYcatalogo che elenchi i vostri dati rilasciati (oppure metterli in un catalogogi esistente)Universit di Camerino, 23 aprile 2012 35. licenze open dataEsistono molte proposte di licenze:OpenData Commons propone tre licenze: Public Domain Dedication and License (PDDL) Attribution License (ODC-By)Open Database License (ODC-ODbL) come la GPL (o CC BY-SA)richiede che gli utenti condividano le modifiche (copyleft)Opendefinition fornisce una lista di licenze aperteCi sono poi licenze nazionali:CanadaUKNorwayItaly (ora IODL 2.0)Layout by orngjce223, CC-BYNecessit di standard! Universit di Camerino, 23 aprile 2012 36. organizzazioni e communityOpen Knowledge Foundation : Dai sonetti alle statistiche, daigeni ai geodatiFondata nel 2004, organizzazione no-profit che promuove laconoscenza aperta, stimolando ad aprire tutti i contenuti chepossono essere liberamente usati, riusati e ridistribuitiOKForganizza leOpen Definition, organizzaOpen Government Data Camp, e gestisce progetti come Where Does My Money Go e Open Shakespeare e sviluppa toolcome CKAN per aiutare a condividere datiIn Italia molte community: SpaghettiOpendata, DataGov.it,OPenPolis, LinkedOpenData.it che hanno spinto il governo e gliLayout by orngjce223, CC-BYenti locali a muoversiUniversit di Camerino, 23 aprile 2012 37. software per open dataCKAN (Comprehensive Knowledge Archive Network) unpacchetto open-source (data hub) progettato per rendere faciletrovare, condividere, riusare dati e contenuti apertiIn http://data.gov.uk e http://wiki.okfn.org/ckan/instancesper lItalia: http://it.ckan.net/Drupal un CMS (Content Management System) opensourcespesso usato in progetti Open Data.il codice di data.gov stato rilasciato come opensource ( unaLayout by orngjce223, CC-BYversione modificata di Drupal) ed stato usato anche in India Open Government Platform Universit di Camerino, 23 aprile 2012 38. linked open dataTim Berners-Lee: Linked Data associated with gold stars, like the ones you1 - make your stuff available on the web (whatever format)2 - make it available as structured data (e.g. excel instead of image scan)3 - non-proprietary format (e.g. csv not xls)4 - use URLs to identify things, so that people can point at your stuff5 - link your data to other peoples data to provide contextLayout by orngjce223, CC-BYUniversit di Camerino, 23 aprile 2012 39. OpenData linkIl primohttp://data.gov http://www.data.gov/raw/34Best practices:http://data-gov.tw.rpi.edu/demo/stable/demo-34-earthquake-exhibit.htmlhttp://www.police.uk/crime/?q=Cambridge,%20UK#crimetypeshttp://jobseekers.direct.gov.uk/homepage.aspxhttp://data.gov.uk/dataset/financial-transactions-data-nhslondonhttp://data.london.gov.uk/datastorehttp://data.worldbank.org/ (!!!)http://openlylocal.com/councils/openIn italiahttp://dati.gov.it (da ottobre 2011)http://www.dati.piemonte.it/ (il primo)Layout by orngjce223, CC-BYhttp://www.comune.udine.it/opencms/opencms/release/ComuneUdine/progetti/open_dSpaghettiOpendataDataGov.itOPenPolisLinkedOpenData.it Universit di Camerino, 23 aprile 2012