User Tools

Site Tools


2015-02

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

2015-02 [2017/03/07 17:15] (current)
rlafuente created
Line 1: Line 1:
 +**OPEN DATA DAY 2015 / Transparência Hackday**
 +**Porto :) (: B)**
 +
 +**Workshop de Linked Open Data**
 +
 +Linked Data é um tema bastante específico e com uma componente técnica grande.
 +Este workshop vai ser mesmo low level; não é preciso conhecimentos específicos;​ não há respostas erradas; e é proibido apontar o dedo e dizer que está mal!
 +
 +Porquê Linked Data?
 +Porque é um tema que faz mesmo a diferença quando falamos de dados abertos; dá-lhes sentido.
 +
 +1º exercício (5min): Qual é o panorama nos Dados Abertos desde 2000 até hoje? E nos Dados em Geral?
 +  * * Wikipedia
 +  * * Facebook
 +  * * 11 de Setembro
 +  * * RDF
 +  * * Dados.gov
 +  * * Wikileaks
 +  * * Cloud
 +  * * Transparência Hackday
 +  * * Twitter & APIs
 +  * * SOPA, PIPA, ACTA
 +  * * Machine learning
 +  * * Creative Commons
 +  * * Git
 +  * * No SQL
 +  * * HTML5
 +  * * Natural Language Processing
 +  * * TotoNome
 +  * * Map Reduce (Google para tratamento de dados em massa? confirmar)
 +  * * Anonymous
 +  * * Edward Snowden
 +  * * Lobby Plage.org (?)
 +
 +2º exercício (5min): O que gostavamos que acontecesse nos próximos 15 anos? 2015 -> 2030
 +  * * Corrupção
 +  * * Mundo como estado policial
 +  * * Internet of Things
 +  * * Transparência da directiva PSI20
 +  * * Governo Aberto
 +  * * Open Research
 +  * * Standard para Informação Legislativa
 +  * * Centralização de Dados do Governo
 +  * * Programação a partir do Ensino Básico
 +  * * Linux em todas as instituições estatais
 +  * * Standards Linked Data
 +  * * Augmented Reality
 +  * * Aumento da Literacia Digital
 +  * * API Hipermedia ?
 +  * * Oculus Rift
 +  * * Acesso Gratuito à Internet
 +  * * Problemas Climáticos
 +  * * Net Neutrality
 +  * * Open Research
 +  * * APIs mais públicas
 +
 +3º exercício (2min x 4): organizem-se em três grupos de 3 e um grupo de 4.
 +Em conjunto tentem responder as seguintes perguntas, e os grupos rodam entrem os temas a cada 2min:
 +- Económico
 +- Funcional
 +- Político
 +- Técnico
 +
 +- Novo exercício: fazer a página FOAF pessoal! [[http://​tinyurl.com/​czzs2]]
 +- Exercício Sparql
 +
 +Último exercício, construir cenários (8min):
 +a)  Como compreender e caracterizar o pico de afluência às urgências que se verificou em janeiro?
 +b)  Como dar aos cidadãos o poder de fiscalizar os dados públicos?
 +c) Como suportar planos de negócio para PME? Exemplo para um escritório de cowork em Guimarães
 +d) Como vai ser o Portal de Dados Abertos da União Europeia em 2020?
 +
 +Resultados: ​
 +a) Como resolver o pico de afluência às urgências? Há bastante dados recolhidos no hospital; foram listados alguns dos que podem ajudar a melhorar a eficência do serviço
 +b) Boas práticas: dados padronizados em formatos standard; séries históricas para fornecer contexto; dados semânticos... Tudo isto com vista a criar uma plataforma, acessível e fácil de usar
 +c) Estudar as condições:​ idade das pessoas que moram na cidade; custos de água, luz, internet...;​ em suma, características locais que vão influenciar as decisões sobre o 
 +d) O Portal de Dados: Infografias; ​
 +
 +------------------------------------------------------------------------
 +
 +**TOTONOME**
 +slides: [[http://​tiagovieira.pt/​opendata]]
 +
 +* Overview do Transparência Hackday e projectos antigos do Hackday
 +* Scrape da base de dados dos óbitos! Está na Central de Dados
 +* Como fizemos o TotoNome em 3 horas, no último hackday
 +* Tiago, a dar o duro, na parte técnica <3
 +* A dificuldade em encontrar o dataset dos pedidos de nome: informação inconsistente no portal oficial, o "​dataset"​ é partilhado em pdf; tem informação incompleta
 +* O jogo: Mileu ou Rami?
 +* Próximos passos: melhorar o interface; melhorar o feedback dos resultados; partilha no twitter....
 +* Experiência de visualização de um dataset diferente, com os nomes únicos dados a crianças em 2014
 +
 +
 +**EDUARDO NUNES**
 +* Em criança, queria ser jornalista; criava jornais fotocopiados com as notícias que via na televisão e ouvia no rádio
 +* Em poucos anos começou a fazer o seu jornal no computador. Passou a querer ser designer. Seguia a corrente modernista, usava todos os tipos de letra do Word.
 +* Fotografia, música...
 +* 2008, "​Colectivo Nefasto",​ em Coimbra, que produzia curtas-metragens
 +* 2009, Projecto feito na cadeira do designer Nuno Coelho, sobre o que fazia em diferentes partes do dia: [[http://​eduardonunes.me/#​project.php?​id=88days]]
 +* 2010, Motion graphics / visualização animada a explicar o orçamento de estado: [[http://​eduardonunes.me/#​project.php?​id=budget]]
 +* 2010, uma visualização animados com os dados das doenças psicológicas em Portugal. Não conseguiu deixar de imprimir um cunho pessoal aos dados que estava a mostrar: [[http://​eduardonunes.me/#​project.php?​id=mental]]
 +A tipografia que usou tentava reflectir as características das doenças das estatísticas apresentadas
 +* Dizer.De/​sign (+dizer.de/​bates e dizer.de/​mografia
 +Espaço para falar de design; [[http://​eduardonunes.me/#​project.php?​id=dizer]]
 +Em cada vídeo tentava faar com um professor, um aluno e o um estúdio de design da cidade.
 +O vídeo da cidade da Covilhão, o primeiro a ser filmado; a sua cidade de origem; d
 ++ vídeo sobre Empreendedorismo!
 +O projecto foi descontinuado,​ não era sustentável,​ percorrer o país a intrevistar pessoas
 +Porquê é que fiz o Dizer.de/​sign?​ Eu sou designer e não sei quantos designers há em Portugal
 +Este site foi muito bem recebido pelas comunidades periféricas,​ os designers a operar fora dos grandes centros urbanos
 +Dizer.de/​mografia:​ recenseamento,​ em modelo crowdsorcing,​ para os designers em Portugal
 +Criar uma base de dados a partir da informação recolhida, para estudar. Perceber os movimentos migratórios dos designers: naturalidade,​ escola onde estudaram, sítio onde moram e trabalham atualmente
 +Cresceu rapidamente de uma recolha de informação para uma plataforma que permitia interacção entre os designers registados
 +Queriam tornar a plataforma mais '​genérica'​ para poder ser usada em outras áreas.
 +Por ser um projecto auto-sustentado,​ tornou-se insustentável.
 +
 +Perguntas:
 +- Que metodologia seguiu o projecto de entrevistas?​
 +O projecto das entrevistas foi orientado por um antropólogo e seguiu práticas/​metodologias antropológicas
 +
 +- É possível monetizar estas ideias? Sustentabilidade
 +Centro Português de Design, com quem entraram em contacto, disse que estava prestes a lançar um projecto muito semelhante.
 +Não ajudaram a procurar vias para levar o Dizer.de/​sign em frente.
 +Projecto feito em contexto académico; nunca foram reunidas condições para se candidatarem a uma bolsa/​fundo;​ como o Eduardo orientou um aluno de mestrado no estudo do mesmo tema e por isso o Dizer.de/​sign pôde ter alguém a trabalhar nele mais algum tempo
 +
 +É fácil começar projectos, é difícil mantê-los.
 +
 +
 +**Central de Dados**
 +
 +1ª apresentação pública do site em Portugal
 +introdução do transparencia hackday: início em 2010
 +principal actividade de início: recolha de informação pública. ​
 +ver: que uso dar aos dados encontrados?​
 +motivação:​ visualização (os fundadores têm background de design de comunicação)
 +
 +Acerca da recolha de informação:​
 +Muitas instituições disponibilizam a info, mas não de um modo fácil de usar 
 +(o dados.gov surgiu entretanto. Não existia nesta altura)
 +A partilha dos ficheiros de dados recolhidos no hackday, inicio era mais complexa e os dados por vezes perdiam-se.
 +Pensaram: Já que estavam a recolher informaçao,​ como encontrar uma forma eficiente de a partilhar entre o grupo e com os outros?
 +
 +Solução:
 +Central de dados – Um portal independente para a distribuição de dados públicos em bruto
 +
 +Partilhar os dados através de uma grande diversidade de formatos torna-os difíceis de usar (extrair, normalizar , etc) (p.ex extrair de um PDF, depois listar num excel)
 +As API são interessantes para quem fornece os dados, pois permite manter o controlo na sua utilização. API não funcionam offline.
 +É também importante ter os dados integralmente disponiveis em qualquer altura (on ou offline), e num formato "​previsível"​.
 +
 +CKAN – para disponibilizar datasets
 +É uma framework pesada, que implica uma actualização ocasional de pacotes, etc
 +
 +dados.gov tem "​jurisdição limitada",​ no sentido em que não há dados acerca do parlamento aqui disponíveis (o João Pequenão diz que não há entrave legal a isso)
 +os dados do parlamento : foi precisamente a partir destes dados que o thackday começou a trabalhar.
 +
 +Okfn.org ​
 +... a world of frictionless data.
 +este mote reflectia a experiência passada com o hackday, de atrito na recolha e tratamento dos dados.
 +
 +Open Knowledge Foundation propõe o modelo de separar:
 +- data creator
 +– packager _ ( novo ponto no vector: "o empacotamento dos dados"​)
 +– consumer
 +
 +Data Package – uma proposta de standard (ainda não terminada). Inclui:
 +· conjunto de ficheiros que responde ao problema de formato de ficheiro: .csv (texto separado por vírgulas) – a lacuna do .csv é faltarem os metadodos (p ex fonte dods dados, estrutura do ficheiro, data de obtenção dos dados., licença..)
 +· datapackage.json– é o ficheiro de metadados do .csv
 +· readme.md - explica o que é o dataset em questão
 +
 +Github
 +github.com/​centraldedados
 +github – repositório de software ​ que o thackday usa também para datasets
 +
 +Central de Dados como "​montra"​ para os data packages que o thackday está a criar.
 +Os datasets que lá estão estão prontos a ser usados, basta ter o link da central de dados.
 +Vantagens da Central: Sem frameworks / site html (estático) gerado a partir de dados actuais / fácil de colocar no ar / fácil de replicar / ideal para trabalho online / standard de data packages
 +Na página da [[http://​centraldedados.pt]] estão agora 3 datasets, mas no githubs encontram ouotros mais, ainda em construção
 +
 +dataprovider,​ dados.gov.
 +
 +O objectvo é chegar ao seguinte ponto de preocupações:​ plataformas,​ apps, experimentações.
 +
 +Lançamento público da Central de Dados projectado para Março.
 +- as pessoas devem poder reportar bugs na Central.
 +- falta tratar da automatização da Central (p.ex. a info do dataset ser suficiente para extrair automaticamente as actualizações da fonte) .
 +
 +Pergunta do Bernardo:
 +– utilizando um gerador de sites estáticos, se fizer uma actualização ao gerador do site, tenho de actualizar …. (…não apanhei...)
 +Resposta:
 +– geramos o site localmente e copiamos com rsync.
 +–  (… algo sobre manter a história dos sites, ou apenas do dataset...)
 +
 +Pergunta do Eduardo Nunes:
 +– o site depende de uma geração manual?
 +Resposta:
 +– para já sim. Para actualizar a central de dados, é preciso correr o gerador todos os dias.
 +– falta arranjar um servidor para automatizar o processo (exemplos: Raspberry Pi, servidor externo.)
 +
 +Pergunta do Ricardo (que veio com a Mécia)
 +– Quais os mecanismos para o scrapping?
 +Resposta:
 +– ferramentas de eleição: Python; Phantom.js, Beautiful Soup.
 +– Alguns obrigam a fazer uma pesquisa primeiro.
 +– Já sucedeu colocarem um captcha num site após várias pesquisas automáticas feitas por thackday. ​
 +– qualquer um mecanismo serve, desde que dê para correr facilmente num servidor Linux.
 +– os modos de scrapping aqui referidos evitam o uso do Excel para esta função.
 +– mencionado o uso do Tabula para extrair informação de PDF.
 +
 +Pergunta do Eduardo Nunes:
 +– algum plano para arquivo dos trabalhos desenvolvidos?​ P.ex. saber até que ponto 2 ou mais pessoas se debruçaram sobre os mesmos dados.
 +Resposta:
 +– não se tinha pensado nisso.
 +– recorda a ideia do objectivo principal de thackday – a visualização dos dados e a experimentação – não os dados em si.
 +
 +Pergunta do Bernardo:
 +– … acerca dos dados dos partidos políticos… (…não apanhei...)
 +Resposta:
 +– não está na Central, mas sim no github (Cláudia e Vítor)
 +– … clone & pull request (…)  (…não apanhei...)
 +
 +
 +**Transparência Hackday Portugal**
 +Pergunta do rapaz careca:
 +– como colaborar?
 +Resposta:
 +– pode seguir as actividades de thackday pelos seguintes meios: blog; newsletter; twitter; mailing list; IRC (durante as sessões).
 +– mencionada a frequência dos hackdays (geralmente ao 2º sábado do mês).
 +– locais de encontro: geralmente no UPTEC desde há cerca de um ano. Em alternativa,​ Maus Hábitos, como era antes, e ainda antes disso os hackdays eram na casa da Gesto.
 +– mencionadas as pessoas habitualmente presentes.
 +– mencionados os projectos correntes, nomeadamente um dataset de logotipos dos partidos políticos, actuais ou extintos.
 +– mencionado o Safari dos Dados (School of Data) como método de familiarização com "os Dados"​.
 +
 +
 +**Grand finale**
 +
 +João Pequenão:
 +– quadros "I wish/ I lie" para apreciação do workshop,e do evento completo.
 +
 +Agradecimentos.
 +
 +Música.
 +
 +
 +
 +
 +
  
2015-02.txt · Last modified: 2017/03/07 17:15 by rlafuente