Este Sábado: Date With Data!

datewithdata-set2015-bigger

Em setembro, os encontros de open data no Porto ganham nova cara.
O próximo é já no sábado!

De agora em diante, os nossos encontros com os dados serão Date With Data! O próximo é já este sábado, dia 12 de setembro, e é organizado pelo Transparência Hackday Portugal e pela Open Knowledge Portugal com o precioso apoio da UPTEC.

O próximo encontro Date With Data vai ser dedicado à informação legislativa e parlamentar. Este tema já nos é caro por ter sido o primeiro assunto em que nos debruçámos quando começámos os hackdays em 2010. Em segundo lugar, na semana entre 7 e 13 de setembro assinala-se a Global Legislative Openness Week, evento ao qual nos associamos. Finalmente, com as eleições que aí vêm no dia 4 de outubro, não podia haver altura mais oportuna para olhar para o trabalho que fomos fazendo ao longo de 5 anos na frente legislativa e eleitoral, e congeminar sobre as novas direções que podemos encontrar.

As palavras-chave serão dados eleitorais, textos legislativos, dinâmicas parlamentares, sempre fugindo ao olhar burocrático e procurando formas humanas de nos relacionarmos com os órgãos que nos representam. Vamos falar do Demo.cratica e de outras ferramentas de informação parlamentar que construímos, dos datasets que temos vindo a ordenar e que aproveitaremos a deixa para publicar, e do potencial de toda esta informação para pensarmos ferramentas para uma sociedade mais esclarecida.

E precisamos sobretudo de ti! Temos projetos na calha que adorariam alguma atenção, e também procuramos ideias sobre o que se pode fazer em conjunto durante o dia do encontro. Não é preciso ser hacker para participar, nem saber programar — o que é importante é trazer boa disposição e vontade de trocar ideias, e o resto surge naturalmente!

Sábado, dia 12, das 10:00 às 17:00 no UPTEC PINC (Praça Coronel Pacheco), temos encontro marcado. Traz o teu portátil!

datewithdata.pt

Dia 14 há mais Hackday

Hackday Março 2015

No próximo sábado temos Hackday. Estamos a planear mais um dia a trabalhar com dados, divido entre alimentar o Open Food Facts com informação de produtos portugueses (traz fotos de embalagens de comida que tenhas na despensa!) e parsing+packaging de datasets para a Central de Dados.

Queres aprender a trabalhar com datasets na linha de comandos?
Tirar dúvidas sobre a biblioteca de python Beautiful Soup? Ou perceber melhor o que passa pelo teu prato?

O Hackday junta tudo, desde a simples tarefa de passar a informação de embalagens de comida que temos na cozinha, à geekquice de escrever robots que coleccionam dados.

Anda dai e junta-te a nós!

14 de março, no Pavilhão-Jardim do Pólo de Indústrias Criativas (UPTEC PINC), no horário habitual: 11:00—13:00 + 14:30—17:30.

Cartaz pelas mãos mágicas de Mariana Magalhães Mota.

Open Data Day 2015, está ao virar da esquina

Open Data Day 2015

Sábado, 21 de fevereiro, comemoramos mais um Open Data Day com uma edição especial do Transparência Hackday. Para participar só tens de te inscrever aqui.

O Open Data Day é um evento internacional dedicado ao ativismo pelos Dados Abertos. Em vários locais do mundo, colectivos e organizações dedicados ao trabalho nesta área juntam-se para assinalar a data com iniciativas locais.

mapa-opendataday2015

No Porto, o Transparência Hackday celebra o Open Data Day com um programa em cheio. Abrimos o dia com as mãos na massa, com o workshop de linked open data orientado pelo João Pequenão.
À tarde, juntamo-nos para uma ronda de apresentações de projetos do Hackday, o TotoNome, pelo Tiago Vieira, e a Central de Dados, pela Ana Isabel Carvalho e Ricardo Lafuente. A estas juntamos uma apresentação do designer Eduardo Nunes, sobre design e visualização de informação.

Entre café e docinhos, guardamos um espaço no final do dia para falar sobre os próximos hackdays, perguntas e repostas acerca de Dados Abertos.

⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄

Aqui fica o plano completo para o Open Data Day 2015:

10:15 – 10:45: Receção e café
10:45 – 11:00: Sobre o Open Data Day
11:00 – 13:00: Workshop Linked Data, com João Pequenão


14:30 – 15:00: TotoNome, Tiago Vieira
15:00 – 15:45: Eduardo Nunes
15:45 – 16:15: pausa para café
16:15 – 16:45: Central de Dados, Ana Isabel Carvalho & Ricardo Lafuente
16:45 – 17:30: Transparência Hackday Portugal

⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄ / \ ⚄

Vamos estar no Pavilhão-Jardim do Pólo de Indústrias Criativas (UPTEC – PINC), na Praça Coronel Pacheco, n.º 2, 4050-453 Porto.

Aparece! Este evento é para tod@s, desde simples curios@s que querem saber mais sobre dados e informação pública, a designers, programador@s, matemátic@s,…

Para participar só tens de te inscrever aqui.


Na organização deste Open Data Day, o Hackday conta com o apoio da Open Knowledge, Addict e UPTEC PINC.


10 de janeiro há Hackday!

cartaz_web_800px_hackday_janeiro

Abrimos 2015 com a projeção de Our Currency Is Information, a primeira parte de Exposing the Invisible, uma série de três documentários sobre jornalismo investigativo.

Depois da projecção vamos voltar ao nosso safari nos dados, com inspiração qb para pensar que histórias eles podem contar.

10 de janeiro, no Pavilhão-Jardim do Pólo de Indústrias Criativas (UPTEC PINC), no horário habitual: 11:00—13:00 + 14:30—17:30.

Cartaz pelas mãos hábeis de Mariana Magalhães Mota.

13 de dezembro é Hackday!

2014-12-13_Thackday-gatodado_semtexto

Vamos continuar na procura e extração de mais fontes de dados, desde o Parlamento até ao Banco de Portugal.

Outra das propostas será escrevermos cartas a pedir prendas — não ao Pai Natal, mas a várias entidades que ainda não disponibilizam os seus dados de uma forma aberta e livre.

Vamos também olhar para o OpenRefine, a ferramenta de eleição para organizar e catalogar dados a fundo.

Junta-te a nós no sítio do costume, com café, chá e docinhos de Natal para aguçar as mentes. Traz portátil, caneca e boa disposição!

13 de dezembro, no Pavilhão-Jardim do Pólo de Indústrias Criativas (PINC/UPTEC), no horário habitual: 11:00—13:00 + 14:30—17:30.

11 de outubro há mais Hackday: Datasets, vamos apanhá-los todos

Hackday Outubro

O próximo Hackday acontece já no dia 11 de outubro. Vai ser um dia dedicado à Central de Dados, sobre o mote Datasets, vamos apanhá-los todos.

O que é esse tal de dataset?

Um dataset é um conjunto de dados. Sobre o que são esses dados e com que estrutura estão organizados já são questões mais específicas, importantes mas fora da definição geral do termo.

Imagina uma folha de cálculo com a tua colecção de livros: cada livro está numa linha e cada detalhe numa coluna, uma para o título, outra para o autor, editora, data da edição, número de ISBN, se está contigo ou emprestado a um amigo… Voilá, essa folha de cálculo é um dataset dos teus livros!

Outro exemplo é este dataset de resultados das eleições autárquicas, disponibilizado pela Comissão Nacional de Eleições (CNE) e publicado na Central de Dados no formato data package, organizado por eleição.

No Hackday vamos organizar-nos na busca de datasets como este último exemplo, com informação pública e aberta. A caça aos datasets vai servir para popular a nossa querida Central de Dados.

Aparece e vem aprender mais sobre datasets, open data, e refinamento de dados.

Pois é, depois de encontrar um dataset há que prepará-lo para publicar na Central. Isso inclui polir os dados — para esta tarefas temos várias escolhas, desde o poderoso Open Refine ou magia da linha de comandos com o CSVkit! — e documentar os conteúdos e estrutura do dataset, segundo o formato standard da Open Knowledege para datasets, o data package. Este é o nosso novo amor, o formato de publicação de datasets mais interessante que já encontrámos. Para quem quiser conhecer melhor esta novidade (e o nosso novo projeto, a Central de Dados), é aparecer :-)

Anda daí! Traz portátil, energia, dúvidas e lanche para saborear no jardim.

11 de outubro, no Pavilhão-Jardim do Pólo de Indústrias Criativas (PINC/UPTEC), no horário habitual: 11:00—13:00 + 14:30—17:30.

Cartaz pelas mãos engenhosas de Mariana Magalhães Mota.

Notas do Hackday de setembro

flyer_hackday-01

Sábado 13 de setembro tivemos Hackday. Passada a interrupção para férias, durante agosto, voltamos em força aos hackdays regulares, sempre ao segundo sábado do mês.

Mais uma vez o UPTEC foi o nosso espaço de trabalho desta feita na sala de co-working, um espaço luminoso, com mesas corridas e um confortável sofá. Começamos às 11:00, com um café na mão e o bloco de notas pronto a anotar as ideias para os tempos que se seguem. Estávamos eu, o Ricardo, a Marta e a Mariana.

Nesta conversa matinal traçamos planos para iniciar em breve um ciclo de encontros direcionado para apresentações sobre a cena open data, visualização e infografia. Um tipo de encontro diferente do Hackday mensal, onde nos dedicamos ao fazer, mas antes um encontro para mostrar o que temos feito e o que outros tem feito na frente dos dados abertos. A Marta tomou as rédeas deste projeto e avançaremos mais pormenores assim que estiverem solidificados!

hackday-setembro2014

De seguida traçamos o calendário de Hackdays até julho de 2015 (na wiki) e uma timeline para uma divulgação mais eficiente:

  • 8 dias antes: post no blog, tweet + mail para a lista de discussão
  • 2 dias antes: tweet
  • 1 dia antes: tweet + mail para a lista de discussão

Ainda para a divulgação, a Mariana tomou a liderança propondo e desenhando um flyer que iremos passar a distribuir além do cartaz.

Eu e o Ricardo mostrámos a Central de Dados ― publicada online no final de Maio e, finalmente, anunciada aqui no blog! Obrigada Marta pela ajuda na tradução deste texto :D
E tal como o macaco precisa de bananas a Central precisa de datasets open data para viver. Por isso, combinamos logo ali dedicar o próximo hackday (sábado, 11 de outubro) à caça de datasets. Mais pormenores do plano de ação 8 dias antes!

Andámos também em volta do fórum e da lista de discussão: o que queremos que cada uma dessas plataformas seja para o coletivo que se reúne fisicamente no Hackday e para o grupo mais alargado de pessoas que vão orbitando. Hacktivistas open data, groupies das visualizações, hackers da linha de comando, &% if > programadores == java – C4, e cidadãos comuns. Apaixonadamente revimos um dos fios de discussão mais participado no fórum: A Foto que o Público não teve coragem de publicar que serviu e serve de arquivo das representações que encontramos nos media da figura do hacker.

Por fim, começamos a juntar ideias para uma cobertura das próximas eleições, sintonizados em modo hacker artsy. Mas ainda falta um bocado até lá.

Abstenção nas eleições europeias 2009 e 2014, em Portugal

abstencao_final-03

No Hackday de maio formou-se um grupo de trabalho à volta das eleições europeias.
A duas semanas das eleições, entre as campanhas dos partidos e as campanhas de apelo à participação, a Sara lançou para a mesa uma ideia para uma infografia onde mostrássemos os resultados de 2009 e 2014, contabilizando e destacando a abstenção. Parte da motivação para esta infografia partia também da recolha de dados eleitorais que começamos no Hackday de abril, dedicado ao tema das eleições e organizado em parceria com a EPSIplatform.

O entusiasmo animou-nos. Era um projeto aparentemente rápido e descomplicado que lançaríamos uns dias depois das eleições, mal os resultados se encontrassem disponíveis.
Criámos uma folha de cálculo colaborativa e começamos a recolher os resultados das eleições europeias de 2009 para os vários países da União Europeia, recalculando os valores para incluir a percentagem de abstenção.

Estavamos quatro com as mãos na massa: a Sara, a liderar a buscas de dados; eu, a ajudar com a recolha; o Bernardo, a harmonizar os dados e a criar um parser para recalcular os totais com a abstenção (facilitando o trabalho duro dos re-cálculos manuais); e a Mariana, a executar a infografia;

Screenshot from 2014-06-21 16:14:52 Mais uma vez o problema da descentralização dos dados veio dar-nos uma bofetada de luva branca. Com uma dezenas de sites abertos acabamos por encontrar informação consistente, embora dispersa em páginas diferentes, no site do Parlamento Europeu e, as abstenções, na Wikipedia. Esperávamos recolher os dados dos resultados em Portugal no site da CNE mas, por uma razão que desconhecemos, o dataset das europeias 2009 não está disponível.

O template para a infografia foi desenhado enfatizando a abstenção (enorme) e com um layout compacto, pensado para a partilha do gráfico nas redes sociais. Tínhamos tudo a postos para, a seguir às eleições, recolher os dados, integrar os resultados na infografia e lançar. Quase um mês depois das eleições publicámos finalmente a infografia e algumas conclusões das desventuras do processo.


Dados em harmonia

Recolher os resultados de 2014 e harmonizar a informação com a de 2009 revelou-se uma tarefa titânica. Qual foi então o entrave que nos levou a adiar? Bem, em primeiro gestão de trabalho coletivo à distância! Pois é, o Hackday é um espaço ótimo em que sabemos que temos um determinado número de horas em que nos podemos dedicar ao amor pelos dados abertos. Por experiência, sabemos que entre Hackdays é muito mais difícil encontrar o tempo para voltar aos projetos. A coordenação dos esforços, por email, também foi complicada. Não há nada como encontrar as pessoas e discutir tarefas frente a frente, com um bloco de notas e um café na mão.

Voltando aos dados, recorremos ao site do Parlamento Europeu dedicado às eleições de 2014, como fonte primária e fiável. Encontramos um senão: os resultados que publicaram não incluiam os valores dos votos brancos e nulos. Disponibilizavam apenas as percentagens dos votos válidos, sem mostrar os números totais dos votos e da participação real nas eleições. Além disso, a nota “dados provisórios” e o facto de a soma das percentagens, por país, não perfazer os 100% exatos deixaram-nos incertos quanto à fiabilidade. Voltámos a deparar-nos com a falta de uniformidade dos dados —  alguns países não tinham informação disponível sobre a quantidade de votos brancos e nulos, outros tinham mas em conjunto, e outros em separado —  e a dificuldade de reunir um dataset de resultados completo e fidedigno.

Assim, decidimos voltar-nos novamente para a fiel Wikipedia e reduzir o âmbito desta infografia aos resultados das europeias em Portugal. A redução foi sobretudo uma decisão pragmática para podermos publicar a infografia e avançar com outras que temos em mente.


Visões dos resultados de 2014

percentagens reais Logo depois das eleições vimos publicadas uma série de notícias sobre os resultados. Algumas falavam da abstenção, enorme e incontornável, mas nenhuma delas mostrava a visão dos dados que finalmente aqui publicamos (com exceção desta imagem que encontramos partilhada no facebook, menos completa, mas numa linha de pensamento próxima). Ao mesmo tempo, encontramos inconsistências nos resultados publicados. Aqui ficam, por exemplo, as análises do Público e Sic Notícias.

Por esta altura o tema das eleições já perdeu o seu momentum, quer nos media e quer nas redes sociais. No entanto, se encaramos o assunto do ponto de vista dos dados abertos, a infografia continua a abordar dados interessantes para análise. O esforço levou-nos a reunir um dataset completo dos resultados das eleições europeias de 2009 e 2014, em Portugal, que não encontramos disponível em mais lado nenhum.

Aqui ficam os datasets da infografia: portugal-europeias2009.csv e portugal-europeias2014.csv.

Que venham mais dados abertos e mais leituras sobre o tema das eleições!

10 de maio: Transparência Hackday
no jardim

thackday-maio2014

Este sábado, 10 de maio, temos mais um Transparência Hackday, com horário estendido.

Vamos começar de manhã, entre as 11:00—13:00 e voltámos a seguir ao almoço, entre as 14:30—17:30.

Desta feita, e para comemorar os ares de Primavera, estaremos no Pavilhão-Jardim do Pólo de Indústrias Criativas (PINC/UPTEC).

Em cima da mesa estará a continuação do trabalho de recolha de dados eleitorais, iniciado no último hackday (podes espreitar o pad de notas desse dia); tradução e registo de mais iogurtes na iniciativa da Open Food Facts, O que tem o meu iogurte? (vamos dedicar um post inteiro a este tema muito em breve); mãos na massa num site novo que andamos a cozinhar e mais uma série de pequenas grandes tarefas.


Achas que o hacking de dados não é para ti?

No Hackday todas as mãos são bem vindas e a nossa atividade não se esgota na programação e escrita de código incompreensível.
Precisamos de matemáticos que nos ajudem com estatísticas corretas e significativas; jornalistas que se interessem por histórias contadas por dados; juristas que nos guiem pelos segredos das licenças e termos de uso da informação com que mexemos; designers com vontade de explorar infografia e interfaces; entusiastas dos dados abertos; e, programadores, claro!

Não encaixas ali?
Temos uma tradução para ti! E nem imaginas como vai ajudar-nos a chegar mais longe.

Este sábado, esperamos por ti!