Balanço da época 2018/2019

Antes de fazer as malas para o verão, tratámos de nos sentar e reunir alguns dos destaques do que fomos fazendo ao longo do ano nos encontros Date With Data.

Projetos e iniciativas

Gerador de nomes próprios

https://gerador-nomes.herokuapp.com/
https://github.com/centraldedados/gerador-nomes

Já nos aventurámos antes no mundo dos nomes com o Totonome. Desta feita, juntámos apelidos e alinhámos um gerador de nomes a partir de fontes oficiais, incluindo nomes próprios recônditos e pouco comuns, resultando em combinações bastante reveladoras sobre a diversidade onomástica em Portugal.

Workshop de mapas interativos

https://github.com/transparenciahackday/workshop-mapas-folium

Experimentámos o Folium para conseguirmos alinhar mapas interativos com Python. A partir de um modelo de workshop demonstrado por Matthias Born na conferência Dataharvest, adaptámos o formato para a nossa realidade e tratámos de aprender juntos como usar uma ferramenta nova e versátil para fazer algo que nunca nos cansa — mapas recheados de informação.

Airbnb, a varicela do Porto

https://whiskas123.carto.com/builder/2ad5bd59-04c8-4fea-a879-0d1f062a7601/embed

Mapas com pintas não são novidade, mas é sempre outra coisa quando é a nossa cidade. Neste caso, ver como o Airbnb se espalhou pela cidade desde 2014 é profundamente esclarecedor quanto à revolução imobiliária que temos assistido nos últimos anos. E como de costume, melhor do que bitaites é ter números e mapas, e é só espreitar o resultado para perceber melhor o fenómeno.

Open Data Day 2019

http://www.transparenciahackday.org/2019/03/open-data-day-2019/

Este ano repetimos, naturalmente, a dose. Organizámos a edição portuguesa do Open Data Day, um dia dedicado aos dados abertos com o objetivo de reunir partes interessadas em todo o ecossistema da informação pública e civic tech, promovido pela Open Knowledge Foundation (que nos orgulhamos de representar por cá). Falou-se, ouviu-se e networkou-se como de costume, e pelo meio ainda deu para um workshop de Wikidata e um conjunto de talks excepcional em que se abordaram os temas dos dados geolocalizados, os dados abertos na comunicação social e os wikidados. Não nos cansamos e para o ano já temos encontro marcado.

Datasets e scrapers

Dados Abertos do Parlamento
https://github.com/centraldedados/parlamento

Foi discreto mas muito importante: o Parlamento abriu uma nova área de dados abertos, com datasets importantes disponíveis em formatos livres. Claro que estamos em cima do acontecimento, e tratámos de os agregar num repositório (apenas estão acessíveis um a um no site do Parlamento), tendo aproveitado para limpar o JSON e documentar um pouco melhor a informação lá contida.

Sinistralidade Rodoviária
https://github.com/centraldedados/sinistralidade

Fomos também pescar ao site da Autoridade Nacional de Segurança Rodoviária os números da sinistralidade nas estradas portuguesas de 2004 a 2017.

Personalidades portuguesas
https://github.com/Cabeda/Portuguese-On-Wiki

Extraímos informações sobre personalidades portuguesas presentes no Wikidata. O dataset resultante mostra que ainda falta colocar muita coisa no Wikidata sobre gente portuguesa importante, mas desta maneira já existe forma de reutilizar facilmente esta informação à medida que o Wikidata for preenchido.

Apelidos
https://github.com/centraldedados/apelidos

Para o gerador dos nomes que fizemos, dava jeito ter um dataset de apelidos para juntar ao que já tínhamos com nomes próprios. Dito e feito, fica aí para quem mais precisar.


Clima e dados meteorológicos
https://github.com/centraldedados/clima

Começámos a molhar o pé no tema com um conjunto de dados sobre temperatura, humidade e radiação solar pelo país fora.

Coisas que começámos e havemos de acabar

Filtro de nomes das ruas
https://github.com/transparenciahackday/filtro-de-ruas

Queremos medir a presença de padrões nos nomes das ruas em Portugal, desde o género até à profissão e outros factores. Para isso começámos a alinhar uma ferramenta para podermos filtrar facilmente os nomes das ruas e ver os resultados.

Europeias 2019
https://github.com/centraldedados/europeias_2019

A pretexto das eleições europeias, começámos também a juntar informações relevantes dos e das candidatas aos assentos de eurodeputado. Não deu para acabar a tempo, mas a Renascença tratou disso por nós e terminou o trabalho que havíamos começado, publicando uma peça jornalística feita com esses dados. É seguir o link acima para ver no que deu.

Sítios que fecharam no Porto
https://docs.google.com/spreadsheets/d/1urXudrAtYfF5wfZT0hpqwPnBfCcpXG38OeQQFEhOkso/edit

O nosso projeto das hamburgarias mostrou-nos que mapas com informação temporal são uma ótima forma de ler as transformações numa cidade ou país de forma clara. Decidimos que temos vontade de visualizar locais tradicionais do Porto que fecharam portas, e começámos a reunir os que nos fomos lembrando de memória uma tabela. São tantos e tão diferentes que ficámos pelo meio. Andamos à procura de um critério editorial – intervalo de tempo, tipo de estabelecimento… – para voltar ao dataset e criar algo com ele. Por enquanto fica a memória.

Lista dos feriados por país
https://docs.google.com/spreadsheets/d/1BbyVHB4ArjDuk_Q_CHrjDwCAw1_EViZzOULhiklm6MY/edit

Queríamos saber qual o melhor país para se trabalhar a partir do número de feriados, e por isso pegámos na tarefa de reunir os feriados pelo mundo fora.

Queixinhas

Gostamos muito dos comentários deixados no Portal da Queixa, e temos vontade de fazer um twitterbot que manda vir. Ainda estamos a alinhar um scraper, e um destes dias chegaremos a algo.

Mini-coisas que fizemos também

  • O mapa do site das Hamburgarias esteve em baixo devido a uns soluços no serviço que usamos (Carto), mas resolvemos o problema.
  • Mudámos o chassis do datewithdata.pt, retirando o Gulp e passando a usar uma simples Makefile para a sua geração. Resultado, parece-nos 10 vezes mais rápido gerar e atualizar o site. Viva as soluções simples.
  • A nossa wiki também foi recebendo algum amor, com uma melhor organização e distribuição de conteúdos. Ainda tem algum esforço pela frente, mas continua a ser um bom recurso para o nosso trabalho.
  • Responder a emails! De tempos a tempos lá vamos recebendo perguntas. Vem de muitos cantinhos: Central de Dados, DadosAbertos.pt, site do Transparência Hackday… Obrigada por nos escreverem e perdoem-nos eventuais demoras ou esquecimentos, que pelo meio das tarefas todas é difícil dar conta de tudo. 

E agora, o Date With Data mete férias durante o verão! No dia 14 de setembro estamos aí para mais :-) Assina a newsletter para te manteres a par. Bom verão!

Date With Data #38: Mari Kondata

Este sábado temos mais um Date With Data. Anda daí, agitar dados, metê-los na ordem e deixar a casa arrumada antes da pausa de verão.

Neste encontro vamos dedicar-nos à difícil tarefa de fechar projetos: olhar para o que fizemos este ano, completar o que estiver em falta, documentar e arrumar na prateleira todas as ideias fixes que fomos acumulando. Claro que arrumar a casa é só uma das possíveis missões para sábado. Traz as tuas ideias e vamos meter as mãos nos dados, junt@s!

Sábado 13 de julho, das 10:00 às 17:00, na CRU Cowork. Para participar é só aparecer. Traz caderno, caneta, portátil e uma tripla. O resto é connosco ;)

Créditos: Imagem com base numa fotografia de Florian Timm, sob licença CC BY-SA 2.0.

Date With Data #37: Datas

O próximo Date With Data é um Date With Datas!

As palavras-chave do próximo encontro são timelines, feriados, efemérides, sequências temporaiss, acontecimentos, calendários, eventos, períodos e momentos.

O plano é olharmos juntos para formas de mapear as coisas no tempo e o tempo das coisas, tal como já fizemos há uns tempos com o 25 de abril ao minuto. Desta feita queremos ir para além das timelines e ver o que dá para fazer com o tempo da estatística, da história, das cidades e das vidas, desde o segundo até ao século.

No local certo, na data certa e na hora certa: sábado 8 de junho, das 10:00 às 17:00, na CRU Cowork. Traz uma tripla, portátil, um caderno e o que mais te ajudar à inspiração. Nós levamos os dados ;)

Imagem: Fasti Antiates Maiores, fragmento de fresco de um calendário romano pré-juliano (84–55 AC) domínio público

Date With Data #35: Dados tolos

O próximo Date With Data é já amanhã!
Anda ter connosco para um dia dedicado aos dados inúteis

Abril é o mês dos dados inúteis!
Como já vai sendo tradição nos nossos encontros, viramos o Date With Data ao contrário em abril para desperdiçarmos um sábado com dados inoportunos, correlações absurdas, visualizações ilegíveis e tecnologias irrelevantes. Inspirados pelas Stupid Hackathons, damos um pouco de cor aos dados abertos e propomos um dia para explorar alegremente o que não levamos a sério.


Tens boas ideias? Deixa-as guardadas! Hoje é o dia das ideias tolas, e queremos sites irresponsivos, apps que compliquem a vida às pessoas, unlinked data, propostas absurdas ou redes anti-sociais.


(Para quem achar tudo isto um pouco parvo, propomos uma vista de olhos nas stupid hackathons em Nova Iorque ou São Francisco para perceber o espírito. Brincar e trocar as voltas às coisas é uma boa forma de encontrar novas abordagens e outros pontos de vista sobre o que fazemos. E nós gostamos de brincar.)


Sábado 13 de abril, das 10:00 às 17:00, na CRU Cowork. Traz uma tripla, portátil e um caderno. Nós levamos os dados ;)

Open Data Day 2018: como foi

O Open Data Day deste ano foi dedicado ao tema dos mapas abertos. De manhã à tarde, aprendemos, conversamos e olhamos para informação geográfica aberta, para perceber os recursos que existem, como podemos usá-los e contribuir para que se tornem ainda mais completos.

João Pina veio falar-nos sobre a história do Fogos.pt, um site que mapeia os incêndios em Portugal e que o faz usando dados abertos, disponibilizados pela Proteção Civil Portuguesa. Este projecto começou em agosto de 2015, como um desafio de serão para recolher e visualizar os dados dos incêndio. A forma simples como mostra a informação dos fogos, um mapa com os pontos assinalados, em vez das tabelas disponibilizadas em formato PDF pela Proteção Civil, tornou-o desde logo um recurso útil, com muito uso. Ao perceber o interesse que o fogos.pt gerou, João continuou a trabalhar nele, modificando-o conforme necessário (atualizando as tecnologias usadas, a fonte dos dados, que entretanto mudou a forma como estes eram publicados, etc) e expandindo-o. Um dos problemas com que se deparou, pelo uso extensivo do site, foi a limitação imposta pelo Google Maps, o motor original de mapas que tinha usado. Com a presença da comunidade do Open Street Maps no ODD, aproveitou a oportunidade para lhes pedir ajuda para migrar os seus mapas :-) e partilhou connosco que tem um repositório com o código do fogos.pt que pretende tornar público, segundo uma licença aberta. Os slides da apresentação do João, com mais pormenores sobre a história técnica do site, podem ser vistos aqui.

Foi com grande entusiasmo que recebemos Francisco Caldeira e Ana Santos, do Instituto Nacional de Estatística (INE), uma das fontes de dados abertos mais interessantes que encontramos — e, além disso, extremamente receptivos: das vezes que lhes enviámos emails com dúvidas sobre os dados, não demoraram mais de um dia a responder-nos! Falaram-nos das diretivas adotadas pelo governo português, com o objetivo de melhorar a acessilidade e estandardização dos dados, segundo as quais tem estruturado os seus esforços. Mostraram-nos o trabalho que têm feito a nível de dados geográficos e informação dos censos, e a evolução da forma como os dados estão disponíveis. Inicialmente, a base de dados de geo-informação dos censos estava à venda. Nessa altura apenas grandes empresas, como hipermercados, compraram a informação para estudar a população e a possível distribuição das suas lojas. Hoje, a informação está disponível livremente. A base de dados das moradas de Portugal, um dos conjuntos de dados mais procurados (na Central de Dados, o conjunto de dados das moradas, antigamente disponibilizado pelos CTT, é o mais descarregado), foi tornada pública esta semana e está acessível aqui. Este conjunto de dados foi reunido com uma incrível rapidez, apenas possível pela forma como o INE geriu e abriu a recolha aos cidadãos.

Por fim, para fazer a ponte entre as apresentações anteriores, tivemos Miguel Tavares da Câmara de Águeda, que nos falou sobre a interação entre a instituição onde trabalha e o projeto comunitário do Open Street Map. Desde 2008 que a Câmara de Águeda tem usado o OSM como motor para gerir os seus dados geográficos. Com a iniciativa de Miguel Tavares e outros funcionários da câmara, envolvidos na comunidade do OSM, foi levado a cabo o esforço de inserir os dados geográficos que tinham e que foram recolhendo diretamente no Open Street Map, de forma a manter os mapas atualizados. Em vez de comprar software proprietário de gestão de mapas, a câmara usa e contribui para este projeto aberto — e uma das consequências é Águeda ter-se tornado uma das municipalidades melhor mapeada no OSM. Os datasets abertos publicados pela CM Águeda são usados pela mesma para criar serviços úteis — O melhor percurso, mapas de autocarros escolares, entre outros — e para promover hackathons com o público onde se trabalha e reflete na utilidade da informação publicada.

Para mais imagens deste Open Data Day aqui. O próximo encontro, Date With Data, é no dia 14 de abril. Guarda a data!

Este sábado Date With Data #20: Queridos Dados & uma convidada especial

Neste regresso do verão vamos abordar a visualização de dados de uma forma diferente: desenhar em papel, com lápis e caneta!

Inspirados pelo projeto Dear Data, das designers Giorgia Lupi e Stefanie Posavec, vamos usar as mãos para rabiscar visualizações dos nossos queridos datasets. Todos são bem vindos a participar numa sessão onde só precisamos de dar corda às mãos e à cabeça.

Durante a manhã, teremos o privilégio de contar com a presença da Dra. Bahareh Heravi, especialista em jornalismo de dados, fundadora dos encontros Hacks/Hackers em Dublin e docente no University College Dublin. Heravi vai estar connosco para uma conversa informal em que irá mostrar alguns dos projetos de visualização que tem desenvolvido. Um destes projetos, feito com os seus alunos, é exatamente um exercício de visualização com caneta e papel, inspirado pelas metodologias do Dear Data.

Da parte da tarde, tomaremos os datasets em mãos com com papel e caneta. Uma visita à Central de Dados pode ser uma boa preparação para pensar que dados poderás visualizar. Claro que há mais dados, por exemplo, o dataset das hamburgarias! Ou um outro, que andamos a preparar quando pensamos nesta sessão, com os legumes e frutas da época, ao longo do ano. Leste um livro incrível? Se calhar dá para visualizar! As possibilidades são muitas e se quiseres podes trazer um dataset de dados abertos contigo :-)

O que é preciso trazer? Papel e material de desenho à tua escolha — canetas, lápis, marcadores coloridos, aguarela..
Além do papel vai dar jeito ter o portátil, para ver os dados, energia e uma extensão ou ficha tripla!

Das 10:00 às 17:00, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) — aparece e traz um amigo/a também!

Aponta já na agenda: o Date With Data seguinte é a 14 de outubro!

Créditos: a imagem do Date With Data #20 tem como fundo uma fotografia de Calsidyrose, disponível no Flickr segundo uma licença CC BY 2.0.

Este sábado Date With Data #19: ABC das folhas de cálculo

Os dados e os datasets aparecem-nos na maioria de vezes na forma de tabelas. Umas das formas mais simples e comum de trabalhar com estas tabelas é usando programas de folha de cálculo, como o LibreOffice Calc, Google Sheets, Excel.

Neste Date With Data vamos explorar as folhas de cálculo a fundo. Começamos por uma receita mágica para aprendar a transformar tabelas de PDF em folhas de cálculo editáveis. Depois disso vamos partilhar truques para organizar, limpar e analisar dados nos programas acima. E finalmente partiremos para os datasets que temos à disposição para os afinar e melhorar.

Sabes como usar pivot tables? Conheces fórmulas úteis para analisar dados númericos? Sabes dividir dados que estão na mesma célula da folha de cálculo? Conheces manhas e fórmulas para facilitar a vida que possas partilhar? Ou então não percebes nada do assunto e queres perceber? Anda daí! Queremos juntar truques e partilhar conhecimentos sobre esses programas estranhos (mas úteis) que são os editores de folha de cálculo.

Das 10:00 às 17:00, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco). Depois deste sábado, entraremos em férias. Voltamos aos encontros em Setembro — guarda já a data de 2 de setembro!

Date With Data #18: Presidências

Já em encontros anteriores abordámos as andanças do Presidente dos afectos, tendo começado um pequeno mapa das zonas “afectadas” pelas visitas do Presidente Marcelo.

No próximo Date With Data queremos continuar a debruçar-nos sobre este interessante cargo, com o objetivo de pensar visualizações e organizar datasets sobre os ocupantes do Palácio Nacional de Belém e os seus feitos, andanças e alocuções.

Temos encontro marcado no dia 17, das 10:00 às 17:00, no UPTEC PINC (Praça Coronel Pacheco). Traz uma tripla, portátil e um caderno. Nós levamos os dados ;)

OKcafé #1

OKcafé? O que é?

A nossa ideia com os OKcafés* é ter um novo espaço para conversar e trocar ideias sobre dados abertos em particular, e sobre conhecimento aberto em geral.

O objetivo dos nossos encontros Date With Data tem sido o de pôr as mãos na massa, e uma das regras implícitas desses encontros tem sido o de limitar a conversa para não nos distraírmos da prioridade de chegarmos a resultados.

Mas começámos a sentir a falta de um momento para olhar para as coisas mais de longe, e também para podermos falar dos nossos projetos sem a urgência de ter de voltar para o trabalho prático. E assim decidimos começar os OKcafés.

Além disso, há projetos que iniciámos nos Date With Data — nomeadamente a Central de Dados e o DadosAbertos.pt — que decidimos que precisam de outro tipo de autonomia (visto que são iniciativas que não terão uma conclusão). Os OKcafés serão também o local para fazermos pontos de situação e trocarmos impressões sobre os rumos dessas iniciativas.

O primeiro encontro aconteceu no sábado dia 27 de maio, no Maria Bôla. Em breve anunciamos o próximo!

Não é obrigatório beber café para participar! Nem trazer portátil! Aparece!

* O “OK” é de “Open Knowledge” ;-)