Date With Data #29: Explorar Dados

Nos encontros deste ano temos estado mais dedicados à aquisição de conjuntos de dados abertos, desde a sua organização e limpeza, à actualização automática dos mesmos. Acaba por ser um trabalho moroso e por vezes não muito visível, ou até apelativo, contudo é a fundação essencial que facilita a posterior utilização dos dados em projectos.

Neste próximo encontro vamos abordar a fase seguinte, de exploração e análise de dados, com uma pequena introdução à ferramenta Jupyter Notebook, com a linguagem de programação Python.
O projecto Jupyter tem-se vindo a popularizar, sendo uma aplicação web de código aberto que possibilita a criação e partilha de documentos interactivos que podem conter código, visualizações, texto narrativo, entre outras funcionalidades — ideal para desenvolvimento colaborativo de um projecto que tenha como ponto de partida dados abertos.

Dia 14/Julho, Sábado, teremos de manhã um pequeno workshop introdutório da ferramenta e de discussão, em que analisaremos dados da Central de Dados (como incêndios, quer histórico ou em tempo-real, Parlamento, endereços e outros) ou até do recentemente relançado Portal de dados abertos da Administração Pública. À tarde continuaremos explorando os dados e partilhando ideias de projectos a desenvolver nos próximos encontros.

Vai estar calor, mas temos uma fantástica sala num jardim com bastante sombra no centro do Porto!
Traz o portátil, uma tripla para assegurar que toda a gente tem bateria e boa disposição!
Quem não tiver o Jupyter Notebook instalado, é importante chegar a horas às 10h, para configurar o software e acompanhar o workshop desde o início.

Das 10:00 às 17:00, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) – aparece e traz um amigo/a também!

Aponta já na agenda: após uma pausa em Agosto, o próximo Date With Data será a 9 de Setembro!

Imagem: “Chaotic Clouds of Jupiter”, NASA/JPL-Caltech/SwRI/MSSS/Gerald Eichstädt /Seán Doran

Date With Data #27: Por entre os dados do Parlamento

No Date With Data anterior começamos a organizar os dados do Parlamento e este Sábado vamos continuar o processo, também agora efetuando algumas análises e visualizações.

Tendo já alguns dados organizados vamos importar os mesmos para uma base de dados e explorar a informação, com recurso a declarações SQL. Com os resultados das análises faremos algumas visualizações, com recurso à ferramenta Datawrapper, que partilharemos online no Twitter — estejam atentos à hashtag #datewithdata ou sigam-nos: @thackdaypt.
Não se assustem com os detalhes técnicos, será uma sessão colaborativa de trabalho, em que os participantes ajudam-se uns aos outros e partilham os seus conhecimentos.

Além de tarefas técnicas também temos outras mais colaborativas, por exemplo, complementar os dados biográficos dos deputados com o seu percurso académico e profissional mais detalhado. Para tal teremos uma tarefa de crowdsourcing, pesquisando e recolhendo os links dos perfis LinkedIn dos deputados, que usaremos depois com uma demonstração de recolha automática de informação estruturada de redes sociais.

E não te esqueças do portátil! Se tiveres à mão traz também uma ficha tripla para assegurarmos que toda a gente tem bateria.

Das 10:00 às 17:00, 12 de Maio, Sábado, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) — aparece e traz um amigo/a também!

Aponta já na agenda: o Date With Data do próximo mês será a 9 de Junho!

Imagem criada a partir de uma fotografia de Sharon Hahn Darlin, disponível segundo a licença CC-BY-2.0.

Date With Data #26: Parlamento

Recebemos uma boa novidade: o website do Parlamento foi renovado, incluindo agora uma secção de dados abertos! A 14 de Abril vamos aproveitar a deixa para nos voltarmos a debruçar sobre a Assembleia da República, que foi precisamente o tema do primeiro Date With Data em 2010.

A ideia será juntarmo-nos para olhar para o que já foi feito à volta do Parlamento e o que falta fazer, e começarmos a sujar as mãos com estes novos conjuntos de dados. Uma das tarefas que tomaremos em mãos será olhar para os dados e pensar as melhores formas de os re-converter para formatos mais fáceis de trabalhar. Vamos atirar para o ar chavões como XML, JSON, SQL e desmistificar os termos técnicos para tratarmos de coisas úteis. E olharemos de perto para o que o Parlamento agora nos dá, para descobrirmos o que agora é possível fazer e o que falta.

Como habitualmente, vamos também olhar para outros projetos e ideias, e esperar que a chuva não esteja demasiado presente. De qualquer maneira, espera-nos um dia no quentinho do Pavilhão Jardim a congeminar em conjunto, com a boa disposição do costume.

Ainda no rescaldo do Open Data Day, a Open Knowledge publicou um artigo sobre o evento no Porto e Helsínquia, que escrevemos em conjunto com os nossos colegas finlandeses. Publicámos também um relato em português com mais pormenores e links para os slides das apresentações.

E não te esqueças do portátil! Se tiveres à mão traz também uma ficha tripla para assegurarmos que toda a gente tem bateria.

Das 10:00 às 17:00, 14 de Abril, Sábado, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) — aparece e traz um amigo/a também!

Aponta já na agenda: o Date With Data do mês de Maio que será a 12 de Maio!

Open Data Day Portugal 2018

Sábado, 3 de Março, assinalamos o Open Data Day na cidade do Porto.

O Open Data Day é uma celebração anual dedicada aos dados abertos. No mesmo dia, em vários locais do mundo, são organizadas dezenas de eventos dedicados ao tema. É uma oportunidade para mostrar os benefícios da informação acessível ao público e incentivar à adoção de políticas abertas de dados junto do governo, empresas e sociedade civil.

Em 2018, o tópico escolhido para o evento português são os Mapas Abertos. No Porto vão juntar-se pessoas que contribuem para projetos de dados abertos geográficos a nível institucional, empresarial, académico e independente. Haverá lugar a um workshop com a comunidade OpenStreetMap Portugal e uma sessão com oradores do INE, Câmara Municipal de Águeda e Fogos.pt.

Para aparecer, é só fazer o registo.

Esta é mais uma edição de um evento que organizamos desde o seu início; podes ler sobre como foi em 2015, 2016 e 2017.

O Open Data Day 2018 Portugal conta com o generoso apoio da Open Knowledge International, da Mapbox e do UPTEC PINC para a concretização do evento.

Programa

Manhã: Sessão especial de trabalho Date with Data
10:30 – 11:00: Receção e café
11:00 – 13:30: Workshop com OpenStreetMap Portugal
13:30 – 15:00: Almoço (livre)

Tarde: Sessão com oradores
15:00 – 15:15: Receção e café
15:15 – 15:25: Sobre o Open Data Day
15:30 – 16:00: João Pina – Fogos.pt
16:00 – 16:30: Miguel Tavares – Câmara Municipal de Águeda
16:30 – 17:00: Francisco Caldeira e Ana Santos – Instituto Nacional de Estatística
17:00 – 17:30: Conversa aberta
Café e despedida

Perguntas Frequentes

O evento tem algum custo?
Não há nenhum custo para os participantes do evento. O registo é somente para ter uma ideia do número de pessoas que estarão presentes e melhor gestão da organização.

Posso inscrever-me em apenas uma das sessões?
Podes inscrever-te em qualquer uma das sessões (manhã/tarde) ou em ambas.

Quais as opções de estacionamento?
Estacionamento de rua ou diversos parques de estacionamento pago em redor.

Tenho de imprimir o bilhete do evento?
Não é necessário imprimir o bilhete.

Onde é?
UPTEC – PINC Praça Coronel Pacheco, 2, Porto

Material de Divulgação

Imagem do cartaz adaptada de uma fotografia de Carl Drougge, disponível segundo a licença CC-BY-SA.

Date With Data #25: Mapas

Numa sociedade cada vez mais móvel, a informação geográfica assume um papel predominante no nosso quotidiano, sendo essencial para o funcionamento de utilitários como mapas, navegação e pesquisas.
O Date with Data deste Sábado, a 10 de Fevereiro, será uma introdução leve ao tema que será o foco do Open Data Day 2018: Open Mapping, a acontecer já no dia 3 de Março.

Na Central de Dados temos bastantes repositórios com informação geográfica (ex: casas devolutas, alojamento local,  incêndios, entres outros) e já fizemos projectos de visualização geográfica, mas nunca uma sessão em que partilhássemos os conceitos básicos dessa área específica. Teremos de manhã uma sessão introdutória ao tema e de tarde trabalharemos dados, quer recolhendo ou construindo visualizações.

E não te esqueças do portátil! Se tiveres à mão traz também uma ficha tripla para assegurarmos que toda a gente tem bateria.

Das 10:00 às 17:00, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) — aparece e traz um amigo/a também! E sê pontual, que vamos começar mesmo às 10!

Gostavas de ter aparecido no último Date With Data? Podes ler as notas da sessão aqui.

Aponta já na agenda: o Date With Data do mês de Março será substituído
pelo Open Data Day 2018, que será a 03 de Março!

Créditos: A imagem deste Date With Data é um estilo de mapa criado pela Mapbox com dados do OpenStreeetMap.

Date With Data #24: Ano Novo, Dados Novos

O primeiro Date With Data de 2018 é já este sábado 13 de Janeiro.
Para começar o novo ano vamos pesquisar e reunir referências online de informação pública para adicionar à Central de Dados ao longo deste ano. Existe muita informação pública disponível em websites institucionais, contudo não se encontra estruturada para fácil processamento e visualização.

Alguma dessa informação já está na Central De Dados, mas queremos continuar a aumentar o número e a variedade dos dados disponibilizados. Também continuaremos a olhar para a parte mais decisiva de um projeto, colocá-lo online! Para isso abordaremos algumas ferramentas, quer de nível iniciado e avançado

Não importa se tens capacidades técnicas ou não, há sempre tarefas para distribuir e acima de tudo queremos que os Date With Data sejam um espaço de partilha e aprendizagem para todos.

E não te esqueças do portátil! Se tiveres à mão traz também uma ficha tripla para assegurarmos que toda a gente tem bateria.

Das 10:00 às 17:00, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) — aparece e traz um amigo/a também! E sê pontual, que vamos começar mesmo às 10!

Aponta já na agenda: o Date With Data seguinte é a 10 de Fevereiro!

Gostavas de ter aparecido no último Date With Data? Podes ler as notas da sessão aqui.

Date With Data #23: Pôr coisas no ar

No próximo Date With Data, sábado 9 de Dezembro, vamos olhar para a parte mais decisiva de um projeto: pô-lo no ar! Costuma ser o momento mais moroso e stressante de qualquer trabalho: limar as arestas, eliminar os últimos bugs e pôr tudo em ordem para poder seguir para as internetes.

Muitas vezes, é a dificuldade da recta final que nos faz desmotivar e que vota os projetos à gaveta. E na maior parte das vezes, a parte de pôr as coisas no ar é a mais complicada: quais as melhores opções para servidores? Que métodos há para deployment? Como fazemos para manter o projeto ao longo do tempo depois de publicar? Vamos trocar experiências e boas práticas para ajudar que os nossos projetos vindouros possam entrar em órbita, e aproveitar para pôr no ar os twitterbots que fizemos no último encontro.

Das 10:00 às 17:00, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) – aparece e traz um amigo/a também!

Aponta na agenda: o Date With Data seguinte é a 13 de janeiro!

(Gostavas de ter aparecido no último Date With Data? Podes ler as notas da sessão aqui)


Créditos: A imagem deste Date With Data usa uma ilustração em Domínio Público entitulada Kite Balloon From USS Arizona

Date With Data #22: Twitterbots!

No dia 11 de Novembro vamos aprender a fazer twitterbots. Um twitterbot é um programa que se encarrega de afixar mensagens no Twitter de acordo com uma série de regras, definidas por alguém. Mas para que servem ao certo os twitterbots? Muita coisa! Podem ser: um bom meio para a escrita conceptual, prestar serviço de informação útil (provavelmente repetitivo e chato para ser executado por um humano;), um objeto de memória histórica ou simplesmente uma brincadeira inconsequente. Aqui vão alguns que gostamos particularmente:

A nossa proposta para o próximo Date With Data é aprendermos em conjunto a construir bots para o Twitter – e no caminho também ficarmos a conhecer a alternativa livre Mastodon, e como fazer bots para ela também!

Durante a manhã temos preparada uma pequena demonstração de como fazer bots para as plataformas do Twitter e do Mastodon, para a seguir (e durante a tarde) pormos as mãos na massa e concretizar as nossas ideias para robôs de 140 caracteres. Como poderíamos usar as fontes de dados públicas para fazer bots úteis ou inúteis? Vem pensar connosco e cozinhar robôs giros! Estes robots não nos vão limpar a casa, nem fazer o jantar mas podem debitar umas coisas interessantes ou fazer-nos rir pelo absurdo.

Das 10:00 às 17:00, no Pavilhão Jardim do UPTEC PINC (Praça Coronel Pacheco) — aparece e traz um amigo/a também! Não te esqueças de trazer o portátil e uma ficha tripla.

Aponta na agenda: o Date With Data seguinte é a 9 de dezembro!

Gostavas de ter aparecido no último Date With Data? Podes ler as notas da sessão aqui.


Créditos: A imagem deste Date With Data usa uma ilustração em Domínio Público de uma Máquina de tratar algodão, da Howard & Bullough American Machine Company