Como foi 2016 e o que aí vem em 2017!

dwd-balanco2016

O ano está mesmo, mesmo a terminar, e sentámo-nos para olhar para o que fomos fazendo ao longo do ano. 2016 pode ter sido muita coisa para muita gente; para nós, foi sobretudo produtivo!

O destaque do ano, como de costume, foi a organização do Open Data Day, uma iniciativa global materializada em eventos por todo o mundo onde se aborda o que de bom se faz na cena dos dados abertos. Este ano pudemos contar com a generosa ajuda logística da Open Knowledge International e da UPTEC, bem como o fantástico contributo da AMA (que trata de manter no ar o dados.gov.pt) e da Creative Commons Portugal em proporcionar-nos um excelente debate de ideias sobre o que é isso da “abertura” e que desafios nos esperam.

Expandindo a ideia do que pode ser uma fonte de dados, experimentámos aventurar-nos pelas frentes da literatura e do texto em geral, um tema que já nos é familiar de anos anteriores:

  1. iniciámos um Guia Anti-anglicismos para proporcionar alternativas a expressões comuns que vamos usando e uniformizar as traduções que fomos fazendo.
  2. conseguimos traduzir coletivamente uma boa parte do English As She Is Spoke
  3. procurámos formas de mapear os locais em obras literárias
  4. articulámos as relações entre termos mencionados nas sessões do Parlamento
  5. continuámos a traduzir artigos relevantes para a agenda dos dados abertos
  6. engendrámos uma ferramenta para conseguir ouvir a prosódia de um discurso e testámos com um discurso de Cavaco Silva:

    Phonation

    Hum

  7. fizemos um rastejador para obter um dicionário de divisão silábica
  8. escrevemos sobre o que fazemos nos encontros, sobre o que nos motiva e tentamos explicar as variadas frentes em que nos movemos aqui

Quem nos tem seguido sabe que não andamos nisto dos dados por um encanto pela técnica; o nosso objetivo é empregá-los para conseguir visualizar e perceber melhor o mundo que nos rodeia e a sociedade que integramos. Assim, idealizámos e concretizámos dois projetos de visualização:

Continuámos a afinar a nossa querida Central de Dados:

Terminámos o ano a integrar a representação portuguesa no Open Government Partnership Summit em Paris, onde participámos em hackathons, talks e tratámos de conspirar conjuntamente com os nossos cúmplices franceses dos Regards Citoyens para ajudar a atualizar o interface do seu portal de dados sobre a Assembleia Nacional francesa.

Nos Députés

Para 2017, pretendemos continuar com o ritmo atual de encontros e concretizações. Estamos também desejosos de entrar de modo mais ativo na defesa pública da agenda dos dados abertos, através da representação portuguesa da Open Knowledge International.

Antes do ano terminar, dois apelos:

  • Marca já na agenda: o Date With Data volta em janeiro no dia 14! Na antevéspera voltamos a mandar um lembrete.
  • Está ainda aberto o período de contributos para o Global Open Data Index, o índice mundial que a Open Knowledge desenvolve. Este ano, são novamente necessários os contributos da comunidade para classificar os datasets que existem, podes ajudar?

Queremos aproveitar para agradecer a todos os que tornam o Date With Data possível e incrível: a UPTEC PINC por acolher sempre os encontros que organizamos; e todos que participaram, alguns viajando quilómetros para se juntarem a nós.

Bom ano novo, e junta-te a nós nas próximas Dates ;)

Hackday – sessão #2

Mais uma sessão de hackerismo radical com muito afinco e algumas dificuldades.
Passa-se a uma breve síntese do que cada elemento esteve a fazer e em que ponto ficou.

O Vítor Silva esteve a criar o ficheiro xml de feeds (escolheu o formato Atom) para automatizar o processo de disponibilização de dados a CMS. Os testes foram realizados com o Drupal e com o Managing News (profile do Drupal). Detectaram-se alguns problemas de renderização de informação. Também se concluiu que o Feeds Importer com as configurações default se adequa mais a conteúdos news/ post, em que há title, description, link, published, author. Perante isto, há duas alternativas: adaptar o conteúdo a importar às tags existentes; pesquisar de que modo seria possível criar tags personalizadas e embebê-las no mapping do feed item. Existe a indicação clara no blog do Development Seed em como é possível agendar importações regulares de csv.

O Victor Cardoso realizou uma experiência de visualização dinâmica da relação nº deputados por partido/ nº de círculos eleitorais ao longo do tempo, leia-se legislaturas. Usou para o efeito o Motion Chart do pacote de módulos de visualização da Dataviz. O teste foi realizado com um ficheiro .csv na plataforma do Dataviz, mas a ideia na futuro é instalar o dito pacote em Drupal ou gerar widgets para embeber onde se desejar. Fica aqui a amostra deste primeiro ensaio.

Outra frente de trabalho foi a edição do ficheiro “deputados_rede_social.ods” que lista deputados que estão a usar redes sociais. Sendo o MPID (número de identificação unívoco os deputados na plataforma da AR) o único critério fiável para compilar dados, teve de ser associado cada deputado e respectivas redes a esse MPID, mediante consulta do website parlamento.pt
O ficheiro ficou terminado no final da sessão para que a nova informação seja integrada à base de dados geral. Quem encontrar novos dados da rede social dos deputados deve comunicá-los ao Vítor Silva que os introduz na BD.

O Bernardo Santos iniciou a pesquisa de case studies de projectos ligados ao tema da Transparência. Explorou o The Public Whip, que foi referência para o próprio They Work For You, um outro caso a analisar com cuidado. Este levantamento consiste em tentar perceber de que modo está organizada a informação, o que é matéria de interesse e formas de apresentar e explorar informação pública dos parlamentos e seus deputados, feitas as devidas salvaguardadas em relação às diferenças de estilo e funcionamento de parlamentos, no caso inglês e português.
Está focado na identificação de categorias e critérios de pesquisa e formulação de queries aos dados compilados que possam ser transversais e estendidos à realidade portuguesa. Exemplos: políticas, empresas, organismos, etc. e efeitos de consenso ou clivagens que desencadeiam no universo e actividade parlamentares. A ideia é criar com as categorias, subcategorias e relações eventuais entre elas, uma estrutura, uma espécie de classificação de temas, que ajude na clarificação de linhas de acção e permita criar índices e listas de categorização dos conteúdos.

A Ana Carvalho dedicou o esforço desta sessão na actualização da wiki, precisamente na secção do Hacklaviva. O suporte documental e a traçabilidade de acções, ideias que vão sendo discutidas ou testadas exigiu para já uma mais efectiva estruturação da informação.
A opção seguida foi a de listar na página inicial do Hacklaviva todos os projectos em curso a que serão adicionados futuros projectos. Cada projecto abre para uma nova página em que são listados tópicos tidos como essenciais para dar a ideia à comunidade participante. São eles:

  • o que se pretende (objectivos),
  • o que se está a fazer (tarefas),
  • de que forma se pensa fazer e se está fazer (ferramentas),
  • listas de recursos próprios, caso de ficheiros de parser, ficheiros .csv, etc., ou externos, como bibliografia, pessoas/ entidades com experiência, glossários, etc. (documentação).

Relacionada ainda com a documentação, o Bernardo defendeu o interesse de listar algumas fontes que expliquem o funcionamento da AR e do sistema parlamentar, para que seja possível questionar de forma mais inteligente e eficaz os dados.

O Ricardo Lafuente terminou o script em phyton que transforma os pdf dos Diários da Assembleia em ficheiros csv. O dito script foi testado com 1 pdf apenas, mas o passo seguinte será alargá-lo para um conjunto de pdf e por fim à totalidade das transcrições. Estas existem desde 2002 e por ano são criadas em média 100.

O Tiago Assis experimentou o import de feeds gerado pelo Vítor no sistema Managing News. Além disso, esteve a testar várias possibilidades desta ferramenta para o projecto. Há três pontos claros acerca do interesse e limitações desta ferramenta para o projecto:
ideal para integrar deputados e/ou actividades com dados geográficos

  • possibilidade de associar notícias de agregadores (Google News, Yahoo News, etc.) de notícias a deputados
  • necessidade de criar listas de tópicos (categorias) que ajudem a relacionar de forma pertinente e significativa notícias a dados do projecto
  • estudo da exequibilidade de estender as tags por default do formato feeds a qualquer tag ou tipo de conteúdo que se deseje recolher e agregar.

A Cláudia Amorim apresentou uma instalação Drupal já com os nodes (registos individuais) de cada deputado, tendo utilizado para o efeito o ficheiro csv da identificação dos deputados. Recorreu-se ao módulo Feeds e à função Feeds importer/ node import. Com base no campo das profissões desse mesmo ficheiro, foi gerada automaticamente uma lista de vocabulário das profissões que com a dupla cumulus+tagadelic gerou uma nuvem dinâmica das tags. Também testou em ambiente Drupal o ficheiro de feeds atom criado pelo Vítor Silva.

Em relação a esta sessão, todos os elementos, que acharem que se justifica, são convidados a criar uma entrada com mais detalhes acerca do que conseguiram realizar e próximos passos.