Olá! Esta é a wiki onde vamos anotando e organizando as nossas ideias, projectos e planos.
O registo está fechado por causa do spam. Para criar conta escreve-nos para bomdia [AT] transparenciahackday.org
User Tools
Sidebar
recursos
Table of Contents
Ainda estamos a arrumar esta página e a decidir a melhor estrutura. Não demoramos.
Fontes de dados em Portugal
- Dados.gov.pt, datasets publicados por organismos públicos
- Administração Eleitoral, processos eleitorais
- Comissão Nacional de Eleições, processos eleitorais
- BASE, gastos da administração pública
- Instituto Nacional de Estatística, vários dados estatísticos (público)
- Pordata, vários dados estatísticos (privado)
- Censos 2011, Datasets dos censos (xls, csv)
- Instituto Geográfico Português, mapas online
- Agência Portuguesa do Ambiente - InterSIG, informação geográfica e hídrica (antigo Instituto Nacional das Águas)
- Anacom, infra-estruturas de comunicação nacional
- Open Data LX, datasets e iniciativas open data pela Câmara de Lisboa
Outras fontes de dados com interesse
- OpenStreetMap, mapas livres e detalhados com uma API extensa
- Core Datasets @ GitHub, um conjunto de datasets importantes, principalmente dos EUA
- Free GIS Data list, lista de sites com dados gratuitos para Sistemas de Informação Geográfica e Detecção Remota
Ferramentas
PDF: análise e manipulação
- PDFMiner (Python), para extrair sem erros o texto dos PDF, a fim de o converter para estruturas JSON. Preserva a maior parte dos atributos do PDF (fontes, imagens), mas perde outros (links)
- PDFQuery (Python), permite procurar elementos na página com selectores tipo JQuery
- iText (Java/C#)
- PDF.js (Javascript), para extrair tabelas
- PDFBox (Java/C#)
- Tabula (web-app), para extrair tabelas de PDFs para CSV ou folha de cálculo do Excel
Scraping
- Billy, um conjunto de ferramentas para extração de info legislativa (e não só)
- Sikuli, ferramenta para automatizar interações com GUI's
- Fast scraping in python with asyncio, técnica para acelerar scrapers escritos em Python
Análise de dados/Data mining
- Recline.js, ferramenta para analisar e visualizar dados no browser
- Pandas, kit Python para análise de dados
- csvfix, consertar e trabalhar com CSV
- Sheetdown, converter Google Spreadsheets para tabelas Markdown
- Introducing R to a non-programmer in one hour, sobre a linguagem de análise estatística R
- Google Refine, canivete suíço para sanear dados desorganizados
Visualização de dados
- Lista de recursos para aprender D3
- Bokeh, toolkit de visualização em Python
- TimeMapper, timemaps que podem ser usados como widget a partir de uma spreadsheet
- Raw, a ponte entre spreadsheets e gráficos bonitos
- Chartist.js, gráficos simples e com layout respondão
- Datawrapper, gráficos em instantes
Livros sobre visualização
Web e ferramentas no browser
- OpenDataKit, gerar e trabalhar com formulários online
Ferramentas gerais para trabalhar com dados
- Processing – ambiente de programação rápida (Java)
- GNUplot – criação rápida de gráficos
Processamento natural de linguagem (NLP)
- Linguateca, centro de recursos distribuído para o processamento computacional da língua portuguesa
- Natural Language Processing with Python, manual oficial do NLTK ((ver também o projecto Natura, em português)
- WordNet – base de dados de palavras que ajuda ao processamento de linguagem (ver também WordNet em português)
Mapas e GIS
- So You’d Like To Make a Map Using Python, tutorial com o Pandas e IPython
- ColorBrewer, esquemas de cor para cartografia
- CartoDB, mapas a partir de datasets
- Odissey, histórias interactivas
- Tilemill, ferramentas de criação e edição simples de mapas
Crowdsourcing
- CrowdCrafting e PyBossa, para trabalhar com contributos externos de forma a resolver tarefas complexas
- Ushahidi, plataforma para mapeamento de ocorrências reportadas
Software para portais de dados
- CKAN, plataforma para organização, gestão e publicação de datasets, feito pela Open Knowledge Foundation
- Panda Project, uma ferramenta para organizar coleções de datasets e documentos
Guias e recursos online
- Open Data StackExchange, Q&A de open data
- Slides da NICAR 2014, uma conferência sobre dados e visualização com talks sobre todos os temas possíveis
- Drawing by Numbers, mais uma selecção de ferramentas para Data Viz
CouchDB
- What I learned about CouchDB, boa introdução ao
couchdbkite questões de organização de DBs
recursos.txt · Last modified: 2017/03/07 14:37 by rlafuente
Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Share Alike 4.0 International
