Transparência Hackday

TRANSPARÊNCIA HACKDAY / Datasets: Vamos apanhá-los todos! 11 de Outubro 2014

Datasets já convertidos em data packages

• Parlamento: Datas das sessões plenárias
• Parlamento: Deputados
• Banco de Portugal: Instituiçoes financeiras
• Governos (cargos, duraçoes)
• Contratos Publicos
• Eleicoes Europeias
• Eleicoes Autárquicas
• Eleicoes Legislativas
• Datas das eleições
• Instituições Financeiras

Datas de lançamento dos datasets

Outubro: Eleiçoes:

• 12 out: Datas
• 19 out: Legislativas, Presidenciais
• 26 out: Açores, Madeira

Novembro: Parlamento

• 2 nov: Autárquicas
• 9 nov: Europeias
• 16 nov: Deputados
• 23 nov: Diário da Republica?
• 30 nov:

Dezembro: Economia

• 7 dez:
• 14 dez:
• 21 dez:
• 28 dez:

Lista de Datasets que podemos converter:

• Óbitos em Portugal: https://servicos.min-saude.pt/sico/faces/estatisticas.jsp?cpp=1 (semi-feito. https://github.com/TMMV/scrapper)
• datasets do Hackday, já em formato data package: https://github.com/centraldedados
• Instituições Financeiras, falta pôr em formato data pakage: https://github.com/centraldedados/instituicoes-financeiras feito!
• Direção Geral do Ensino Superior (DGES): Acessos ao ensino superior http://www.dges.mctes.pt/DGES/pt/Estudantes/Acesso/Estatisticas/EstudosEstatisticas/Regime+Geral+ES+P%C3%BAblico.htm
• DGES: Vagas por ano letivo no ensino superior Português - Total de vagas do Público/Privado/Concurso Especial para os Estudantes Internacionais http://www.dges.mctes.pt/DGES/pt/OfertaFormativa/CursosConferentesDeGrau/VagasAnoLetivo
• Escolas encerradas
  • http://www.ensinobasico.com/blogue/700-a-lista-oficial-das-escolas-que-encerram (Marta a tratar desta!)
  • 2011: http://www.portugal.gov.pt/pt/os-ministerios/ministerio-da-educacao-e-ciencia/documentos-oficiais/20110811-reorganizacao-rede-escolar.aspx
  • 2013: http://www.portugal.gov.pt/pt/os-ministerios/ministerio-da-educacao-e-ciencia/mantenha-se-atualizado/20130116-mec-agregacao-escolas.aspx
  • 2012: http://www.portugal.gov.pt/pt/os-ministerios/ministerio-da-educacao-e-ciencia/mantenha-se-atualizado/20120701-mec-agregacao-escolas.aspx
• DGAI: possui secção de todas as eleições e parece bastante sistematizado
• DGAI: relatórios de monitorização da violência doméstica (2008 a 20013) - Done
• Dados sobre Educação nos países da OCDE http://gpseducation.oecd.org
• Instituto de estatística: http://ine.pt/
• Referendos: cne.pt/content/eleicoes-referendos
• Wikipedia, por exemplo um datasets dos Reis de Portugal: http://pt.wikipedia.org/wiki/Anexo:Lista_de_reis_de_Portugal
• Datasets das eleições com abstenção que publicámos no blog:
  • ( http://www.transparenciahackday.org/2014/06/abstencao-nas-eleicoes-europeias-2009-e-2014-em-portugal/ )
  • http://www.transparenciahackday.org/2014/06/abstencao-nas-eleicoes-europeias-2009-e-2014-em-portugal/transparenciahackday.org/wp-content/uploads/2014/portugal-europeias2009.csv
  • http://www.transparenciahackday.org/2014/06/abstencao-nas-eleicoes-europeias-2009-e-2014-em-portugal/transparenciahackday.org/wp-content/uploads/2014/portugal-europeias2014.csv
• Casas devolutas em Lisboa (vem deste post http://tretas.org/PrediosDevolutosLisboa )
  • http://tretas.org/PrediosDevolutosLisboa?action=AttachFile&do=get&target=CML_LevantamentoParqueEdificadoDevoluto.csv
• Mais links para datasets neste post http://www.transparenciahackday.org/2014/04/dados-locais-em-portugal/
  • estradas de portugal: http://www.estradas.pt/
  • autocarros Porto: http://www.stcp.pt/pt/viajar/horarios/
  • metro Porto: http://www.metrodoporto.pt/PageGen.aspx?WMCM_PaginaId=25470
  • mais datasets de Coimbra em http://www.transparenciahackday.org/2014/04/dados-locais-em-portugal/
• Incêndios em Portugal:
  • dataset incendios.pt em formato datapackage (Ana): https://github.com/transparenciahackday/incendios-dataset
  • vários datasets: http://www.icnf.pt/portal/florestas/dfci/Resource/doc/estat/
  • mais: http://www.icnf.pt/portal/florestas/dfci/Resource/doc/estat/list
• Referendos
• Lista de Cursos: http://www.google.pt/url?sa=t&rct=j&q=&esrc=s&source=web&cd=9&ved=0CGQQFjAI&url=http%3A%2F%2Fwww.portugal.gov.pt%2Fdownload.ashx%3Fmedia%3D%2Fmedia%2F574404%2Fcursos_apex.pdf&ei=7Vc5VJ_IIcbvarGjgcgK&usg=AFQjCNFhe2kz5Ao8KcxmQhdTwdgt_97XAw&sig2=P8dPFEFmegd9utSzym0vFA&bvm=bv.77161500,d.d2s&cad=rja

Transformar tabelas em PDF para CSV: Tabula http://tabula.nerdpower.org/

O que apanhámos hoje:

• Exemplo: Deputados dos açores (Zé Milho)

---

Instruções para fazer um Data Package:

• 1. Criar uma pasta com o nome do dataset.
• O nome da pasta deve ser descritivo do dataset, estar escrito em minúsculas,
• sem acentos nem cedilhas e com underscores a separar palavras.
• 2. Criar uma sub-pasta chamada “data”, e colocar lá o dataset em formato CSV.
  • 2.1. Transformar ficheiro xls em csv (com virgulas) http://www.filesculptor.com/convert-excel-xls-csv-file/
• 3. Gerar um ficheiro datapackage.json, com informação sobre o dataset,
• com o DataPackage.json Creator: http://data.okfn.org/tools/create
• 4. Publicar o dataset no github e adiconar o link aqui:
• http://transparenciahackday.org/forum/discussion/69/hackday-outubro-datasets-vamos-apanha-los-todos
• Tá feito! Podes passar ao próximo

———————————————————————————————–

Mais notas sobre fazer um data pakage:

• Que licença uso para o dataset?
• Como estamos a falar de publicar dados abertos a licença mais indicada é a
• Open Database License (ODbL) v1.0: http://opendatacommons.org/licenses/odbl/1-0/
• Faz um README!
• Este passo é opcional para o data package mas importante porque serve para
• explicar, num formato de texto (ao contrário do JSON), sobre o que é
• o dataset, de onde veio e outros pormenor importantes.
• A Central de Dados usa o texto do ficheiro README na página do dataset.
• Por exemplo: http://centraldedados.pt/datasets/eleicoes-europeias.html
• O README pode ser formatado com markdown:
• http://daringfireball.net/projects/markdown
• Posso incluir mais informação além da que é pedida no DataPackage.json Creator?
• Sim!
• Há um tutorial excelente sobre como podes tornar o ficheiro datapackage.json
• mais rico e quais são as informações mais importantes a incluir: http://data.okfn.org/doc/data-package
• O tipo de dados faz alguma diferença na criação da datapackage?
• Sim. Em termos gerais podemos dividir os datasets em três categorias:
• - datasets tabulares, aqueles que se apresentam na forma de uma tabela
• - datasets geoespaciais, aqueles que contêm informação geográfica
• - datasets de outro género, aqueles que contêm dados que qualquer tipo
• Validar JSON: http://jsonlint.com
• Validar CSV: http://csvlint.io/

---

HOWTOs pra escrever:

• como editar um datapackage.json
• como usar o google para encontrar datasets

Texto de apresentaçao (about+faq) da Central de Dados, em progresso: centraldedados

Participantes

• Ana
• Ricardo
• Mariana
• Marta
• Margarida
• Tiago
• Theo
• Javier
• Sara
• João

Proximo hackday:

• Discussão sobre licenças
• Intro ao Github e como participar na Central