User Tools

Site Tools


2014-10

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

2014-10 [2017/03/07 14:54] (current)
rlafuente created
Line 1: Line 1:
 +** TRANSPARÊNCIA HACKDAY / Datasets: Vamos apanhá-los todos!**
 +11 de Outubro 2014
 +
 +**__Datasets já convertidos em data packages__**
 +
 +  * Parlamento: Datas das sessões plenárias
 +  * Parlamento: Deputados
 +  * Banco de Portugal: Instituiçoes financeiras
 +  * Governos (cargos, duraçoes)
 +  * Contratos Publicos
 +  * Eleicoes Europeias
 +  * Eleicoes Autárquicas
 +  * Eleicoes Legislativas
 +  * Datas das eleições
 +  * Instituições Financeiras
 +
 +**__Datas de lançamento dos datasets__**
 +
 +Outubro: Eleiçoes:
 +  * 12 out: Datas
 +  * 19 out: Legislativas,​ Presidenciais
 +  * 26 out: Açores, Madeira
 +
 +Novembro: Parlamento
 +  * 2 nov: Autárquicas
 +  * 9 nov: Europeias
 +  * 16 nov: Deputados
 +  * 23 nov: Diário da Republica?
 +  * 30 nov:
 +
 +Dezembro: Economia
 +  * 7 dez:
 +  * 14 dez:
 +  * 21 dez:
 +  * 28 dez:
 +
 +
 +
 +
 +**Lista de Datasets que podemos converter:​**
 +  * Óbitos em Portugal: [[https://​servicos.min-saude.pt/​sico/​faces/​estatisticas.jsp?​cpp=1]] (semi-feito. [[https://​github.com/​TMMV/​scrapper)]]
 +  * datasets do Hackday, já em formato data package: [[https://​github.com/​centraldedados]]
 +  * Instituições Financeiras,​ falta pôr em formato data pakage: [[https://​github.com/​centraldedados/​instituicoes-financeiras]] feito!
 +  * Direção Geral do Ensino Superior (DGES): Acessos ao ensino superior [[http://​www.dges.mctes.pt/​DGES/​pt/​Estudantes/​Acesso/​Estatisticas/​EstudosEstatisticas/​Regime+Geral+ES+P%C3%BAblico.htm]]
 +  * DGES: Vagas por ano letivo no ensino superior Português - Total de vagas do Público/​Privado/​Concurso Especial para os Estudantes Internacionais [[http://​www.dges.mctes.pt/​DGES/​pt/​OfertaFormativa/​CursosConferentesDeGrau/​VagasAnoLetivo]]
 +  * Escolas encerradas
 +    *  [[http://​www.ensinobasico.com/​blogue/​700-a-lista-oficial-das-escolas-que-encerram]] (Marta a tratar desta!)
 +    * 2011: [[http://​www.portugal.gov.pt/​pt/​os-ministerios/​ministerio-da-educacao-e-ciencia/​documentos-oficiais/​20110811-reorganizacao-rede-escolar.aspx]]
 +    * 2013: [[http://​www.portugal.gov.pt/​pt/​os-ministerios/​ministerio-da-educacao-e-ciencia/​mantenha-se-atualizado/​20130116-mec-agregacao-escolas.aspx]]
 +    * 2012: [[http://​www.portugal.gov.pt/​pt/​os-ministerios/​ministerio-da-educacao-e-ciencia/​mantenha-se-atualizado/​20120701-mec-agregacao-escolas.aspx]]
 +  * DGAI: possui secção de todas as eleições e parece bastante sistematizado
 +  * <​del>​DGAI:​ relatórios de monitorização da violência doméstica (2008 a 20013) - Done</​del>​
 +  * Dados sobre Educação nos países da OCDE [[http://​gpseducation.oecd.org]]
 +  * Instituto de estatística:​ [[http://​ine.pt/​]]
 +  * Referendos: cne.pt/​content/​eleicoes-referendos
 +  * Wikipedia, por exemplo um datasets dos Reis de Portugal: [[http://​pt.wikipedia.org/​wiki/​Anexo:​Lista_de_reis_de_Portugal]]
 +  * Datasets das eleições com abstenção que publicámos no blog:
 +    * ( [[http://​www.transparenciahackday.org/​2014/​06/​abstencao-nas-eleicoes-europeias-2009-e-2014-em-portugal/​]] )
 +    * [[http://​www.transparenciahackday.org/​2014/​06/​abstencao-nas-eleicoes-europeias-2009-e-2014-em-portugal/​transparenciahackday.org/​wp-content/​uploads/​2014/​portugal-europeias2009.csv]]
 +    * [[http://​www.transparenciahackday.org/​2014/​06/​abstencao-nas-eleicoes-europeias-2009-e-2014-em-portugal/​transparenciahackday.org/​wp-content/​uploads/​2014/​portugal-europeias2014.csv]]
 +  * Casas devolutas em Lisboa (vem deste post [[http://​tretas.org/​PrediosDevolutosLisboa]] )
 +    *  [[http://​tretas.org/​PrediosDevolutosLisboa?​action=AttachFile&​do=get&​target=CML_LevantamentoParqueEdificadoDevoluto.csv]]
 +  * Mais links para datasets neste post [[http://​www.transparenciahackday.org/​2014/​04/​dados-locais-em-portugal/​]]
 +    * estradas de portugal: [[http://​www.estradas.pt/​]]
 +    * autocarros Porto: [[http://​www.stcp.pt/​pt/​viajar/​horarios/​]]
 +    * metro Porto: [[http://​www.metrodoporto.pt/​PageGen.aspx?​WMCM_PaginaId=25470]]
 +    * mais datasets de Coimbra em [[http://​www.transparenciahackday.org/​2014/​04/​dados-locais-em-portugal/​]]
 +  * Incêndios em Portugal:
 +    * dataset incendios.pt em formato datapackage (Ana): [[https://​github.com/​transparenciahackday/​incendios-dataset]]
 +    * vários datasets: [[http://​www.icnf.pt/​portal/​florestas/​dfci/​Resource/​doc/​estat/​]]
 +    * mais: [[http://​www.icnf.pt/​portal/​florestas/​dfci/​Resource/​doc/​estat/​list]]
 +  * Referendos
 +  * Lista de Cursos: [[http://​www.google.pt/​url?​sa=t&​rct=j&​q=&​esrc=s&​source=web&​cd=9&​ved=0CGQQFjAI&​url=http%3A%2F%2Fwww.portugal.gov.pt%2Fdownload.ashx%3Fmedia%3D%2Fmedia%2F574404%2Fcursos_apex.pdf&​ei=7Vc5VJ_IIcbvarGjgcgK&​usg=AFQjCNFhe2kz5Ao8KcxmQhdTwdgt_97XAw&​sig2=P8dPFEFmegd9utSzym0vFA&​bvm=bv.77161500,​d.d2s&​cad=rja]]
 +
 +**Transformar tabelas em PDF para CSV: Tabula **[[http://​tabula.nerdpower.org/​]]
 +
 +O que apanhámos hoje:
 +  * Exemplo: Deputados dos açores (Zé Milho)
 +
 +-----------------------------------------------------------------------------------------------
 +**Instruções para fazer um Data Package:**
 +
 +  * **1. **Criar uma pasta com o nome do dataset.
 +  * O nome da pasta deve ser descritivo do dataset, estar escrito em minúsculas,​
 +  * sem acentos nem cedilhas e com underscores a separar palavras.
 +  * 
 +  * **2. **Criar uma sub-pasta chamada "​data",​ e colocar lá o dataset em formato CSV.
 +    * **2.1.** Transformar ficheiro xls em csv (com virgulas) [[http://​www.filesculptor.com/​convert-excel-xls-csv-file/​]]
 +  * 
 +  * **3.** Gerar um ficheiro //​datapackage.json//,​ com informação sobre o dataset, ​
 +  * com o DataPackage.json Creator: [[http://​data.okfn.org/​tools/​create]]
 +  * 
 +  * **4.** Publicar o dataset no github e adiconar o link aqui:
 +  * [[http://​transparenciahackday.org/​forum/​discussion/​69/​hackday-outubro-datasets-vamos-apanha-los-todos]]
 +  * 
 +  * Tá feito! Podes passar ao próximo :-)
 +-----------------------------------------------------------------------------------------------
 +  * 
 +**Mais notas sobre fazer um data pakage:**
 +
 +  * **Que licença uso para o dataset?**
 +  * Como estamos a falar de publicar dados abertos a licença mais indicada é a
 +  * Open Database License (ODbL) v1.0: [[http://​opendatacommons.org/​licenses/​odbl/​1-0/​]]
 +  * 
 +  * **Faz um README!**
 +  * Este passo é opcional para o data package mas importante porque serve para 
 +  * explicar, num formato de texto (ao contrário do JSON), sobre o que é 
 +  * o dataset, de onde veio e outros pormenor importantes.
 +  * A Central de Dados usa o texto do ficheiro README na página do dataset.
 +  * Por exemplo: [[http://​centraldedados.pt/​datasets/​eleicoes-europeias.html]]
 +  * 
 +  * O README pode ser formatado com markdown:
 +  * [[http://​daringfireball.net/​projects/​markdown]]
 +  * 
 +  * **Posso incluir mais informação além da que é pedida no DataPackage.json Creator?**
 +  * Sim!
 +  * Há um tutorial excelente sobre como podes tornar o ficheiro datapackage.json ​
 +  * mais rico e quais são as informações mais importantes a incluir: [[http://​data.okfn.org/​doc/​data-package]]
 +  * 
 +  * **O tipo de dados faz alguma diferença na criação da datapackage?​**
 +  * Sim. Em termos gerais podemos dividir os datasets em três categorias:
 +  *   - datasets tabulares, aqueles que se apresentam na forma de uma tabela
 +  *   - datasets geoespaciais,​ aqueles que contêm informação geográfica
 +  *  - datasets de outro género, aqueles que contêm dados que qualquer tipo
 +  * 
 +  * **Validar JSON: **[[http://​jsonlint.com]]
 +  * **Validar CSV:** [[http://​csvlint.io/​]]
 +
 +-----------------------------------------------------------------------------------------------
 +
 +HOWTOs pra escrever:
 +  * como editar um datapackage.json
 +  * como usar o google para encontrar datasets
 +
 +Texto de apresentaçao (about+faq) da Central de Dados, em progresso:
 +[[centraldedados]]
 +
 +**Participantes**
 +
 +  * Ana
 +  * Ricardo
 +  * Mariana
 +  * Marta
 +  * Margarida
 +  * Tiago
 +  * Theo
 +  * Javier
 +  * Sara
 +  * João
 +
 +Proximo hackday:
 +
 +  * Discussão sobre licenças
 +  * Intro ao Github e como participar na Central
 +
 +
 +
  
2014-10.txt · Last modified: 2017/03/07 14:54 by rlafuente