CKAN

De TheNets Wiki
Ir para: navegação, pesquisa

Introdução

Este projeto da Open Knowledge International criado em 2007 é um sistema de gerenciamento de conteúdo de dados abertos que auxilia a desenvolver sites com estes dados. Útil para organizações que coletam muitos dados, esta plataforma vem sendo utilizada por governos como Canadá, Estados Unidos, Austrália e o Brasil.

Ele é open source e possui uma comunidade ativa que desenvolve e mantém sua tecnologia básica e é supervisionado pela CKAN Association, que tem como objetivo apoiar o crescimento da comunidade e partes interessadas. A equipe responsável conta com um grupo de direção, que tem como um dos integrantes o chefe de produtos técnicos da OKI Paul Walsh, uma equipe técnica, equipe de comunicação, a comunidade e o grupo de trabalho de governos.

Tecnologia

Segundo seu próprio site a tecnologia envolvida nesta plataforma é a utilização da linguagem Python como backend e o javascript como frontend, também utiliza o framework web Pylons e para o mapeamento relacional o SQLAlchmy. O Sistema Gerenciador de Banco de Dados é o PostgreSQL e a pesquisa é feita utilizando o SOLR.

Esta plataforma de disponibilização de dados abertos usa seu modelo interno para armazenar metadados sobre os diferentes registros e apresentá-los em uma interface web que permite aos usuários navegar e pesquisar esses metadados. Ele também oferece uma API poderosa que permite que aplicativos e serviços de terceiros sejam construídos em torno dele.

Exemplo de portais que utilizam o CKAN

Australian Government https://data.gov.au/
Government of Canada https://open.canada.ca/
United States Government https://www.data.gov/
European Data Portal https://www.europeandataportal.eu/
Berlin Open Data https://daten.berlin.de/
opendata.swiss https://opendata.swiss/
Portal Brasileiro de Dados Abertos http://dados.gov.br/
HDX - The Humanitarian Data Exchange https://data.humdata.org/
Data61 https://www.data61.csiro.au/
CSIRO https://www.csiro.au/
NSW Government https://data.nsw.gov.au/
Datos Abiertos de México https://datos.gob.mx/

Recursos

Lista de recursos do CKAN:

  • API: Uma poderosa API de estilo RPC (Remote Procedure Call) que expõe todos os recursos principais do CKAN aos clientes da API.
  • DataStore: A extensão CKAN DataStore fornece um banco de dados para armazenamento de dados estruturados a partir de recursos CKAN.
  • Extend: O CKAN permite que você escolha os recursos que deseja usar para o portal de dados. Ou você pode facilmente desenvolver o seu próprio.
  • Federate: Como a funcionalidade de colheita da CKAN pode ser usada para extrair metadados de outros portais de dados, o CKAN pode ser usado para criar uma rede de portais de dados que compartilham dados entre si.
  • FileStore: permite aos usuários fazer o upload de dados e arquivos de imagem
  • Geospatial: O CKAN possui recursos geoespaciais avançados, abrangendo a visualização, busca e descoberta de dados:
    • Visualização: Onde dados estruturados com informações de localização são carregados no DataStore da CKAN, ele pode traçar os dados em um mapa interativo.
    • Busca: Com a extensão espacial habilitada, o CKAN pode entender um local associado a um conjunto de dados e usar isso para oferecer recursos de pesquisa geoespacial através da interface web e da API.
    • Descoberta: O CKAN inclui ferramentas para importar metadados codificados em vários formatos e torná-lo consultivo (“detectável”) de acordo com o padrão INSPIRE. Ele pode importar grandes esquemas de metadados, como ISO19139, GEMINI 2.1 e FGDC, podem manipular registros hospedados de diversas maneiras, incluindo o padrão CSW geoespacial, WAFs, portais ArcGIS, servidores Geoportal e bases de dados Z39.50. O CKAN também pode servir pacotes geoespaciais através da sua própria interface CSW. A arquitetura é extensível, facilitando o suporte a outros padrões e serviços de distribuição.
  • Metadata: Um portal CKAN fornece um conjunto rico de metadados para cada conjunto de dados. São eles:
    • Title: Permite rotulagem intuitiva do conjunto de dados para pesquisa, compartilhamento e vinculação.
    • Unique identifier: dataset tem um URL exclusivo que é personalizável pelo editor
    • Groups: exibição de quais grupos o conjunto de dados pertence, se aplicável. Grupos (como dados científicos) permitem uma ligação, busca e compartilhamento de dados mais fácil entre editores e usuários interessados.
    • Description: informações adicionais que descrevem ou analisam os dados. Isso pode ser estático ou um wiki editável que qualquer um pode contribuir instantaneamente ou via moderação do administrador
    • Data preview: visualize os dados .csv de forma rápida e fácil no navegador para ver se este é o conjunto de dados desejado.
    • Revision history: CKAN permite que você exiba um histórico de revisão para conjuntos de dados que são editáveis livremente pelos usuários.
    • Extra fields: possuem informações adicionais
    • Licence: visualização instantânea de como os dados estão disponíveis sob uma licença aberta ou não. Isso deixa claro para os usuários se eles têm os direitos de usar, alterar e redistribuir os dados
    • Tags: As tags permitem a navegação entre conjuntos de dados marcados de forma semelhante, além de permitir uma melhor descoberta através de pesquisa de tags
    • API key: permite acessar cada campo de metadados do conjunto de dados e capacidade de alterar os dados se você tiver as permissões relevantes via API.
  • Publish and Manage Data: Uma interface web intuitiva que permite as pessoas registrarem, atualizarem e aperfeiçoarem conjuntos de dados em um modelo de autorização distribuído chamado de 'Organizations'. Este modelo permite que cada editor tenha seu próprio processo de entrada e aprovação de um conjunto de dados com vários membros. Isso significa que a responsabilidade pode ser distribuída e o acesso autorizado gerenciado por cada departamento ou administradores de agências, em vez de centralmente.
    • Entering data: Você pode adicionar e editar dados no CKAN de várias maneiras, incluindo diretamente através da interface web, usando a API JSON rica do CKAN ou através de importadores personalizados de planilha.
    • Harvesting: Mecanismo de colheita do CKAN que é sofisticado e customizável, que pode buscar e importar registros de várias fontes de repositório diferentes, como servidores CSW geoespaciais, catálogos web existentes, páginas de índice HTML simples ou pastas acessíveis à Web e outras instâncias do CKAN.
    • Publisher tools: Painel de administração do editor (Organizations): administre membros, conjuntos de dados, aprove conjuntos de dados para serem públicos, administre fontes de colheita de todas as páginas de administração de cada organização.
    • Forms: crie formulários específicos para o portal ou o editor que preenchem determinados campos ou tenham campos adicionais necessários para atender aos requisitos individuais.
    • Workflow: Os conjuntos de dados podem ser públicos ou privados. Se eles são privados, eles são visíveis apenas para os membros registrados de sua própria organização de publicação (por exemplo, Departamento de Estatísticas Nacionais). Os administradores podem aprovar conjuntos de dados para serem publicados com nossa ferramenta de edição em massa que permite pesquisar e escolher conjuntos de dados para se tornar público ou privado.
  • Search and Discovery: O CKAN oferece uma experiência de pesquisa rica que permite uma busca por palavras-chaves rápida, do “estilo do Google”. Os usuários podem ver rapidamente quais conjuntos de dados estão disponíveis, em que formatos e com qual licença, diretamente dos resultados da pesquisa
  • Themable: O CKAN é altamente personalizável. Você pode personalizar a aparência do seu portal CKAN usando esta documentação ou, alternativamente, a equipe CKAN ou um parceiro CKAN pode fazer isso por você como parte de um contrato de suporte, plano CKAN hospedado ou taxa geral de instalação.
  • Visualization: A ferramenta de visualização de dados da CKAN tem uma série de recursos poderosos para visualizar dados armazenados no DataStore.
    • Table view: Se os dados estruturados são carregados ou vinculados ao CKAN como uma tabela .csv ou Excel, o DataStore o carrega em um banco de dados, permitindo que a CKAN ofereça uma variedade de maneiras de visualizar e processar os dados. Inicialmente, ele é exibido como uma tabela. O usuário pode classificar os dados em determinadas colunas, filtrar ou facets por valores ou ocultar colunas inteiramente.
    • Graphing data: Você também pode exibir os dados em um gráfico
    • Mapping data: se a tabela tiver colunas que o CKAN reconheça como latitude e longitude, pode traçar os pontos de dados em um mapa, que pode ser arrastado e ampliado. Selecionar um ponto de dados exibe todos os valores de campo na linha correspondente
    • Image data: Os formatos de imagem comuns serão exibidos, e se um recurso for uma página da Web, ele também será visualizado diretamente no conjunto de dados CKAN.
    • Roll your own: as visualizações incorporadas do CKAN usam a API do DataStore. Se você tem suas próprias ferramentas de pré-visualização de dados ou está planejando construí-las, é fácil conectá-las à API para que você possa criar visualizações instantaneamente, sem a necessidade de os usuários baixarem os dados.

Referências

https://ckan.org/