Dados públicos, trancados
O site oficial de licitações restringe o acesso em larga escala e esconde seus dados atrás de várias camadas de segurança, o que deixa investidores, pesquisadores e analistas no escuro.
Licitações Públicas · Bolívia
O gasto público da Bolívia, à luz do dia.
Abrimos um portal de contratações protegido e transformamos duas décadas de licitações públicas em um conjunto de dados limpo e pronto para análise, para investidores, pesquisadores e jornalistas.
- Cobertura
- 2006–2024
- Licitações
10 M- Camadas de segurança
- 3
- Situação
- Pronto para uso
Resumo executivo
O problema, a solução e o resultado
Scraping, engenharia reversa e IA
Combinamos web scraping avançado, engenharia reversa da API e uma rede neural que lê o CAPTCHA, para obter dados estruturados de forma programática.
Um conjunto de dados pronto para analisar
Dez milhões de licitações históricas, de 2006 a 2024, estruturadas para pesquisas de mercado, projeções e estudos acadêmicos.
Abordagem técnica
Quatro passos, de um portal fechado a um conjunto de dados limpo.
O projeto automatiza a extração dos dados de licitações públicas da Bolívia, superando cada barreira do site oficial com uma técnica diferente.
-
01
Identificação da fonte de dados e de sua segurança
O portal não oferece acesso direto a dados estruturados. Ele é protegido por endpoints de API ocultos, tokens secretos de sessão e verificação CAPTCHA.
-
02
Engenharia reversa da API
O site gera tokens secretos únicos e os insere com JavaScript antes de a página terminar de carregar, o que os esconde dos scrapers comuns. Nosso scraper intercepta os scripts, extrai os tokens e reconstrói as requisições para acessar os dados de forma programática.
-
03
Resolução de CAPTCHA com uma rede neural
Cada solicitação de informações adicionais exige um CAPTCHA. Treinamos uma Rede Neural Convolucional (CNN) para decodificar as imagens e usamos aumento de dados para ampliar o conjunto de treinamento sem rotulagem manual extensa. O modelo alcança alta precisão nessa camada de segurança.
-
04
Coleta de dados e pipeline
Como o modelo de OCR é leve, optamos por multiprocessamento em vez de requisições assíncronas: um processo por núcleo de CPU executa toda a extração em paralelo.
Conjunto de dados
Bolivia Public Tenders
Dados históricos prontos para uso, de 2006 a 2024. Ideais para pesquisadores e empresas: use-os para análises aprofundadas, pesquisas de mercado, projeções ou estudos acadêmicos, e obtenha conhecimento acionável sobre a Bolívia.
Os dados foram coletados e estão prontos para análise, oferecendo um retrato completo das licitações públicas da Bolívia.
Propósito e impacto
A transparência do gasto público importa mais do que nunca em uma crise.
Este projeto nasceu de uma crise financeira nacional. Ao contrário da maioria dos países, as licitações públicas da Bolívia ficam atrás de barreiras de segurança que limitam o acesso de investidores, jornalistas e cidadãos. O próximo passo é uma análise profunda dos dados extraídos, com conclusões sobre o tema.
Mais sobre isto
Quer o conjunto de dados ou uma análise mais profunda?
Para acessar este conjunto de dados ou saber mais sobre o projeto, entre em contato.
