Datos públicos, bajo llave
El sitio oficial de licitaciones restringe el acceso a gran escala y oculta sus datos tras varias capas de seguridad, lo que deja a inversionistas, investigadores y analistas sin información.
Licitaciones Públicas · Bolivia
El gasto público de Bolivia, a la luz del día.
Abrimos un portal de contrataciones protegido y convertimos dos décadas de licitaciones públicas en un conjunto de datos limpio y listo para analizar, para inversionistas, investigadores y periodistas.
- Cobertura
- 2006–2024
- Licitaciones
10 M- Capas de seguridad
- 3
- Estado
- Listo para usar
Resumen ejecutivo
El problema, la solución y el resultado
Scraping, ingeniería inversa e IA
Combinamos web scraping avanzado, ingeniería inversa de la API y una red neuronal que lee el CAPTCHA, para obtener datos estructurados de forma programática.
Un conjunto de datos listo para analizar
Diez millones de licitaciones históricas, de 2006 a 2024, estructuradas para estudios de mercado, proyecciones e investigación académica.
Enfoque técnico
Cuatro pasos, de un portal cerrado a un conjunto de datos limpio.
El proyecto automatiza la extracción de los datos de licitaciones públicas de Bolivia, y supera cada barrera del sitio oficial con una técnica distinta.
-
01
Identificación de la fuente de datos y su seguridad
El portal no ofrece acceso directo a datos estructurados. Está protegido por puntos de acceso de API ocultos, tokens secretos de sesión y verificación CAPTCHA.
-
02
Ingeniería inversa de la API
El sitio genera tokens secretos únicos y los inserta con JavaScript antes de que la página termine de cargar, lo que los oculta de los scrapers comunes. Nuestro scraper intercepta los scripts, extrae los tokens y reconstruye las solicitudes para acceder a los datos de forma programática.
-
03
Resolución de CAPTCHA con una red neuronal
Cada solicitud de información adicional exige un CAPTCHA. Entrenamos una Red Neuronal Convolucional (CNN) para decodificar las imágenes y usamos aumento de datos para ampliar el conjunto de entrenamiento sin un etiquetado manual extenso. El modelo alcanza una alta precisión en esta capa de seguridad.
-
04
Obtención de datos y flujo de procesamiento
Como el modelo de OCR es liviano, elegimos multiprocesamiento en lugar de solicitudes asíncronas: un proceso por núcleo de CPU ejecuta toda la extracción en paralelo.
Conjunto de datos
Bolivia Public Tenders
Datos históricos listos para usar, de 2006 a 2024. Ideales para investigadores y empresas: utilícelos para análisis en profundidad, estudios de mercado, proyecciones o investigaciones académicas, y obtenga conocimiento accionable sobre Bolivia.
Los datos fueron recopilados y están listos para su análisis, y ofrecen una visión completa de las licitaciones públicas de Bolivia.
Propósito e impacto
La transparencia del gasto público importa más que nunca en una crisis.
Este proyecto nació de una crisis financiera nacional. A diferencia de la mayoría de los países, las licitaciones públicas de Bolivia están tras barreras de seguridad que limitan el acceso de inversionistas, periodistas y ciudadanos. El siguiente paso es un análisis profundo de los datos extraídos, con conclusiones sobre este tema.
Más sobre esto
¿Desea el conjunto de datos o un análisis más profundo?
Para acceder a este conjunto de datos o conocer más sobre el proyecto, contáctenos.
