Cruzamento com dados públicos de CNPJs regulamentados

[ExtraMobs]

É viável a ideia de cruzar os dados existentes com outros dados públicos?

Um exemplo é a base de dados de códigos CNES de estabelecimentos da área da saúde, eu consegui passar o zip com vários CSV para um banco em sqlite (eu tinha feito um código bem ruim pela pressa), o tamanho foi de mais de 2.05 GB, e são dados que podemos cruzar com os cnpjs existentes.

Essa ideia não é só sobre o CNES, mas sobre qualquer dado público relevante sobre o CNPJ em questão, como por exemplo os dados públicos do CRECI e OAB.

Estou disposto a fazer um fork e ajudar com a ideia, mas preciso saber se é uma ideia viável para o projeto.

[Hitmasu]

É uma excelente ideia. Eu sou totalmente a favor de incluirmos o máximo de dados públicos que conseguirmos.

Sobre a viabilidade, a única coisa que torna o processo de atualização dos dados "chata", é que quando modificamos a estrutura do JSON em si, temos que reenviar os 67 milhões de arquivos novamente para o bucket e acaba demorando em média 1 semana inteira...

Mas no geral, eu super apoio a ideia. Caso você queira compartilhar de onde puxar essas bases, consigo ajudar na demanda também.

Eu tenho em mente de fazer um novo update nesse nível (com exceção das atualizações da Receita Federal), a cada 3 meses. Então dá para juntarmos o máximo de base que conseguirmos (e dependendo da quantidade subir até antes).

Obs: O código do ETL não é um dos meus melhores...

[ExtraMobs]

Assim que eu tiver tempo vou avaliar, pretendo começar a fazer isso nesse final de semana (amanhã no caso).

[valterpatrick]

Talvez seja o caso de criar versionamento na api