Implementar uma DAG no Airflow para automatizar o download e armazenamento dos arquivos anexos vinculados aos registros do TransfereGov. Atualmente, os IDs dos anexos já estão persistidos no banco de dados, mas o acesso ao conteúdo exige consumo da API (/api/public/anexos/rg/{id}), que retorna o arquivo codificado em string Base64.
Para garantir a escalabilidade e performance do banco de dados relacional, a DAG deve seguir o fluxo de separação entre dados lógicos e físicos:
- Extração: Consultar os IDs com status de download pendente e realizar a requisição GET na API.
- Decodificação: Processar a string Base64 em memória, convertendo-a para o formato binário original.
- Carga Física (Object Storage): Realizar o upload do arquivo binário diretamente para o Datalake MinIO.
Implementar uma DAG no Airflow para automatizar o download e armazenamento dos arquivos anexos vinculados aos registros do TransfereGov. Atualmente, os IDs dos anexos já estão persistidos no banco de dados, mas o acesso ao conteúdo exige consumo da API (
/api/public/anexos/rg/{id}), que retorna o arquivo codificado em string Base64.Para garantir a escalabilidade e performance do banco de dados relacional, a DAG deve seguir o fluxo de separação entre dados lógicos e físicos: