Generalizando

[maikereis]

Fazer o repositório de ser uso geral:

• Deveria ser baixada a versão limpa do repositório, sem arquivos ou configurações setadas.

• Atualmente um problema de classificação está implementado. Precisa ser capaz de funcionar para outros tipos de problema, como regressões. Assim, as métricas devem ter um comportamento geral, sendo configuráveis via .yaml

• O make_dataset apenas baixa uma base de dados tabular em formato .csv, todo o repo se baseia nisso. Precisa-se garantir que seja funcional com outros formatos de arquivo (.xml, .txt). Também precisa-se ter em mente que nem todo problema é resolvido com dados tabulares, no caso de problemas de NLP precisa de uma implementação específica para transformar um texto e um dataset, isso deveria estar disponível.

• Diferentes formas de validação de dados deveriam ser possíveis. Poderia ser configurável via arquivo qual o tipo de validação será usado no problema.

[Schots]

Excelentes pontos pra guiar a discussão/desenvolvimento. O que vc acha, @devmessias ?

[devmessias]

Concordo com todos os pontos exceto esse

O make_dataset apenas baixa uma base de dados tabular em formato .csv, todo o repo se baseia nisso. Precisa-se garantir que seja funcional com outros formatos de arquivo (.xml, .txt). Também precisa-se ter em mente que nem todo problema é resolvido com dados tabulares, no caso de problemas de NLP precisa de uma implementação específica para transformar um texto e um dataset, isso deveria estar disponível.

Uma generalização desse tipo (inclusive para nlp) seria bem trabalhoso e acabariamos com a mesma complexidade de um biblioteca sem ser uma biblioteca. O que precisa é que o sistema seja plugável. Se alguém quiser um makedataset que precisa baixar textos, usar um crawler , ler e partições (datasts grandes) ele poderia só substituir esse módulo. Mas não vejo ocmo generalizar isso no nosso caso sem adicionar muita complexidade

[maikereis]

Faz sentido!