Data loader for books dataset

[zabor2432]

There is need for pytorch lightning DataLoader that can load book pages from provided dataset in this format:
// TODO: folder structure - ask for it on discord
Here is good starting point we need something similar.

[odiakun]

Piotr & Piotrek

[zabor2432]

Trzeba podpatrzeć jeszcze strukturę folderów do książek i tego całego datasetu, który dostaniemy
na pewno struktura jest inna dla danych testowych i dla danych treningowych/walidacyjnych.
tutaj https://pytorch.org/vision/stable/_modules/torchvision/datasets/folder.html#ImageFolder można podpatrzeć jak pytorch zrobił ImageFolder na podstawie DatasetFolder, potrzebujemy czegoś podobnego z rozróżnieniem:

• dataset training/valid a test
• klasy zdjęcia (było ich kilka, np. blurred)

[zabor2432]

See fdc05a3 for a proposition how to start this

[PiotrWrbl]

Poniżej przesyłam link do tymczasowego datasetu. W folderze TT_DB są foldery odpowiadające klasom zdjęć. Przy pomocy 01_prepare2.py można utworzyć strukturę plików train/val/test. Przykładowy folder o takiej strukturze to 'data'.

W pliku 01_prepare2.py należy jedynie dopasować ścieżkę w której dostępny będzie folder TT_DB.

https://drive.google.com/file/d/11NiynLYf7UZlNJMzJLDgTJbWUcZY_Qwm/view?usp=share_link