Иерархическая семантическая сегментаця датасета Pascal-part

В датасете присутствуют 7 классов, обладающих следующей иерархической структурой:

├── (0) background
└── body
    ├── upper_body
    |   ├── (1) low_hand
    |   ├── (6) up_hand
    |   ├── (2) torso
    |   └── (4) head
    └── lower_body
        ├── (3) low_leg
        └── (5) up_leg

Реализованы, обучены и провалидированы две модели сегментации:

• модель прямой сегментации, пытается предсказать сразу все классы для каждого пикселя
• модель последовательной сегментации, предсказывающая классы последовательно, исходя из иерархичной структуры

Обе модели используют архитектуру типа UNet.

Структура репозитория:

• src/ Общая инфраструктура: data loaders, подсчёт метрик, визуализация сегментации
• Pascal-part/ Частичная информация о датасете
• experiment/ Инфраструктура и пайплайн экспериментов, сохранённые модели, метрики, примеры сегментации

Настройка среды

Создайте виртуальное окружение для данной директории и запустите set_env.sh. Эксперименты используют переменные среды для быстрого доступа к данным, а также для доступа к модулям.

Добавьте директории изображений JPEGImages/ и масок сегментаций gt_masks/ в Pascal-part/.