Установка

Для того чтобы скрипты из этого репозитория запустились на вашем компьютере, вам необходимо выполнить следующие действия:

1. установить необходимые зависимости из requirements.txt в вашем окружении,
2. указать параметры соединения с базой данных в db_conn_params.txt.

Запуск

Скрипты для разных этапов запускаются вручную согласно номеру задания.

Для успешного выполнения также необходимо наличие определенных прав у пользователя, которого вы указали для подключения к базе данных. Предполагается, что он создан и обладает правами на доступ к схемам, таблицам, их создание и на DML-операции с ними.

Некоторые файлы и этапы требуют дополнительной настройки:

• Для файла extraction_and_load.py требуется создание директории files_for_read, из которой будут считываться файлы данных, или конкретизация собственного пути к файлам в соответствующей переменной.
• Для файлов export_f101.py и import_f101.py требуется указание директории и названия файла, для которого будет выполняться выгрузка/извлечение.

Используемые инструменты

Python 3.10.11, PostgreSQL 17

Структура проекта

src/ - директория исходного кода

src/tables.py - определения рабочих таблиц, использующихся на разных этапах

src/extraction_and_load.py - извлечение из csv-файлов и загрузка данных в базу (задание 1.1)

src/fill_dm_tables.py - заполнение витрин оборотов и остатков на основе загруженных данных (задание 1.2)

src/fill_101_form.py - заполнение 101-ой формы (задание 1.3)

src/export_f101.py - выгрузка 101-ой формы в csv-файл, src/import_f101.py - извлечение 101-ой формы из csv-файла в БД (оба файла относятся к заданию 1.4)

src/sql - директория с процедурами на PLpgSQL для этапов

db_conn_params.txt - параметры соединений с базой данных

requirements.txt - зависимости проекта

video_link.txt - файл со ссылкой на видео-рассказы об этапах

Проектное задание 2

project_task_2/ - директория со 2-ым проектным заданием