Skip to content

AndrewSalygin/vkmongo2pg

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

VK Mongo to Postgres Converter

Сервис для конвертации постов ВКонтакте из MongoDB в PostgreSQL.

Описание

Этот проект работает в паре с проектом VK Wall Parser, который подключается к API ВКонтакте и сохраняет посты в MongoDB.

vkmongo2pg читает эти данные из MongoDB, отбирает только необходимые поля, конвертирует их и сохраняет в базу PostgreSQL.

Используется:

  • Java 21 + Spring Framework (без Spring Boot)
  • Spring Data MongoDB (MongoTemplate) для чтения данных из MongoDB
  • JdbcTemplate для сохранения в PostgreSQL
  • Docker Compose для локального запуска MongoDB и PostgreSQL
  • .env файл для хранения конфиденциальных данных

Подготовка и запуск

  1. Убедитесь, что проект VK Wall Parser скачал данные в MongoDB.
  2. Создайте .env файл с секретами по примеру .env.example, указав параметры для MongoDB и PostgreSQL.
  3. Запустите базы данных через Docker Compose:
    docker compose up -d
  4. Скомпилируйте проект:
    mvn clean compile
  5. Запустите сервис миграции:
    mvn exec:java

About

Проект подключается к локальной базе MongoDB, получает посты, сохранённые проектом vkwallparser, отбирает необходимые поля, конвертирует их и сохраняет в базу данных PostgreSQL.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages