Skip to content

Conversation

@jinseok3639
Copy link
Collaborator

Changes

  • Summary of changes
  • write_snapshot의 최종 저장 형태를 parquet으로 변경 및 parquet 저장 전 zstd로 압축하여 저장
  • export_to_datalake 함수 추가. 특정 버전의 스냅샷을 불러서 목표 경로에 parquet 포맷으로 저장
  • numpy, pandas, polar와 write_snapshot의 속도를 비교하는 benckmark_parquet_speed.py 추가
  • 이미 저장된 스냅샷 버전에 태그를 달아주는 tag_version 함수 추가
  • 경로에 저장되어 있는 스냅샷의 목록을 보여주는 list_snapshots 함수 추가
  • 이전 버전의 스냅샷을 가져와서 그대로 최신 버전으로 추가하는 revert 함수 추가
  • 스냅샷 관련 함수가 멀티 프로세싱 시 동시성 문제가 발생하는 문제가 있어 파일 락 추가
  • tag_version, revert, list_snapshots, delete_version 함수를 CLI에서 사용할 수 있도록 src/atio/cli.py 파일 생성
  • pyproject.toml에 CLI를 위한 엔트리 포인트 추가
  • tag_version, revert, list_snapshots를 테스트 하는 test_snapshot_subfuction.py 추가

Related Issue

  • Closes #issue-number

Checklist

  • [v] All tests pass (pytest)
  • [v] Code style (black, isort) followed
  • [v] Documentation updated

@seojaeohcode seojaeohcode merged commit d9c620b into main Oct 11, 2025
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants