Skip to content

[feat] Persist extraction result in job results#5

Merged
1000hyehyang merged 3 commits intodevfrom
feat/4-persist-extraction-result
Apr 29, 2026
Merged

[feat] Persist extraction result in job results#5
1000hyehyang merged 3 commits intodevfrom
feat/4-persist-extraction-result

Conversation

@KyungminPark-steck
Copy link
Copy Markdown
Contributor

@KyungminPark-steck KyungminPark-steck commented Apr 29, 2026

✨ 무엇을 바꿨나요?

worker extraction 단계에서 생성한 extraction_resultjob_results 저장/조회 흐름에 연결

🔗 관련 이슈

Closes #4

📝 주요 변경 사항

  • job_results.extraction_result JSONB 컬럼 추가 migration SQL 추가
  • JobRepository.upsert_job_result()에서 extraction_result 저장
  • JobRepository.get_job_result()에서 extraction_result 조회 및 JobResultRecord 매핑
  • repository 저장/조회 테스트 추가
  • /jobs/{jobId}/result 응답에 extraction_result가 포함되는지 endpoint 테스트 추가

⚠️ 확인 필요

  • 로컬 DATABASE_URLlocalhost:5432 PostgreSQL을 바라보고 있으나, 현재 로컬 PostgreSQL/Docker 환경이 준비되어 있지 않아 DB/Redis worker end-to-end 확인은 진행하지 못했습니다.
  • 로컬 DB 초기화 schema 또는 PostgreSQL docker-compose 설정 확인 후 실제 worker 흐름 검증을 이어갈 예정입니다.

🧪 테스트

  • .\\.venv\\Scripts\\python.exe -m pytest
  • 결과: 42 passed

추가로 실제 caption 9개에 대해 HF extraction smoke script를 실행해 로컬 artifact를 생성했습니다.

  • script: scripts/run_hf_extraction_samples.py
  • local artifact: artifacts/hf_extraction_samples.json
  • result: 9 samples, 9 success, 0 errors
  • tests: .\\.venv\\Scripts\\python.exe -m pytest43 passed

정량 평가는 아니지만, 수동 검토 결과 일부 샘플에서 가게명 추출 오류가 있어 prompt/model 개선 후보로 확인했습니다.

Copy link
Copy Markdown
Member

@1000hyehyang 1000hyehyang left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@KyungminPark-steck 좋습니다~ 고생 많으셨습니다!! 경민님 혹시 카카오 로컬 API로 장소 리스트 확정까지 processing-server에서 진행해주실 수 있으신가요??

Worker
  -> crawl
  -> HF extraction_result
  -> Kakao Local 검색
  -> 후보 리스트/최종 후보 저장
  -> Spring Boot가 최종 결과 조회

즉, 메인 애플리케이션 서버는 최종 결과만 조회 가능하도록 역할을 분담하는 겁니다!

@KyungminPark-steck
Copy link
Copy Markdown
Contributor Author

KyungminPark-steck commented Apr 29, 2026

넵넵. 한 번 해보겠습니다. 그런데 후보 리스트/최종 후보 저장이란 건 검색한 결과에서 (검색이 잘 되었다고 할 때) 장소명?만 가져오는 걸까요, 아니면 저희가 논의했던 category_group_code 포함해서 정보들을 가져오는 것일까요?

@1000hyehyang
Copy link
Copy Markdown
Member

@KyungminPark-steck 넵 category_group(존재한다면) + category_name(이 친구는 매 요청마다 존재하는 것으로 확인) 이 두 개도 포함해서 불러와주시면 애플리케이션 서버에서 최종 조회 시 저희가 지정한 최종 카테고리로 매핑을 해주면 될 것 같아요!

@1000hyehyang 1000hyehyang merged commit 03074e7 into dev Apr 29, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[feat] Persist extraction result in job results

2 participants