Skip to content

shard内ソート手法を変更して中間ディスク使用量を削減#78

Merged
nokonoko1203 merged 1 commit intomainfrom
fix/shard-kway-merge
Mar 11, 2026
Merged

shard内ソート手法を変更して中間ディスク使用量を削減#78
nokonoko1203 merged 1 commit intomainfrom
fix/shard-kway-merge

Conversation

@nokonoko1203
Copy link
Copy Markdown
Collaborator

  • kv_extsortによるshard内再ソートを廃止
  • run fileを固定長レコードで逐次読み書きする形式に変更
  • BinaryHeapでshardのrun fileを直接マージしてtile binを生成
  • 読み終わったrun fileをその場で削除するよう変更
  • shard mergeの出力とrun file削除を確認するテストを追加

@nokonoko1203 nokonoko1203 changed the title shard内ソートを自前のk-way mergeに置き換えて中間ディスク使用量を削減 shard内ソート手法を変更して中間ディスク使用量を削減 Mar 11, 2026
@nokonoko1203 nokonoko1203 merged commit 2213614 into main Mar 11, 2026
5 checks passed
@nokonoko1203 nokonoko1203 deleted the fix/shard-kway-merge branch March 11, 2026 13:33
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant