Skip to content

LoRAキャッシュをONにしたとき、複数のLoRAを切り替えるとkilledされることがある #222

@pumpCurry

Description

@pumpCurry

原因)

  • キャッシュを吐き出す際に採用した.pt形式がファイルサイズが「デカい」ため、OSがメモリ不足を検知した瞬間問答無用でkillをしてしまいます
  • メインメモリが概ねメモリが「32GB~40GB以下」の時、キャッシュが16GB/24GBに程度なっていた場合、別のキャッシュ(.pt)を読もうとすると次のキャッシュを読み切るまでメモリが解放できない都合で2枠分のメモリを要求することになり、メモリ使い過ぎでKillされてしまいます

解決法)

  • .ptファイルでキャッシュを吐くと時短にはなるのですが複数キャッシュの行き来がしづらくなります
  • そのため、可能なら .safetensors形式にして、分割して必要なところだけを読む機能を付け加えると解決できそうです

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions