Skip to content

pumpCurry/FramePack-eichi

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

391 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

FramePack-eichi | English | 繁體中文 | Русский

Ask DeepWiki

FramePack-eichiは、lllyasviel師のlllyasviel/FramePackのフォークであるnirvash氏のnirvash/FramePackを元にして作成された機能追加バージョンです。nirvash氏の先駆的な改良に基づき、細かい機能が多数搭載されています。 また、v1.9よりKohya Tech氏許諾のもとkohya-ss/FramePack-LoRAReadyのコードを導入し、LoRA機能の性能と安定性が大幅に向上しています。

📘 名称の由来

Endframe Image CHain Interface (EICHI)

  • Endframe: エンドフレーム機能の強化と最適化
  • Image: キーフレーム画像処理の改善と視覚的フィードバック
  • CHain: 複数のキーフレーム間の連携と関係性の強化
  • Interface: 直感的なユーザー体験とUI/UXの向上

「eichi」は日本語の「叡智」(深い知恵、英知)を連想させる言葉でもあり、AI技術の進化と人間の創造性を組み合わせるという本プロジェクトの哲学を象徴しています。 つまり叡智な差分画像から動画を作成することに特化した現地ワールドワイド改修仕様です。叡智が海を越えた!

https://github.com/hinablue Hina Chen氏より多言語対応の協力をいただき非常に感謝しております。

開発方針と現在の編集について

  • v1.9.5でコード提供をしていたpumpCurryです。
  • 2025-09-25ぐらいに、x_ai_codeさんがX(twitter)のアカウントと、githubのアカウントhttps://github.com/git-ai-code/FramePack-eichi/が見えなくなっていることがわかりました。
  • v1.9.5.3までプルリクエストがマージされたあと(b8f2740a5a3d88fcdbc43368975f4a3938835a41)、その修正版のv1.9.5.4をプルリクエストしようとしたらできなかったため、現時点でオリジナル公認の最新のコードからの修正版として、暫定でコードをお預かりしています。
  • oichi2にすべて合流される前提で、oichi1に実験的追加をしていましたが、oichi2も現在リポジトリが見えない?ため、eichi/eichiF1にもoichi1に加えた変更を反映したいと考えています
  • oichi2のコードを完全な形でダウンロードできていなかったことが分かったため、どなたかコード提供いただけないでしょうか
  • pumpCurryの連絡先は、 X @pcb です
  • 次の開発メモはこちら: /README/memo/development.md

🌟 機能強化 (v1.9.5)

FramePack-eichi v1.9.5.1~1.9.5.4では、実験的にOichiの機能増強を行っています。LoRAキャッシュ再利用の強化や安定性向上、翻訳機能の整備を行いました。

🚀 主な新機能

  • 起動メッセージ改善とスピナーを追加: モジュール読み込み中にスピナーを表示し、完了時にチェックマークで通知
  • 入力画像キューとバッチ管理の拡張: 画像ごとに繰り返し回数を指定でき、生成枚数は「画像数 × バッチ数」で計算(上限100を撤廃)
  • 参照画像キューとバッチ管理の追加: 参照画像にもキュー登録とバッチ指定に対応し、複数参照を順次処理可能に
  • 進行時間表示: 生成中の経過時間と残り時間の目安を表示
  • (oichi)入力画像の保存オプション: クリップボードから取得した画像を含む入力画像を指定フォルダへ自動保存
  • ログ出力設定の管理: コンソールログの保存先を指定し、UIから直接フォルダを開く機能を追加
  • お気に入り設定の管理・保存: UI設定をお気に入りとして保存し再利用可能
  • プロンプトキャッシュとLoRA状態の切替: プロンプト解析結果をディスクに保存し、LoRA状態キャッシュの切替をサポート
  • 高解像度サポート: 2K(2160ピクセル)までの高解像度生成と長辺合わせトリミングモードを追加
  • (oichi)「この生成で打ち切り」ボタン: 現在の画像生成が完了した時点で処理を停止
  • (oichi)「このステップで打ち切り」ボタン: 現在のフレーム生成が完了した時点で処理を停止
  • 画像プレビューと元サイズ表示: 生成画像をフルスクリーン以外のウィンドウや元解像度モーダルで確認可能
  • パス結合を共通関数 safe_path_join() 経由に統一し、不正値によるクラッシュを回避
  • LoRAキャッシュ再利用の強化: FP8/LoRA最適化済みの辞書データをディスクにキャッシュする機能を強化
    • 生成都度破棄せずに連続して最適化済み辞書利用するオプションを追加し、生成中オンメモリで維持できるように
      • GPUメモリが少ない環境では使えない可能性がありますが都度リロードしなくなるので作成速度に大幅に寄与します
  • 動作安定性向上: ジョブコンテキスト初期化とストリーミング保護を改善し、起動時のエラー対策をいくつか強化
  • 生成結果の保持: バグ修正:前回の生成結果を保持
  • 動作ログ増強: 待ち時間の長いLoRAキャッシュ読み込み時に進捗バー表示など増強
  • 翻訳機能増強: 翻訳キーの整合性を改善
    • 他言語のJSONがlocalesに配置された場合でも、内部的にその言語のJSON定義ファイルを許容できるように準備
    • 翻訳確認用テストファイルを準備
  • LoRA読込のメモリ保護と高速化: LoRA設定が変わらない場合は事前アンロードを省略し2回目以降の生成前のロード時間を大幅に削減
    • メモリ不足を検知したらLoRA state cacheを一時停止
    • .pt読み込みをメモリマップ+weights_only化して安全性を高めた
  • LoRA設定の自己修復: 保存済みドロップダウン値を可能ならば自動補正。
    • LoRAのチェックを外した際に誤ってLoRA設定が適用される問題を修正(#100)。
  • 再同期とマルチタブ追随の改善: Startボタンが実行中の重複起動を防護処置を追加。
    • 「状況を再同期」がタブ単位の連打ガード・生成開始指示をしたブラウザタブ判定(owner判定)・進捗がとぎれることがある問題に再度対処
  • 進捗UIレイアウトの修正: 進捗をもう少し詳細にし、進捗バーの%表示部を改善

💡 活用シーン

  • ワークフロー強化: バッチ&キュー強化、途中打ち切り機能により繰り返し生成をサポート。生成中の画像も打ち切り保存を実現。
  • 同一バッチ・キュー時の速度向上: 同一プロンプト・同一LoRA設定時のキャッシュをサポートし、繰り返し時のオーバーヘッドを削減。

🌟 新機能拡張 (v1.9.4) ※正式リリース版

FramePack-eichi v1.9.4では、ユーザビリティの向上と安定性の改善を重視した機能を追加しました。

🚀 主な新機能

  • 設定保存機能: 色付き背景の項目について、次回起動時に設定内容が自動復元
  • アラーム機能: Windowsにて生成完了時にアラーム通知のON/OFF機能
  • テンソル処理機能強化: 新しいテンソル関連モジュールによる処理能力向上
  • ログ管理システム: 標準出力のファイルリダイレクト機能とタイムスタンプ付きログ

💡 活用シーン

  • 効率的なワークフロー: 設定保存機能により毎回の設定作業が不要
  • 長時間作業: アラーム機能で生成完了を音で確認可能
  • デバッグ作業: ログ管理機能により問題の特定と解決が容易

🌟 機能拡張 (v1.9.3)

FramePack-eichi v1.9.3では、ワークフローの効率化と使いやすさの向上を重視した機能を追加しました。

🚀 主な新機能

  • プロンプトキュー: テキストファイルから複数のプロンプトを順次処理
  • 画像キュー: フォルダ内の画像を自動的に順次処理
  • FP8最適化: LoRA未使用時のメモリ使用量を大幅削減(PyTorch 2.1以上が必要)
  • LoRAプリセットマネージャー: 複数のLoRA設定を簡単に保存・切り替え
  • 動画生成時間の拡張: eichi(無印)に30秒、40秒を追加、F1に30秒、40秒、60秒、120秒を追加
  • kisekaeichi機能のoichi統合: furusu氏考案・Kohya氏実装の参照画像技術をoichiに統合
  • ロシア語UIの追加: 4言語対応に拡張(日本語、英語、中国語、ロシア語)

💡 活用シーン

  • 大量処理: プロンプトキューと画像キューで複数の生成をまとめて処理
  • 低スペック環境: FP8最適化により8GB VRAMでも快適に動作
  • 国際化対応: ロシア語UIの追加でより多くのユーザーが利用可能に

🌟 FramePack-oichi追加 (v1.9.2)

FramePack-eichi v1.9.2では、新たに「FramePack-oichi」(通称:お壱)が追加されました。お壱の方は1枚の入力画像から次の1枚の未来フレーム画像を予測生成する専用ツールです。

FramePack-oichi画面

🤔 FramePack-oichiとは?

  • 1フレーム推論: 動画全体ではなく、次の1フレームのみを生成
  • 軽量処理: 通常の動画生成よりも処理が軽く、素早く結果を確認可能
  • 使いやすさ: シンプルなUI設計で、初心者でも直感的に操作可能
  • 多言語対応: 日本語、英語、繁体字中国語に完全対応

💡 使用シーン

  • アイデア検討: 画像が「次にどう動くか」を素早く確認したい時
  • リソース節約: フル動画生成に比べて少ないリソースで処理可能
  • 連続生成: 生成した画像を入力として再度生成し、フレームを積み重ねることも可能
  • kisekaeichi機能: furusu氏考案・Kohya氏実装の参照画像を用いた動画生成技術(v1.9.3で追加)

🚀 起動方法

専用の起動スクリプトが用意されています:

  • 日本語版: run_oneframe_ichi.bat
  • 英語版: run_oneframe_ichi_en.bat
  • 繁体字中国語版: run_oneframe_ichi_zh-tw.bat

🌟 F1モデルの追加 (v1.9.1)

FramePack-eichi v1.9.1では、従来の逆順生成モデル「FramePack-eichi」(無印版)に加えて、順生成に対応した新モデル「FramePack-eichi F1」が追加されました。

FramePack-eichi画面1

🆚 F1モデルと無印モデルの違い

特徴 F1モデル 無印モデル(無印版)
生成方向 順生成(最初から最後へ) 逆生成(最後から最初へ)
動きの特徴 動きが多く、直感的な結果 より精密な制御が可能
UI要素 シンプル化・簡素化 詳細な設定が可能
使いやすさ 初心者向け、直感的 上級者向け、複雑な制御可能
キーフレーム Imageのみ Image、Final、セクション画像
起動方法 run_endframe_ichi_f1.bat run_endframe_ichi.bat

💡 どちらを選ぶべき?

  • 初めて使う方、簡単に使いたい方F1モデルを推奨

    • より動きのある自然な結果が簡単に得られます
    • 設定項目が少なく直感的に操作できます
    • 専用の起動スクリプト(run_endframe_ichi_f1.bat)から利用可能
  • より高度な制御をしたい方、慣れている方無印モデルを推奨

    • 複数のキーフレーム画像を使った細かい制御が可能
    • セクションごとのプロンプト指定など高度な機能を利用可能
    • 従来の起動スクリプト(run_endframe_ichi.bat)から利用可能

注意: F1モデルの初回起動時は無印モデル版に加え、約24GBの追加モデルダウンロードが発生します。無印版のモデルもそのまま保持され、切り替えて利用できます。

多言語・多モード統合ランチャー

Language_FramePack-eichi.batは、すべてのFramePack-eichiバリエーションを一つのインターフェースから起動できる統合ランチャーです。

起動方法

  1. FramePackのルートディレクトリでLanguage_FramePack-eichi.batを実行
  2. メニューから希望する番号を選択してEnterキーを押す

利用可能オプション

番号 説明
1-4 FramePack-Eichi endframe_ichi(日本語、英語、中国語、ロシア語)
10-13 FramePack-Eichi endframe_ichi_f1(日本語、英語、中国語、ロシア語)
20-23 FramePack-Eichi oneframe_ichi(日本語、英語、中国語、ロシア語)
50-53 オリジナルFramePack(日本語、英語、中国語、ロシア語)
60-63 FramePack LoRA(日本語、英語、中国語、ロシア語)

リポジトリリンク

ランチャーからは以下への素早いアクセスも提供されます:

  • 公式FramePackリポジトリ
  • FramePack-eichiリポジトリ

🌟 主な機能

  • 高品質な動画生成: 単一画像から自然な動きの動画を生成 ※既存機能
  • キュー処理機能: プロンプトキューと画像キューによる複数処理の自動化 ※v1.9.3で追加
  • FP8最適化(改善版): LoRA未使用時のメモリ使用量を大幅削減 ※v1.9.3で追加
  • F1モデル対応:順生成に対応した新モデルを搭載、より直感的な動画生成を実現 ※v1.9.1で追加
  • FramePack-oichi: 1枚の画像から次の1枚の未来フレーム画像を生成する新機能 ※v1.9.2で追加
  • kisekaeichi機能のoichi統合: furusu氏考案・Kohya氏実装の参照画像を用いた動画生成技術をoichiに統合 ※v1.9.3で追加
  • フレーム画像保存設定: 生成した全フレーム画像または最終セクションのみの保存オプションを追加 ※v1.9.2で追加
  • 柔軟な動画長設定: 1〜20秒の各セクションモードに対応 ※独自機能
  • セクションフレームサイズ設定: 0.5秒モードと1秒モードを切り替え可能 ※v1.5で追加
  • オールパディング機能: すべてのセクションで同じパディング値を使用 ※v1.4で追加
  • マルチセクション対応: 複数のセクションでキーフレーム画像を指定し複雑なアニメーションを実現 ※nirvash氏追加機能
  • セクションごとのプロンプト設定: 各セクションに個別のプロンプトを指定可能 ※v1.2で追加
  • 赤枠/青枠によるキーフレーム画像効率的コピー: 2つのセクションだけで全セクションをカバー可能に ※v1.7で追加
  • テンソルデータの保存と結合: 動画の潜在表現を保存し、複数の動画を結合可能に ※v1.8で追加
  • プロンプト管理機能: プロンプトの保存、編集、再利用が簡単 ※v1.3で追加
  • PNGメタデータ埋め込み: 生成画像にプロンプト、シード値、セクション情報を自動的に記録 ※v1.9.1で追加
  • Hunyuan/FramePack LoRAサポート: モデルのカスタマイズによる独自の表現を追加 ※v1.9/v1.9.1で大幅改善
  • LoRA機能の強化: 3つのLoRAの同時使用に対応、/webui/loraフォルダからの選択機能 ※v1.9.2で追加
  • セクション情報の一括管理: ZIPファイルによるセクション情報のダウンロード/アップロードと内容変更後の再ダウンロードに対応 ※v1.9.2で追加
  • VAEキャッシュ機能: フレーム単位のデコードによる処理速度向上(オプション) ※v1.9.2で追加、furusu氏の検証FramePack実装に基づく
  • FP8最適化: LoRA適用時のVRAM使用量削減と処理速度の最適化 ※v1.9.1で追加
  • LoRAプリセットマネージャー: 複数のLoRA設定の保存・読み込み機能 ※v1.9.3で追加
  • 動画生成時間の拡張: eichi(無印)に30秒、40秒を追加、F1に30秒、40秒、60秒、120秒を追加 ※v1.9.3で追加
  • MP4圧縮設定: 動画のファイルサイズと品質のバランスを調整可能 ※v1.6.2で本家からマージ
  • 出力フォルダ管理機能: 出力先フォルダの指定とOSに依存しない開き方をサポート ※v1.2で追加
  • 多言語対応(i18n): 日本語、英語、繁体字中国語、ロシア語のUIをサポート ※v1.8.1で追加、v1.9.3でロシア語追加
  • Docker対応: コンテナ化された環境でFramePack-eichiを簡単に実行 ※v1.9.1で追加

FramePack-eichi画面2

セクション設定使用時 FramePack-eichi画面3

📚 関連資料

📝 最新アップデート情報 (v1.9.4) ※正式リリース版

主要な変更点

1. 設定保存機能の実装

  • 自動設定復元: 色付き背景の項目について、次回起動時に設定内容が自動復元
  • 手動保存オプション: 設定変更後に手動で保存可能
  • 自動保存オプション: 生成開始時に設定を自動保存(選択可能)
  • 既存機能との併用: セクション一括アップロード、画像キュー、LoRAプリセットマネージャーと併用可能

2. アラーム機能の追加

  • Windows対応: 生成完了時にシステム音でお知らせ
  • ON/OFF設定: ユーザーの好みに応じてアラーム機能を制御可能
  • 効率向上: 長時間の生成作業時の利便性を向上

3. テンソル処理機能の強化

  • テンソル処理機能強化: 新しいテンソル関連モジュールによる処理能力向上

4. ログ管理システムの導入

  • ログ管理システム: 標準出力のファイルリダイレクト機能とタイムスタンプ付きログ

5. ログ管理システムの導入

  • ファイル出力: 標準出力をファイルにもリダイレクト
  • タイムスタンプ機能: ログエントリにタイムスタンプを自動付与
  • デバッグ支援: 問題の特定と解決を効率化

📝 アップデート情報 (v1.9.3)

主要な変更点

1. プロンプトキューと画像キュー機能

  • プロンプトキュー: テキストファイルから複数のプロンプトを読み込み、順次処理
  • 画像キュー: 指定フォルダ内の画像を自動的に順次処理
  • 自動処理: キューが有効な場合、処理完了後に自動的に次の項目を処理

2. FP8最適化の改善

  • メモリ使用量の削減: LoRA未使用時のメモリ使用量を大幅に削減
  • 処理速度の向上: 最適化により処理速度も向上(PyTorch 2.1以上が必要)
  • デフォルトで有効: 通常の使用ではFP8最適化がデフォルトで有効に

3. LoRAプリセットマネージャー

  • 複数プリセット対応: 5つのプリセットを保存・管理可能
  • 簡単な切り替え: UIから簡単にプリセットを切り替え
  • 設定の保存: LoRAファイル、強度、その他の設定を一括保存

4. UIの整理と多言語対応

  • 論理的なグループ化: 関連機能をグループ化し、操作性を向上
  • 説明の充実: 各機能の説明を追加し、理解しやすく
  • ロシア語UIの追加: 4言語対応に拡張

5. 動画生成時間の拡張

  • eichi(無印): 1秒モード(33フレーム)時に30秒、40秒を追加
  • F1: 30秒、40秒、60秒、120秒の選択肢を追加
  • 柔軟な制作: より多様な動画長に対応、長尺動画の生成が可能に

6. セクション管理の強化

  • インポート/エクスポート機能: セクション設定の保存と読み込みを強化
  • パス正規化: 異なる環境間でのセクション情報の互換性を向上

7. kisekaeichi機能のoichi統合

  • 参照画像による動画生成: furusu氏考案・Kohya氏実装の技術をoichiに統合
  • 詳細な制御機能: ターゲットインデックスと履歴インデックスによる精密な制御
  • マスク機能: 特定の領域のみを変更可能なマスク機能も実装

8. バグ修正と最適化

  • プロンプト処理の不具合修正: プロンプト追加と削除の問題を解消
  • Windowsエラー回避: asyncio関連のWindowsエラーを回避
  • モデルダウンローダー: F1モデルの効率的なダウンロード機能を追加

📝 アップデート情報 (v1.9.2)

主要な変更点

1. 「FramePack-oichi」新機能追加

  • 1フレーム推論: 1枚の入力画像から次の1枚の未来フレーム画像を予測生成する新機能
  • 専用起動スクリプト: run_oneframe_ichi.batなど多言語対応のスクリプトを追加
  • 軽量処理: 通常の動画生成より軽量で素早く結果を確認可能
  • 多言語対応: 日本語、英語、繁体字中国語に完全対応

2. フレーム画像保存機能

  • 全フレーム保存オプション: 生成した全フレーム画像を保存するオプションを追加
  • 選択式保存: 全セクションのフレーム保存か最終セクションのみの保存か選択可能
  • 素材活用: 動画の中間過程の可視化や素材としての活用が容易に

3. セクション情報の一括管理機能

  • ZIPによる一括管理: セクション情報のZIPファイルによる一括ダウンロード機能を追加
  • プロジェクト管理: 複数プロジェクトの効率的な管理・バックアップが可能に
  • 一括アップロード対応: 開始画像、終了画像、セクション情報の一括アップロードおよび変更後の再ダウンロードに対応

4. LoRA機能の強化

  • 複数LoRA対応: 3つのLoRAの同時使用に対応
  • 改善されたLoRA選択: ディレクトリからの選択をデフォルトとし、/webui/loraフォルダからも選択可能
  • 全モードサポート: 無印版、F1版、oneframe版でLoRA機能強化を対応

5. VAEキャッシュ機能

  • 処理速度向上: フレーム単位のVAEデコードによる処理速度の最適化
  • 柔軟な設定: メモリ使用量と処理速度のバランスを調整可能
  • 簡単切替: 設定画面から簡単にオン/オフを切り替え可能(デフォルトはOFF)
  • 高速化効果: フレーム間の独立性を活かした計算キャッシュにより最大30%程度の高速化を実現

📝 アップデート情報 (v1.9.1)

主要な変更点

1. F1モデルの追加

  • 順生成方式の新モデル: 通常の生成方向(最初から最後へ)に対応したモデル「FramePack_F1_I2V_HY_20250503」を導入
  • シンプル化されたインターフェース: F1モデルではセクション(キーフレーム画像)とFinal(endframe)機能を削除
  • 専用起動スクリプト: run_endframe_ichi_f1.batおよび多言語版スクリプトを追加
  • Image影響度の調整機能: F1では初回セクションのImageからの変化を抑える機能を追加(100.0%~102.0%の範囲で設定可能)

2. メモリ管理の最適化

  • モデル管理機能の強化: transformer_manager.pytext_encoder_manager.pyによる効率的なメモリ管理
  • FP8最適化機能: 8ビット浮動小数点形式によるLoRA適用時のVRAM使用量削減
  • RTX 40シリーズGPU向け最適化: scaled_mm最適化によるパフォーマンス向上

3. PNGメタデータ機能

  • メタデータ埋め込み: 生成画像にプロンプト、シード、セクション情報を自動的に保存
  • メタデータ抽出機能: 保存された画像から設定を再取得可能
  • SD系との互換性: 標準的なメタデータ形式による他ツールとの互換性確保

4. クリップボード対応の拡充

  • 無印版と共通化: 無印版のImageおよびFinalとF1版のImageのクリップボード対応

5. 複数セクション情報の一括追加機能

  • zipファイルインポート機能: セクション画像とプロンプトをzipファイルで一括設定可能
  • 自動セクション設定: zipファイル内の番号付き画像とYAML設定ファイルに基づき自動設定
  • 構成サポート: 開始フレーム、終了フレーム、各セクション画像とプロンプトを一括登録

6. Docker対応の強化

  • コンテナ化環境: Dockerfile、docker-compose.ymlを使用した簡単なセットアップ
  • 多言語サポート: 複数言語(日本語、英語、中国語)に対応したコンテナイメージ

📝 アップデート情報 (v1.9)

主要な変更点

1. kohya-ss/FramePack-LoRAReadyの導入

  • LoRA機能の大幅な性能向上: Kohya Tech氏許諾の下、LoRA適用の安定性と一貫性が向上
  • 高VRAMモードと低VRAMモードの統一: どちらのモードでも同じ直接適用方式を採用
  • コード複雑性の軽減: 共通のload_and_apply_lora関数使用による保守性向上
  • DynamicSwapフック方式の廃止: より安定した直接適用方式への完全移行

2. HunyuanVideo形式への統一

  • LoRAフォーマットの標準化: HunyuanVideo形式に統一し、異なるフォーマットの互換性を向上

💻 インストール方法

前提条件

  • Windows 10/11(Linux/Macでも基本機能は多分動作可能)
  • NVIDIA GPU (RTX 30/40/50シリーズ推奨、最低8GB VRAM)
  • CUDA Toolkit 12.6(RTX 50シリーズでは12.8推奨)
  • Python 3.10.x(RTX 50シリーズでは3.11推奨)
  • 最新のNVIDIA GPU ドライバー

📍 RTX 50シリーズ(Blackwell)をお使いの方へ

RTX 50シリーズ(RTX 5070Ti、RTX 5080、RTX 5090など)では特別なセットアップが必要です:

  • CUDA: 12.8以降が必要
  • PyTorch: 2.7.0(CUDA 12.8対応版)
  • SageAttention: 2.1.1(RTX 50シリーズ最適化版)
  • 推奨セットアップ: 詳細なセットアップ手順をご参照ください

※ Linuxでの動作はv1.2で強化され、オープン機能も追加されましたが、一部機能に制限がある場合があります。

手順

公式パッケージのインストール

まず、元のFramePackをインストールする必要があります。

  1. 公式FramePackからWindowsワンインストーラーをダウンロードします。 「Click Here to Download One-Click Package (CUDA 12.6 + Pytorch 2.6)」をクリックします。

  2. ダウンロードしたパッケージを解凍し、update.batを実行してからrun.batで起動します。 update.batの実行は重要です。これを行わないと、潜在的なバグが修正されていない以前のバージョンを使用することになります。

  3. 初回起動時に必要なモデルが自動的にダウンロードされます(約30GB)。 既にダウンロード済みのモデルがある場合は、framepack\webui\hf_downloadフォルダに配置してください。

  4. この時点で動作しますが、高速化ライブラリ(Xformers、Flash Attn、Sage Attn)が未インストールの場合、処理が遅くなります。

    Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
    Xformers is not installed!
    Flash Attn is not installed!
    Sage Attn is not installed!
    

    処理時間の違い: ※RAM:32GB、RXT4060Ti(16GB)の場合

    • ライブラリ未インストール時: 約4分46秒/25ステップ
    • ライブラリインストール時: 約3分17秒〜3分25秒/25ステップ
  5. 高速化ライブラリをインストールするには、Issue #138からpackage_installer.zipをダウンロードし、解凍してルートディレクトリでpackage_installer.batを実行します(コマンドプロンプト内でEnterを押す)。

  6. 再度起動してライブラリがインストールされたことを確認します:

    Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
    Xformers is installed!
    Flash Attn is not installed!
    Sage Attn is installed!
    

    作者が実行した場合、Flash Attnはインストールされませんでした。 注: Flash Attnがインストールされていなくても、処理速度にはほとんど影響がありません。テスト結果によると、Flash Attnの有無による速度差はわずかで、「Flash Attn is not installed!」の状態でも約3分17秒/25ステップと、すべてインストールされている場合(約3分25秒/25ステップ)とほぼ同等の処理速度を維持できます。 Xformersが入っているかどうかが一番影響が大きいと思います。

FramePack-eichiのインストール

  1. 実行ファイルをFramePackのルートディレクトリに配置します:

    • run_endframe_ichi.bat - 無印版/日本語用(デフォルト)
    • run_endframe_ichi_en.bat - 無印版/英語用
    • run_endframe_ichi_zh-tw.bat - 無印版/繁体字中国語用
    • run_endframe_ichi_ru.bat - 無印版/ロシア語用 ※v1.9.3で追加
    • run_endframe_ichi_f1.bat - F1版/日本語用 ※v1.9.1で追加
    • run_endframe_ichi_en_f1.bat - F1版/英語用 ※v1.9.1で追加
    • run_endframe_ichi_zh-tw_f1.bat - F1版/繁体字中国語用 ※v1.9.1で追加
    • run_endframe_ichi_f1_ru.bat - F1版/ロシア語用 ※v1.9.3で追加
    • run_oneframe_ichi.bat - 1フレーム推論/日本語用 ※v1.9.2で追加
    • run_oneframe_ichi_en.bat - 1フレーム推論/英語用 ※v1.9.2で追加
    • run_oneframe_ichi_zh-tw.bat - 1フレーム推論/繁体字中国語用 ※v1.9.2で追加
    • run_oneframe_ichi_ru.bat - 1フレーム推論/ロシア語用 ※v1.9.3で追加
  2. 以下のファイルとフォルダをwebuiフォルダに配置します:

    • endframe_ichi.py - 無印版メインアプリケーションファイル
    • endframe_ichi_f1.py - F1版メインアプリケーションファイル ※v1.9.1で追加
    • oneframe_ichi.py - 1フレーム推論版メインアプリケーションファイル ※v1.9.2で追加
    • eichi_utils フォルダ - ユーティリティモジュール
      • __init__.py
      • frame_calculator.py - フレームサイズ計算モジュール
      • keyframe_handler.py - キーフレーム処理モジュール
      • keyframe_handler_extended.py - キーフレーム処理モジュール
      • preset_manager.py - プリセット管理モジュール
      • settings_manager.py - 設定管理モジュール
      • tensor_combiner.py - テンソル結合モジュール ※v1.8で追加
      • ui_styles.py - UIスタイル定義モジュール ※v1.6.2で追加
      • video_mode_settings.py - 動画モード設定モジュール
      • png_metadata.py - PNGメタデータモジュール ※v1.9.1で追加
      • text_encoder_manager.py - テキストエンコーダー管理モジュール ※v1.9.1で追加
      • transformer_manager.py - トランスフォーマーモデル管理モジュール ※v1.9.1で追加
      • section_manager.py - セクション情報管理モジュール ※v1.9.2で追加
      • vae_cache.py - VAEキャッシュモジュール ※v1.9.2で追加
      • lora_preset_manager.py - LoRAプリセット管理モジュール ※v1.9.3で追加
      • model_downloader.py - モデルダウンロード機能 ※v1.9.3で追加
      • vae_settings.py - VAE設定管理モジュール ※v1.9.3で追加
      • combine_mode.py - テンソル結合モード管理 ※v1.9.4で追加
      • log_manager.py - ログ管理モジュール ※v1.9.4で追加
      • tensor_processing.py - テンソル処理機能 ※v1.9.4で追加
      • tensor_tool.py - テンソルツール(eichi用) ※v1.9.4で追加
      • tensor_tool_f1.py - テンソルツール(F1用) ※v1.9.4で追加
    • lora_utils フォルダ - LoRA関連モジュール
      • __init__.py
      • dynamic_swap_lora.py - LoRA管理モジュール(後方互換性用に維持)
      • lora_loader.py - LoRAローダーモジュール
      • lora_check_helper.py - LoRA適用状況確認モジュール
      • lora_utils.py - LoRA状態辞書マージや変換機能 ※v1.9で追加
      • fp8_optimization_utils.py - FP8最適化機能 ※v1.9.1で追加
    • diffusers_helper フォルダ - モデルのメモリ管理改善用ユーティリティ ※v1.9で追加
      • memory.py - メモリ管理機能を提供
      • bucket_tools.py - 解像度バケット機能 ※v1.9.1で追加
      • 注意: このディレクトリは既存の本家ツールのソースを差し替えるため、必要に応じてバックアップを取ってください
    • locales フォルダ - 多言語対応モジュール ※v1.8.1で追加
      • i18n.py - 国際化(i18n)機能のコア実装
      • i18n_extended.py - 国際化機能の拡張 ※v1.9.1で追加
      • ja.json - 日本語の翻訳ファイル(デフォルト言語)
      • en.json - 英語の翻訳ファイル
      • zh-tw.json - 繁体字中国語の翻訳ファイル
      • ru.json - ロシア語の翻訳ファイル ※v1.9.3で追加
  3. 希望するバージョンと言語の実行ファイルを実行すると、対応するWebUIが起動します:

    • 無印版/日本語:run_endframe_ichi.bat
    • 無印版/英語:run_endframe_ichi_en.bat
    • 無印版/繁体字中国語:run_endframe_ichi_zh-tw.bat
    • 無印版/ロシア語:run_endframe_ichi_ru.bat ※v1.9.3で追加
    • F1版/日本語:run_endframe_ichi_f1.bat ※v1.9.1で追加
    • F1版/英語:run_endframe_ichi_en_f1.bat ※v1.9.1で追加
    • F1版/繁体字中国語:run_endframe_ichi_zh-tw_f1.bat ※v1.9.1で追加
    • F1版/ロシア語:run_endframe_ichi_f1_ru.bat ※v1.9.3で追加
    • 1フレーム推論版/日本語:run_oneframe_ichi.bat ※v1.9.2で追加
    • 1フレーム推論版/英語:run_oneframe_ichi_en.bat ※v1.9.2で追加
    • 1フレーム推論版/繁体字中国語:run_oneframe_ichi_zh-tw.bat ※v1.9.2で追加
    • 1フレーム推論版/ロシア語:run_oneframe_ichi_ru.bat ※v1.9.3で追加

    または、コマンドラインから直接言語を指定して起動することも可能です:

    python endframe_ichi.py --lang en  # 無印版/英語で起動
    python endframe_ichi_f1.py --lang zh-tw  # F1版/繁体字中国語で起動
    python oneframe_ichi.py --lang en  # 1フレーム推論版/英語で起動

Docker インストール

FramePack-eichiはDockerを使用して簡単にセットアップでき、異なるシステム間で一貫した環境を提供します。

Docker インストールの前提条件
  • システムにDockerがインストールされていること
  • システムにDocker Composeがインストールされていること
  • NVIDIA GPU(最低8GB VRAM、RTX 30/40シリーズ推奨)
Dockerセットアップ手順
  1. 言語選択: Dockerコンテナはデフォルトで英語で起動するように設定されています。docker-compose.ymlcommandパラメータを変更することで、これを変更できます:

    # 日本語の場合:
    command: ["--lang", "ja"]
    
    # 繁体字中国語の場合:
    command: ["--lang", "zh-tw"]
    
    # 英語の場合(デフォルト):
    command: ["--lang", "en"]
  2. コンテナのビルドと起動:

    # コンテナをビルド(初回またはDockerfile変更後)
    docker-compose build
    
    # コンテナを起動
    docker-compose up

    バックグラウンドで実行する場合(デタッチモード):

    docker-compose up -d
  3. Web UIへのアクセス: コンテナが実行されると、次のURLでWebインターフェースにアクセスできます:

    http://localhost:7861
    
  4. 初回実行の注意点:

    • 初回実行時、コンテナは必要なモデル(約30GB)をダウンロードします
    • F1版を使用する場合は追加で約24GBのダウンロードが発生します
    • 初期起動時に「h11エラー」が表示される場合があります(トラブルシューティングセクションを参照)
    • すでにモデルをダウンロードしている場合は、./modelsディレクトリに配置してください

Linux向けインストール方法

Linuxでは、以下の手順で実行可能です:

  1. 上記の必要なファイルとフォルダをダウンロードして配置します。
  2. ターミナルで次のコマンドを実行します:
    python endframe_ichi.py  # 無印版
    # または
    python endframe_ichi_f1.py  # F1版

Google Colab向けインストール方法

Mac(mini M4 Pro)向けインストール方法

🚀 使い方

多言語・多モード統合ランチャー

Language_FramePack-eichi.batは、すべてのFramePack-eichiバリエーションを一つのインターフェースから起動できる統合ランチャーです。

起動方法

  1. FramePackのルートディレクトリでLanguage_FramePack-eichi.batを実行
  2. メニューから希望する番号を選択してEnterキーを押す

利用可能なオプション

🎯 FramePack-Eichi_endframe_ichi(無印版)

  • 1 - 日本語
  • 2 - 英語
  • 3 - 繁体字中国語
  • 4 - ロシア語

🚀 FramePack-Eichi_endframe_ichi_f1(F1版)

  • 10 - 日本語
  • 11 - 英語
  • 12 - 繁体字中国語
  • 13 - ロシア語

🎪 FramePack-Eichi_oneframe_ichi(1フレーム推論版)

  • 20 - 日本語
  • 21 - 英語
  • 22 - 繁体字中国語
  • 23 - ロシア語

⚡ オリジナルFramePack

  • 30 - FramePack(オリジナル版)
  • 31 - FramePack-F1(オリジナル版)

🌐 公式リンク

  • 99 - 公式FramePackのGitHubページを開く
  • 00 - FramePack-eichiのGitHubページを開く

使用例

Please select language (number): 1

上記のように番号を入力すると、対応するモードと言語でFramePack-eichiが起動します。

起動時に問題が発生した場合は、トラブルシューティングをご確認ください。

モデル選択

  1. 使用目的に合わせたモデル選択:

    • 初めての方、簡単に使いたい方: F1モデル(run_endframe_ichi_f1.bat)を使用
    • 細かい制御をしたい経験者: 無印モデル(run_endframe_ichi.bat)を使用
  2. モデルの特徴:

    • F1モデル: 順生成方式、よりダイナミックな動き、簡単な操作
    • 無印モデル: 逆生成方式、精密な制御、多機能

基本的な動画生成

  1. 画像をアップロード: 「Image」枠に画像をアップロード
  2. プロンプトを入力: キャラクターの動きを表現するプロンプトを入力
  3. 設定を調整: 動画長やシード値を設定
  4. 生成開始: 「Start Generation」ボタンをクリック

F1モデル特有の設定 (v1.9.1)

  • Image影響度: 初回セクションでの変化度合いを調整(100.0%~102.0%)
  • プロンプト: 動きの表現に重点を置いたプロンプトが効果的
  • 注意: F1モデルではセクション設定とFinal Frameは使用できません

無印モデルの高度な設定

  • 生成モード選択:

    • 通常モード: 一般的な動画生成
    • ループモード: 最終フレームが最初のフレームに戻る循環動画を生成
      • 注意: 現在のループ機能は技術的制約により完全にシームレスなループの作成が困難な場合があります
      • 推奨代替: 高品質なループが必要な場合はFramePackLooPの使用を推奨します
  • オールパディング選択:

    • オールパディング: すべてのセクションで同じパディング値を使用
    • パディング値: 0〜3の整数値
  • 動画長設定:

    • 1~20秒

続きはこちら

🛠️ 設定情報

FP8最適化設定 (v1.9.1)

  • FP8最適化: 8ビット浮動小数点形式によるLoRA適用時のVRAM使用量削減
  • RTX 40シリーズGPU: scaled_mm最適化による高速化
  • 通常は無効: 有効にすると低VRAM環境でもLoRAが使いやすくなります

言語設定

  1. 実行ファイルによる言語選択:

    • run_endframe_ichi.bat - 無印版/日本語(デフォルト)
    • run_endframe_ichi_en.bat - 無印版/英語
    • run_endframe_ichi_zh-tw.bat - 無印版/繁体字中国語
    • run_endframe_ichi_f1.bat - F1版/日本語
    • run_endframe_ichi_en_f1.bat - F1版/英語
    • run_endframe_ichi_zh-tw_f1.bat - F1版/繁体字中国語
  2. コマンドラインによる言語指定:

    python endframe_ichi.py --lang en  # 英語で起動
    python endframe_ichi_f1.py --lang zh-tw  # F1版/繁体字中国語で起動
    

🔧 トラブルシューティング

localhost アクセス不可エラーについて

一部のWindows環境で、起動時に以下のようなエラーが表示される場合があります:

ValueError: When localhost is not accessible, a shareable link must be created

このエラーは、FramePack-eichiで追加されたUIコンポーネントの増加により、Gradioの起動時のlocalhost可用性チェック(3秒のタイムアウト)に応答が間に合わないことが原因で発生します。

解決方法:

方法1: タイムアウト拡張(推奨) Gradioの3秒タイムアウトを拡張する根本的な解決方法です:

[FramePackフォルダ]\system\python\Lib\site-packages\gradio\networking.pyの68行目を編集:

# 変更前
r = httpx.head(url, timeout=3, verify=False)

# 変更後
r = httpx.head(url, timeout=10, verify=False)  # 3 → 10秒に変更

※この方法は根本的な解決になりますが、Gradioライブラリの直接編集が必要です。

方法2: VSCodeでのターミナル起動 VSCodeのターミナルから以下のコマンドで起動する方法もあります:

cd [FramePackのパス]
[FramePackのパス]\run_endframe_ichi.bat

※動作が早いことにより3秒ルールを満たして成功する場合があります。

方法3: 仮想メモリの増加 仮想メモリを増加させることで、応答時間が改善し3秒ルールを満たす場合があります。

方法4: --shareオプションを追加 起動ファイル(例:run_endframe_ichi.bat)を編集し、--shareオプションを追加してください: (このオプションによりlocalhost可用性チェックを回避し、gradio.liveサーバー経由のトンネリング接続を使用します)

# 変更前
"%DIR%\python\python.exe" endframe_ichi.py --server 127.0.0.1 --inbrowser

# 変更後
"%DIR%\python\python.exe" endframe_ichi.py --server 127.0.0.1 --share --inbrowser

※--shareオプションを使用すると以下の特徴があります:

  • メリット: localhost接続の問題を回避し、簡単に共有可能
  • デメリット:
    • インターネット経由でアクセス可能なURLが生成される(URLを知っている人のみアクセス可能、URLを共有しなければ漏洩リスクは低い)
    • 72時間でリンクが期限切れになる
    • インターネット接続の品質に依存してパフォーマンスが変動する可能性
  • 仕組み: gradio.liveサーバーを経由したトンネリング接続(計算はローカルで実行)

注意: 公式のFramePackやF1版では正常に動作するため、この問題はFramePack-eichi特有の現象です。

h11エラーについて

ツールを立ち上げ、初回に画像をインポートする際に以下のようなエラーが多数発生することがあります: ※コンソールにエラーが表示され、GUI上では画像が表示されません。

実際には画像はアップロードされており、サムネイルの表示に失敗しているケースが大半のため、そのまま動画生成いただくことも可能です。

FramePack-eichiエラー画面1

ERROR:    Exception in ASGI application
Traceback (most recent call last):
  File "C:\xxx\xxx\framepack\system\python\lib\site-packages\uvicorn\protocols\http\h11_impl.py", line 404, in run_asgi

このエラーは、HTTPレスポンスの処理中に問題が発生した場合に表示されます。 前述のとおり、Gradioが起動し終わっていない起動初期の段階で頻発します。

解決方法:

  1. 画像を一度「×」ボタンで削除して、再度アップロードしてみてください。
  2. 同じファイルで何度も失敗する場合:
    • Pythonプロセスを完全に停止してからアプリケーションを再起動
    • PCを再起動してからアプリケーションを再起動

エラーが継続する場合は、他の画像ファイルを試すか、画像サイズを縮小してみてください。

メモリ不足エラー

「CUDA out of memory」や「RuntimeError: CUDA error」が表示される場合:

  1. gpu_memory_preservation の値を大きくする(例: 12-16GB)
  2. 他のGPUを使用するアプリケーションを閉じる
  3. 再起動して再試行
  4. 画像解像度を下げる(640x640前後推奨)

メモリ消費量の詳細分析

ソースコード全体の詳細分析に基づく、実際のメモリ消費量は以下の通りです:

基本モデル構成とロード時のメモリ消費

  • transformer (FramePackI2V_HY): 約25-30GB (状態辞書の完全展開時)
  • text_encoder, text_encoder_2, vae 合計: 約8-10GB v1.9.1ではアンロード処理を追加し、RAM使用量を削減しています
  • その他補助モデル (image_encoder等): 約3-5GB
  • 合計ベースラインRAM消費: 約36-45GB

LoRA適用時のメモリ消費パターン

LoRA適用時の処理フロー:

  1. 元の状態辞書: 約25-30GB (transformerのサイズ)
  2. LoRAファイル読み込み: 50MB〜500MB
  3. マージ処理時: 元の状態辞書を複製しつつLoRAと結合するため、一時的に追加で25-30GB必要   ※v1.9.1では処理を見直し、RAM消費を大幅に削減しています
  4. 適用処理ピーク時: 基本消費量 + 状態辞書複製 ≈ 約70-90GB

重要: この大幅なメモリ消費増加は初回のLoRAロード時のみ発生します。別のLoRAファイルを読み込む場合や、LoRAの適用強度、FP8の設定変更時以外は、このような大きなメモリピークは発生しません。通常の動画生成操作では、初回ロード後のメモリ使用量は基本的な消費量(36-45GB程度)に留まります。

推奨システム要件

  • 標準実行時必要RAM: 36-45GB
  • LoRA適用時の一時ピーク: 70-90GB
  • 推奨ページングファイル: RAMを合わせて40GB以上確保が望ましい

例えば:

  • 32GB RAMシステム → ページングファイル 40GB程度
  • 64GB RAMシステム → ページングファイル 20GB程度

F1モデル使用時の追加メモリ要件

F1モデルを使用する場合、無印モデルに加えて以下の追加メモリが必要です:

  • F1モデル初回ダウンロード: 約24GB
  • 両モデル共存時の保存容量: 約54GB

Google Colabなどのスワップなし環境での注意

スワップメモリのない環境での実行は非常に厳しい制約があります:

  • RAM制限 (13-15GB) では基本モデルのロードも困難
  • LoRA適用時に必要な70-90GBの一時メモリピークに対応できない
  • スワップがないため、メモリ不足時は即座にOOMエラーでクラッシュする

動画表示の問題

一部のブラウザ(特にFirefoxなど)やmacOSで生成された動画が表示されない問題があります:

  • 症状: Gradio UI上で動画が表示されない、Windowsでサムネイルが表示されない、一部のプレイヤーで再生できない
  • 原因: \framepack\webui\diffusers_helper\utils.py内のビデオコーデック設定の問題

こちらについては本家のMP4 Compression機能をマージし解消しました

🤝 謝辞

このプロジェクトは以下のプロジェクトの貢献に基づいています:

📄 ライセンス

本プロジェクトはApache License 2.0の下で公開されています。これは元のFramePackプロジェクトのライセンスに準拠しています。

📝 更新履歴

最新の更新情報を以下に示します。更新履歴の全文は更新履歴をご参照ください。

2025-09-25: バージョン1.9.5(1.9.5.1~1.9.5.4)

  • リリース日: 1.9.5.1(2025-08-12)/1.9.5.2(2025-08-22)/1.9.5.3(2025-09-07)/1.9.5.4(2025-09-25)
  • キュー・バッチ拡張: 画像ごとの繰り返し指定、参照画像キューとバッチ処理、高解像度出力、停止ボタンや元サイズプレビューに対応
  • LoRAワークフロー強化: ディスク/メモリキャッシュ再利用、メモリ保護、.ptのメモリマップ読込、自動補正する設定で安定性を向上
  • 運用効率化: 起動スピナー、経過/残り時間表示、お気に入り保存、プロンプトキャッシュ、入力画像の自動保存など日常運用を改善
  • 安定性と可視化の向上: safe_path_join()統一や例外ログ化、生成結果保持、再同期ガード、進捗ログ強化、多言語翻訳の整備

2025-05-22: バージョン1.9.4 ※正式リリース版

  • 設定保存機能: 水色背景の項目について、次回起動時に設定内容が自動復元
  • アラーム機能: Windowsにて生成完了時にアラーム通知のON/OFF機能
  • テンソル処理機能強化: 新しいテンソル関連モジュールによる処理能力向上
  • ログ管理システム: 標準出力のファイルリダイレクト機能とタイムスタンプ付きログ

2025-05-15: バージョン1.9.3

  • プロンプトキューと画像キュー: 複数処理の自動化機能を追加
  • FP8最適化の改善: LoRA未使用時のメモリ使用量と処理速度を大幅に改善
  • LoRAプリセットマネージャー: 複数のLoRA設定を簡単に保存・切り替え可能に
  • UIの整理: 論理的なグループ化と説明の充実で使いやすさを向上
  • ロシア語UIの追加: 4言語対応に拡張(日本語、英語、中国語、ロシア語)
  • 動画生成時間の拡張: eichi(無印)に30秒、40秒を追加、F1に30秒、40秒、60秒、120秒を追加
  • kisekaeichi機能のoichi統合: furusu氏考案・Kohya氏実装の参照画像を用いた動画生成技術をoichiに統合
  • セクション管理の強化: インポート/エクスポート時のパス正規化
  • バグ修正: プロンプト処理とWindows環境でのエラーを修正

2025-05-11: バージョン1.9.2

  • 「FramePack-oichi」新機能追加: 1枚の入力画像から次の1枚の未来フレーム画像を予測生成
  • フレーム画像保存機能: 生成した全フレーム画像を保存するオプションを追加
  • セクション情報の一括管理機能: ZIPファイルによるセクション情報のダウンロード・アップロード対応
  • LoRA機能の強化: 3つのLoRAの同時使用に対応、/webui/loraフォルダからの選択機能
  • VAEキャッシュ機能: フレーム単位でのVAEデコードによる処理速度向上(オプション機能)※furusu氏の検証に基づく実装 詳細1 詳細2

2025-05-04: バージョン1.9.1

  • F1モデルの追加: 順生成に対応した新モデル「FramePack_F1_I2V_HY_20250503」を導入
  • メモリ管理機能の強化: transformer_manager.pyとtext_encoder_manager.pyによる効率的なモデル管理
  • Docker対応の強化: コンテナ化環境での簡単なセットアップをサポート
  • PNGメタデータ機能: 生成画像へのプロンプト、シード、セクション情報の自動埋め込み
  • 最適解像度バケットシステム: アスペクト比に応じた最適な解像度を自動選択
  • クリップボード対応の拡充: 無印版のImageおよびFinalとF1版のImageのクリップボード対応

FramePack-eichi - Endframe Image CHain Interface
より直感的で、より柔軟な動画生成を目指して

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • Python 99.1%
  • Other 0.9%