Docs update for PR #7 on Promptless/transformers-test

docs/source/en/quantization/gptq.md

@@ -18,7 +18,7 @@ rendered properly in your Markdown viewer.
 
 <Tip>
 
-Try GPTQ quantization with PEFT in this [notebook](https://colab.research.google.com/drive/1_TIrmuKOFhuRRiTWN94iLKUFu6ZX4ceb?usp=sharing) and learn more about it's details in this [blog post](https://huggingface.co/blog/gptq-integration)!
+Try GPTQ quantization with PEFT in this [notebook](https://colab.research.google.com/drive/1_TIrmuKOFhuRRiTWN94iLKUFu6ZX4ceb?usp=sharing) and learn more about its details in this [blog post](https://huggingface.co/blog/gptq-integration)!
 
 </Tip>
 
@@ -31,6 +31,12 @@ pip install auto-gptq
 pip install --upgrade accelerate optimum transformers
 ```
 
+<Tip>
+
+**Important:** The minimum required Python version for using `auto-gptq` is now 3.9. Ensure your environment meets this requirement to avoid compatibility issues.
+
+</Tip>
+
 To quantize a model (currently only supported for text models), you need to create a [`GPTQConfig`] class and set the number of bits to quantize to, a dataset to calibrate the weights for quantization, and a tokenizer to prepare the dataset.
 
 ```py
@@ -75,6 +81,21 @@ tokenizer.push_to_hub("opt-125m-gptq")
 
 You could also save your quantized model locally with the [`~PreTrainedModel.save_pretrained`] method. If the model was quantized with the `device_map` parameter, make sure to move the entire model to a GPU or CPU before saving it. For example, to save the model on a CPU:
 
+```py
+quantized_model.save_pretrained("opt-125m-gptq")
+tokenizer.save_pretrained("opt-125m-gptq")
+```
+</Tip>
+
+Once your model is quantized, you can push the model and tokenizer to the Hub where it can be easily shared and accessed. Use the [`~PreTrainedModel.push_to_hub`] method to save the [`GPTQConfig`]:
+
+```py
+quantized_model.push_to_hub("opt-125m-gptq")
+tokenizer.push_to_hub("opt-125m-gptq")
+```
+
+You could also save your quantized model locally with the [`~PreTrainedModel.save_pretrained`] method. If the model was quantized with the `device_map` parameter, make sure to move the entire model to a GPU or CPU before saving it. For example, to save the model on a CPU:
+
 ```py
 quantized_model.save_pretrained("opt-125m-gptq")
 tokenizer.save_pretrained("opt-125m-gptq")
@@ -91,7 +112,6 @@ from transformers import AutoModelForCausalLM
 
 model = AutoModelForCausalLM.from_pretrained("{your_username}/opt-125m-gptq", device_map="auto")
 ```
-
 ## ExLlama
 
 [ExLlama](https://github.com/turboderp/exllama) is a Python/C++/CUDA implementation of the [Llama](model_doc/llama) model that is designed for faster inference with 4-bit GPTQ weights (check out these [benchmarks](https://github.com/huggingface/optimum/tree/main/tests/benchmark#gptq-benchmark)). The ExLlama kernel is activated by default when you create a [`GPTQConfig`] object. To boost inference speed even further, use the [ExLlamaV2](https://github.com/turboderp/exllamav2) kernels by configuring the `exllama_config` parameter:

docs/source/ja/main_classes/quantization.md

@@ -18,17 +18,21 @@ rendered properly in your Markdown viewer.
 
 ## `AutoGPTQ` Integration
 
-
 🤗 Transformers には、言語モデルで GPTQ 量子化を実行するための `optimum` API が統合されています。パフォーマンスを大幅に低下させることなく、推論速度を高速化することなく、モデルを 8、4、3、さらには 2 ビットでロードおよび量子化できます。これは、ほとんどの GPU ハードウェアでサポートされています。
 
 量子化モデルの詳細については、以下を確認してください。
 - [GPTQ](https://arxiv.org/pdf/2210.17323.pdf) 論文
 - GPTQ 量子化に関する `optimum` [ガイド](https://huggingface.co/docs/optimum/llm_quantization/usage_guides/quantization)
 - バックエンドとして使用される [`AutoGPTQ`](https://github.com/PanQiWei/AutoGPTQ) ライブラリ
 
+### 必要条件
+
+- Python 3.9 以上が必要です。
 ### Requirements
 
-以下のコードを実行するには、以下の要件がインストールされている必要があります： 
+以下のコードを実行するには、以下の要件がインストールされている必要があります：
+
+- Python 3.9 以上が必要です。
 
 - 最新の `AutoGPTQ` ライブラリをインストールする。
 `pip install auto-gptq` をインストールする。
@@ -43,18 +47,18 @@ rendered properly in your Markdown viewer.
 `pip install --upgrade accelerate` を実行する。
 
 GPTQ統合は今のところテキストモデルのみをサポートしているので、視覚、音声、マルチモーダルモデルでは予期せぬ挙動に遭遇するかもしれないことに注意してください。
-
 ### Load and quantize a model
 
 GPTQ は、量子化モデルを使用する前に重みのキャリブレーションを必要とする量子化方法です。トランスフォーマー モデルを最初から量子化する場合は、量子化モデルを作成するまでに時間がかかることがあります (`facebook/opt-350m`モデルの Google colab では約 5 分)。
 
-したがって、GPTQ 量子化モデルを使用するシナリオは 2 つあります。最初の使用例は、ハブで利用可能な他のユーザーによってすでに量子化されたモデルをロードすることです。2 番目の使用例は、モデルを最初から量子化し、保存するかハブにプッシュして、他のユーザーが使用できるようにすることです。それも使ってください。
+**重要:** Python 3.9 以上が必要です。
 
+したがって、GPTQ 量子化モデルを使用するシナリオは 2 つあります。最初の使用例は、ハブで利用可能な他のユーザーによってすでに量子化されたモデルをロードすることです。2 番目の使用例は、モデルを最初から量子化し、保存するかハブにプッシュして、他のユーザーが使用できるようにすることです。それも使ってください。
 #### GPTQ Configuration
 
 モデルをロードして量子化するには、[`GPTQConfig`] を作成する必要があります。データセットを準備するには、`bits`の数、量子化を調整するための`dataset`、およびモデルの`Tokenizer`を渡す必要があります。
 
-```python 
+```python
 model_id = "facebook/opt-125m"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 gptq_config = GPTQConfig(bits=4, dataset = "c4", tokenizer=tokenizer)
@@ -67,6 +71,7 @@ dataset = ["auto-gptq is an easy-to-use model quantization library with user-fri
 quantization = GPTQConfig(bits=4, dataset = dataset, tokenizer=tokenizer)
 ```
 
+**注意:** Python 3.9 以上が必要です。
 #### Quantization
 
 `from_pretrained` を使用し、`quantization_config` を設定することでモデルを量子化できます。
@@ -91,6 +96,11 @@ model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", quanti
 GPTQ 量子化は、現時点ではテキスト モデルでのみ機能します。さらに、量子化プロセスはハードウェアによっては長時間かかる場合があります (NVIDIA A100 を使用した場合、175B モデル = 4 gpu 時間)。モデルの GPTQ 量子化バージョンが存在しない場合は、ハブで確認してください。そうでない場合は、github で要求を送信できます。
 </Tip>
 
+<Tip>
+
+**重要:** `autoawq` を使用するための最低限の Python バージョンは 3.9 です。互換性の問題を避けるために、環境がこの要件を満たしていることを確認してください。
+
+</Tip>
 ### Push quantized model to 🤗 Hub
 
 他の 🤗 モデルと同様に、`push_to_hub` を使用して量子化モデルをハブにプッシュできます。量子化構成は保存され、モデルに沿ってプッシュされます。
@@ -160,17 +170,17 @@ GPTQ を使用してモデルを量子化する方法と、peft を使用して
 
 ## `bitsandbytes` Integration
 
-🤗 Transformers は、`bitsandbytes` で最もよく使用されるモジュールと緊密に統合されています。数行のコードでモデルを 8 ビット精度でロードできます。
-これは、`bitsandbytes`の `0.37.0`リリース以降、ほとんどの GPU ハードウェアでサポートされています。
+🤗 Transformers は、`bitsandbytes` で最もよく使用されるモジュールと緊密に統合されています。数行のコードでモデルを 8 ビット精度でロードできます。これは、`bitsandbytes`の `0.37.0`リリース以降、ほとんどの GPU ハードウェアでサポートされています。
 
 量子化方法の詳細については、[LLM.int8()](https://arxiv.org/abs/2208.07339) 論文、または [ブログ投稿](https://huggingface.co/blog/hf-bitsandbytes-) をご覧ください。統合）コラボレーションについて。
 
 `0.39.0`リリース以降、FP4 データ型を活用し、4 ビット量子化を使用して`device_map`をサポートする任意のモデルをロードできます。
 
 独自の pytorch モデルを量子化したい場合は、🤗 Accelerate ライブラリの [ドキュメント](https://huggingface.co/docs/accelerate/main/en/usage_guides/quantization) をチェックしてください。
 
-`bitsandbytes`統合を使用してできることは次のとおりです
+`bitsandbytes`統合を使用してできることは次のとおりです：
 
+- Python 3.9 以上が必要です。
 ### General usage
 
 モデルが 🤗 Accelerate による読み込みをサポートし、`torch.nn.Linear` レイヤーが含まれている限り、 [`~PreTrainedModel.from_pretrained`] メソッドを呼び出すときに `load_in_8bit` または `load_in_4bit` 引数を使用してモデルを量子化できます。これはどのようなモダリティでも同様に機能するはずです。
@@ -193,20 +203,21 @@ model_4bit = AutoModelForCausalLM.from_pretrained("facebook/opt-350m", load_in_4
 torch.float32
 ```
 
-### FP4 quantization 
+### FP4 quantization
 
 #### Requirements
 
 以下のコード スニペットを実行する前に、以下の要件がインストールされていることを確認してください。
 
+- Python 3.9 以上が必要です。
 - 最新の`bitsandbytes`ライブラリ
-`pip install bitsandbytes>=0.39.0`
+  `pip install bitsandbytes>=0.39.0`
 
 - 最新の`accelerate`をインストールする
-`pip install --upgrade accelerate`
+  `pip install --upgrade accelerate`
 
 - 最新の `transformers` をインストールする
-`pip install --upgrade transformers`
+  `pip install --upgrade transformers`
 
 #### Tips and best practices
 
@@ -218,7 +229,6 @@ torch.float32
 
 - **推論:** 推論の場合、`bnb_4bit_quant_type` はパフォーマンスに大きな影響を与えません。ただし、モデルの重みとの一貫性を保つために、必ず同じ `bnb_4bit_compute_dtype` および `torch_dtype` 引数を使用してください。
 
-
 #### Load a large model in 4bit
 
 `.from_pretrained` メソッドを呼び出すときに `load_in_4bit=True` を使用すると、メモリ使用量を (おおよそ) 4 で割ることができます。
@@ -238,7 +248,6 @@ model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", load_i
 モデルが 4 ビットでロードされると、現時点では量子化された重みをハブにプッシュすることはできないことに注意してください。 4 ビットの重みはまだサポートされていないため、トレーニングできないことにも注意してください。ただし、4 ビット モデルを使用して追加のパラメーターをトレーニングすることもできます。これについては次のセクションで説明します。
 
 </Tip>
-
 ### Load a large model in 8bit
 
 `.from_pretrained` メソッドを呼び出すときに `load_in_8bit=True` 引数を使用すると、メモリ要件をおよそ半分にしてモデルをロードできます。
@@ -292,8 +301,8 @@ NF4 データ型を使用することもできます。これは、正規分布
 from transformers import BitsAndBytesConfig
 
 nf4_config = BitsAndBytesConfig(
-    load_in_4bit=True,
-    bnb_4bit_quant_type="nf4",
+load_in_4bit=True,
+bnb_4bit_quant_type="nf4",
 )
 
 model_nf4 = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=nf4_config)
@@ -307,8 +316,8 @@ model_nf4 = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=n
 from transformers import BitsAndBytesConfig
 
 double_quant_config = BitsAndBytesConfig(
-    load_in_4bit=True,
-    bnb_4bit_use_double_quant=True,
+load_in_4bit=True,
+bnb_4bit_use_double_quant=True,
 )
 
 model_double_quant = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=double_quant_config)
@@ -368,20 +377,20 @@ quantization_config = BitsAndBytesConfig(llm_int8_enable_fp32_cpu_offload=True)
 
 ```python
 device_map = {
-    "transformer.word_embeddings": 0,
-    "transformer.word_embeddings_layernorm": 0,
-    "lm_head": "cpu",
-    "transformer.h": 0,
-    "transformer.ln_f": 0,
+"transformer.word_embeddings": 0,
+"transformer.word_embeddings_layernorm": 0,
+"lm_head": "cpu",
+"transformer.h": 0,
+"transformer.ln_f": 0,
 }
 ```
 
 そして、次のようにモデルをロードします。
 ```python
 model_8bit = AutoModelForCausalLM.from_pretrained(
-    "bigscience/bloom-1b7",
-    device_map=device_map,
-    quantization_config=quantization_config,
+"bigscience/bloom-1b7",
+device_map=device_map,
+quantization_config=quantization_config,
 )
 ```
 
@@ -399,13 +408,13 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
 model_id = "bigscience/bloom-1b7"
 
 quantization_config = BitsAndBytesConfig(
-    llm_int8_threshold=10,
+llm_int8_threshold=10,
 )
 
 model_8bit = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    device_map=device_map,
-    quantization_config=quantization_config,
+model_id,
+device_map=device_map,
+quantization_config=quantization_config,
 )
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 ```
@@ -420,13 +429,13 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
 model_id = "bigscience/bloom-1b7"
 
 quantization_config = BitsAndBytesConfig(
-    llm_int8_skip_modules=["lm_head"],
+llm_int8_skip_modules=["lm_head"],
 )
 
 model_8bit = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    device_map=device_map,
-    quantization_config=quantization_config,
+model_id,
+device_map=device_map,
+quantization_config=quantization_config,
 )
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 ```
@@ -442,6 +451,6 @@ Hugging Face エコシステムのアダプターの公式サポートにより
 
 [[autodoc]] BitsAndBytesConfig
 
-## Quantization with 🤗 `optimum` 
+## Quantization with 🤗 `optimum`
 
 `optimum`でサポートされている量子化方法の詳細については、[Optimum ドキュメント](https://huggingface.co/docs/optimum/index) を参照し、これらが自分のユースケースに適用できるかどうかを確認してください。

docs/source/ko/quantization/gptq.md

@@ -14,6 +14,7 @@ rendered properly in your Markdown viewer.
 
 -->
 
+```md
 # GPTQ [[gptq]]
 
 <Tip>
@@ -31,6 +32,8 @@ pip install auto-gptq
 pip install --upgrade accelerate optimum transformers
 ```
 
+- **Python 3.9 이상이 필요합니다.**
+
 모델을 양자화하려면(현재 텍스트 모델만 지원됨) [`GPTQConfig`] 클래스를 생성하고 양자화할 비트 수, 양자화를 위한 가중치 교정 데이터셋, 그리고 데이터셋을 준비하기 위한 토크나이저를 설정해야 합니다.
 
 ```py
@@ -56,6 +59,16 @@ quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="aut
 
 데이터셋이 너무 커서 메모리가 부족한 경우를 대비한 디스크 오프로드는 현재 지원하지 않고 있습니다. 이럴 때는 `max_memory` 매개변수를 사용하여 디바이스(GPU 및 CPU)에서 사용할 메모리 양을 할당해 보세요:
 
+```py
+quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", max_memory={0: "30GiB", 1: "46GiB", "cpu": "30GiB"}, quantization_config=gptq_config)
+```
+```
+```py
+quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", quantization_config=gptq_config)
+```
+
+데이터셋이 너무 커서 메모리가 부족한 경우를 대비한 디스크 오프로드는 현재 지원하지 않고 있습니다. 이럴 때는 `max_memory` 매개변수를 사용하여 디바이스(GPU 및 CPU)에서 사용할 메모리 양을 할당해 보세요:
+
 ```py
 quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", max_memory={0: "30GiB", 1: "46GiB", "cpu": "30GiB"}, quantization_config=gptq_config)
 ```
@@ -91,7 +104,6 @@ from transformers import AutoModelForCausalLM
 
 model = AutoModelForCausalLM.from_pretrained("{your_username}/opt-125m-gptq", device_map="auto")
 ```
-
 ## ExLlama [[exllama]]
 
 [ExLlama](https://github.com/turboderp/exllama)은 [Llama](model_doc/llama) 모델의 Python/C++/CUDA 구현체로, 4비트 GPTQ 가중치를 사용하여 더 빠른 추론을 위해 설계되었습니다(이 [벤치마크](https://github.com/huggingface/optimum/tree/main/tests/benchmark#gptq-benchmark)를 참고하세요). ['GPTQConfig'] 객체를 생성할 때 ExLlama 커널이 기본적으로 활성화됩니다. 추론 속도를 더욱 높이기 위해, `exllama_config` 매개변수를 구성하여 [ExLlamaV2](https://github.com/turboderp/exllamav2) 커널을 사용할 수 있습니다: