This implements DDIM sampling from the paper Denoising Diffusion Implicit Models
+이 페이지는 Denoising Diffusion Implicit Models 논문의 DDIM 샘플링을 구현합니다.
This extends the DiffusionSampler
- base class.
DDPM samples images by repeatedly removing noise by sampling step by step using,
+이는 DiffusionSampler
+ 기본 클래스를 확장합니다.
DDIM은 단계별 샘플링을 반복하여 노이즈를 제거하여 이미지를 샘플링합니다.
where is random noise, is a subsequence of of length , and +στiϵτi
위 식의 은 랜덤 노이즈, 은 길이 의 로 이루어진 부분수열입니다.
-Note that, in DDIM paper refers to from DDPM.
+주의해야할 점은, DDIM 논문의 는 DDPM의 입니다 .
model
- is the model to predict noise n_steps
- is the number of DDIM sampling steps, ddim_discretize
- specifies how to extract from . It can be either uniform
- or quad
-. uniform
+ 이거나 quad
+일 수 있습니다.
ddim_eta
- is used to calculate . makes the sampling process deterministic.Calculate to be uniformly distributed across
+가 균일하게 분포되도록 를 계산합니다.
Calculate to be quadratically distributed across
+가 이차(quadratically)적으로 분포되도록 를 계산합니다.
shape
- is the shape of the generated images in the form [batch_size, channels, height, width]
- shape는
+[batch_size, channels, height, width]
+형식의 생성된 이미지의 모양입니다. cond
- is the conditional embeddings temperature
- is the noise temperature (random noise gets multiplied by this) x_last
- is . If not provided random noise will be used. uncond_scale
- is the unconditional guidance scale . This is used for uncond_cond
- is the conditional embedding for empty prompt skip_steps
- is the number of time steps to skip . We start sampling from . And x_last
- is then .x_last
+ 은 입니다.x
- is of shape [batch_size, channels, height, width]
- [batch_size, channels, height, width]
+ 의 크기로 이루어져 있습니다 .
c
- is the conditional embeddings of shape [batch_size, emb_size]
- [batch_size, emb_size]
+ 의 크기로 이루어져 있습니다.
t
- is of shape [batch_size]
- [batch_size]
+ 의 크기를 갖습니다.
step
- is the step as an integer index
- is index in the list repeat_noise
- specified whether the noise should be same for all samples in the batch temperature
- is the noise temperature (random noise gets multiplied by this) uncond_scale
- is the unconditional guidance scale . This is used for uncond_cond
- is the conditional embedding for empty prompt 를 가져옵니다
을 계산하고 를 예측합니다.
x0
- is of shape [batch_size, channels, height, width]
+ 은 [batch_size, channels, height, width] 크기를 가진 입니다.
index
- is the time step index noise
- is the noise, Replace the masked area with original image
+원본 이미지의 마스크된 부분을 바꿉니다.
Get the for original image in latent space
+latent 스페이스에 있는 원본이미지를 위해 을 가져옵니다.
This is an implementation of Improved Training of Wasserstein GANs.
-WGAN suggests clipping weights to enforce Lipschitz constraint on the discriminator network (critic). This and other weight constraints like L2 norm clipping, weight normalization, L1, L2 weight decay have problems:
-1. Limiting the capacity of the discriminator 2. Exploding and vanishing gradients (without Batch Normalization).
-The paper Improved Training of Wasserstein GANs proposal a better way to improve Lipschitz constraint, a gradient penalty.
+This is an implementation of Wasserstein GANs의 향상된 훈련 방법 논문에 대한 구현입니다.
+WGAN 는 판별기 네트워크(critic)에서 립시츠 제약을 적용하기 위해 가중치를 클리핑할것을 제안합니다. 이와 L2 정규 클리핑, 가중치 정규화, L1, L2 가중치 감소와 같은 다른 가중치 제약은 문제가 있습니다 :
+1. 판별기의 용량 제한 2. 그래디언트의 폭발 및 소멸 (배치 정규화없이).
+Wasserstein GANs의 향상된 훈련 방법 논문은 기울기 패널티인 립시츠 제약을 개선하는 더 나은 방법을 제안합니다.
- View code on Github + 깃헙에서 코드보기
This is an implementation of Wasserstein GAN.
+Wasserstein GAN논문의 구현입니다.
- View code on Github + 깃헙에서 코드보기
Embed the tokens (src
-) and run it through the the transformer
토큰 (src
+)을 내장하고 트랜스포머를 통해 실행합니다.
Generate logits of the next token
+다음 토큰의 로짓(logit)을 생성합니다.
The default configs can and will be over-ridden when we start the experiment
+기본 설정은 실험을 시작할 때 재정의될 수 있고 또한 재정의될 것입니다.
A dictionary of configurations to override
+재설정하기 위한 설정값이 담긴 딕셔너리 입니다.
- View code on Github + 깃헙에서 코드 보기
We have implemented HyperLSTM introduced in paper HyperNetworks, with annotations using PyTorch. This blog post by David Ha gives a good explanation of HyperNetworks.
We have an experiment that trains a HyperLSTM to predict text on Shakespeare dataset. Here's the link to code: experiment.py
HyperNetworks use a smaller network to generate weights of a larger network. There are two variants: static hyper-networks and dynamic hyper-networks. Static HyperNetworks have smaller networks that generate weights (kernels) of a convolutional network. Dynamic HyperNetworks generate parameters of a recurrent neural network for each step. This is an implementation of the latter.
-In a RNN the parameters stay constant for each step. Dynamic HyperNetworks generate different parameters for each step. HyperLSTM has the structure of a LSTM but the parameters of each step are changed by a smaller LSTM network.
-In the basic form, a Dynamic HyperNetwork has a smaller recurrent network that generates a feature vector corresponding to each parameter tensor of the larger recurrent network. Let's say the larger network has some parameter the smaller network generates a feature vector and we dynamically compute as a linear transformation of . For instance where is a 3-d tensor parameter and is a tensor-vector multiplication. is usually a linear transformation of the output of the smaller recurrent network.
-Large recurrent networks have large dynamically computed parameters. These are calculated using linear transformation of feature vector . And this transformation requires an even larger weight tensor. That is, when has shape , will be .
-To overcome this, we compute the weight parameters of the recurrent network by dynamically scaling each row of a matrix of same size.
-where is a parameter matrix.
-We can further optimize this when we compute , as where stands for element-wise multiplication.
+RNN에서 매개변수는 각 단계에 대해 일정하게 유지됩니다. 동적 하이퍼네트워크는 각 단계마다 다른 파라미터를 생성합니다. 하이퍼LSTM은 LSTM의 구조를 갖지만 각 단계의 파라미터는 더 작은 LSTM 네트워크에 의해 변경됩니다.
+기본 형태에서 동적 하이퍼네트워크는 더 큰 반복 네트워크의 각 파라미터 텐서에 대응하는 특징 벡터를 생성하는 더 작은 반복 네트워크를 가지고 있습니다. 더 큰 네트워크가 어떤 매개변수 를 가지고 있다고 가정합니다.더 작은 네트워크는 특징 벡터 을 생성하고 동적으로 을 의 선형 변환으로 계산합니다. 예를 들면 여기에서 는 3차원 텐서 매개변수이고, 는 텐서-벡터 곱셈 기호입니다. 은 일반적으로 더 작은 순환 신경망의 출력을 선형으로 변환합니다.
+대규모 순환 신경망은 동적으로 계산된 파라미터가 큽니다. 이들은 특징 벡터 의 선형 변환을 사용하여 계산합니다. 그리고 이 변환은 훨씬 더 큰 가중치 텐서를 필요로합니다. 즉 다시 말하면, 이 , 의 크기라면, 이것은 이 됩니다.
+이를 극복하기 위해 동일한 크기의 행렬의 각 행을 동적으로 스케일링하여 순환 신경망의 가중치 매개변수를 계산합니다.
+여기에서 은 크기의 매개변수 행렬입니다.
+위 식은 을 아래의 식으로 계산하면 최적화할 수 있습니다. 위 식의 는 element-wise 곱셈입니다.
For HyperLSTM the smaller network and the larger network both have the LSTM structure. This is defined in Appendix A.2.2 in the paper.
+하이퍼LSTM의 경우 작은 네트워크와 큰 네트워크 모두 LSTM 구조를 갖습니다. 이는 논문의 부록 A.2.2에 정의되어 있습니다.
input_size
- is the size of the input , hidden_size
- is the size of the LSTM, and hyper_size
- is the size of the smaller LSTM that alters the weights of the larger outer LSTM. n_z
- is the size of the feature vectors used to alter the LSTM weights.
We use the output of the smaller LSTM to compute , and using linear transformations. We calculate , , and from these, using linear transformations again. These are then used to scale the rows of weight and bias tensors of the main LSTM.
-📝 Since the computation of and are two sequential linear transformations these can be combined into a single linear transformation. However we've implemented this separately so that it matches with the description in the paper.
+ 은 입력값의 크기 를,hidden_size
+ 은 LSTM의 크기를, 그리고 hyper_size
+ 는 더 큰 외부 LSTM의 가중치를 변경하는 더 작은 LSTM의 크기입니다. n_z
+ 은 LSTM 가중치를 변경하는 데 사용되는 특징 벡터의 크기입니다.
+더 작은 LSTM의 결과값을 선형 변환을 이용하여 , 그리고 을 계산하기 위해서 사용합니다. , , 그리고 을 계산합니다. 이것들 중에서, 다시 선형 변환을 사용합니다. 그리고 나서 이것들은 메인 LSTM의 가중치 및 바이어스 텐서의 행을 확장하는 데 사용됩니다.
+📝 와 의 계산은 두개의 순차 선형 변환이므로 이들은 단일 선형 변환으로 결합 될 수 있습니다. 하지만 논문의 설명과 일치하도록 이를 각각 별도로 구현했습니다. a.
The input to the hyperLSTM is where is the input and is the output of the outer LSTM at previous step. So the input size is hidden_size + input_size
-.
The output of hyperLSTM is and .
+하이퍼LSTM의 입력값은 아래와 같습니다. 여기에서 은 입력값이고 은 이전 단계의 외부 LSTM의 결과값입니다. 따라서 입력값의 크기는 hidden_size + input_size
+입니다.
하이퍼LSTM의 출력은 와 입니다.
🤔 In the paper it was specified as I feel that it's a typo.
+🤔 논문에서는 아래와 같이 서술되었습니다. 이건 타이핑 오류로 보여집니다.
Create a network of n_layers
- of HyperLSTM.
n_layers
+ 로 된 하이퍼LSTM 네트워크를 생성합니다.
Create cells for each layer. Note that only the first layer gets the input directly. Rest of the layers get the input from the layer below
+각 레이어를 위한 셀(cell)들을 생성합니다. 오직 첫번째 레이어만이 입력값 그대로를 입력으로 받는 것을 주목하세요. 다음 레이어들은 그 전의 레이어에서 입력값을 가져옵니다.
[n_steps, batch_size, input_size]
and
state
- is a tuple of . have shape [batch_size, hidden_size]
- and have shape [batch_size, hyper_size]
-.[batch_size, hidden_size]의 크기를 갖습니다. 그리고 는 [batch_size, hyper_size] 의 크기를 갖습니다.
Initialize the state with zeros if None
+
만약 None 값이면, 상태를 0으로 초기화합니다.
Reverse stack the tensors to get the states of each layer
-📝 You can just work with the tensor itself but this is easier to debug
+각 레이어의 상태를 얻기 위해 텐서를 반대로 쌓습니다.
+📝 텐서 그 자체로도 작동될 수 있지만, 이 방법이 디버깅하기 더 쉽습니다.
Collect the outputs of the final layer at each step
+각 스텝의 마지막 레이어의 결과를 리스트에 추가합니다.
Input to the first layer is the input itself
+첫번째 레이어의 입력값은 입력값 그 자체입니다.
Input to the next layer is the state of this layer
+지금 레이어의 상태가 다음 레이어의 입력값입니다.
Collect the output of the final layer
+마지막 레이어의 결과 을 모읍니다.
- View code on Github + 깃헙에서 코드보기
- View code on Github + 깃헙에서 코드 보기
This shows how to fine tune GPT-NeoX with pipeline parallelism.
+파이프라인 병렬화로 GPT-NeoX 파인 튜닝하는 법에 대해 서술합니다.
Mark biases as trainable
+바이어스를 학습가능한 상태로 설정합니다.
Make sure the finetuner is initialized
+파인 튜너가 초기화 되었는지 확인합니다.
Get the layer distribution across GPUs
+GPU들에 대한 레이어 분포를 계산합니다.
Create Fairscale Pipe module
+Fairscale 파이프 모듈을 생성합니다
Initialize the model. Do this before the loop for cleaner logs.
+모델을 초기화합니다. 더 깨끗한 로그관리를 위해 루프를 돌기 전에 이 코드를 실행합니다.
- View code on Github + 깃헙에서 코드 보기
This shows how to generate text from GPT-NeoX with a single GPU.
-This needs a GPU with more than 45GB memory.
+GPT-NeoX를 한 개의 GPU를 사용해서 글을 생성하는 방법에 대한 글입니다.
+45GB 이상의 메모리를 가진 GPU가 필요합니다.
List of layers to load. This is used for testing. You can assign a subset of layers like {0, 1}
- so that it only loads the first to transformer layers.
불러오기 위한 레이어 목록입니다. 이는 테스트를 위해 사용됩니다. You can assign a subset of layers like {0, 1}
+ 따라서 트렌스포머 레이어의 첫번째 만 불러옵니다. so that it only loads the first to transformer layers.
model
- is the model ids
- are the input token ids device
- is the device of the modelSetup cache to cache intermediate key/value pairs for faster generation
+더 빠른 생성을 위해 중간단계의 키/값 pair를 cahce 하는 캐시를 설정합니다.
Set the state to use cached activations
+캐시된 활성화 함수를 사용하기 위해 상태를 설정합니다.
Get next token. Note that we only feed the last token to the model because we cache the key/value pairs of previous tokens.
+다음 토큰을 구합니다. 마지막 토큰만 모델에게 주는 것을 잊지 마세요. 그 이유는 그 전의 키/값 페어를 임시로 복사(cache 캐시)하기 때문입니다.
- View code on Github + 깃헙에서 코드보기
This shows how to generate text from GPT-NeoX using LLM.int8() quantization.
-This needs a GPU with 24GB memory.
+LLM.int8() 양자화를 사용하여 GPT-NeoX에서 글을 생성하는 방법을 보여줍니다.
+24GB 메모리가 있는 GPU가 필요합니다.
Setup cache to cache intermediate key/value pairs for faster generation
+캐시 를 설정하여 중간 단계의 키/값 쌍을 캐시하여 보다 빠른 생성을 가능하게 합니다.
Load layers in float16 into CPU. We convert the layers to int8 later, because doing that on the fly after loading layers to GPU causes CUDA memory fragmentation (about 3GB memory can get lost due to fragmentation).
+float 16의 레이어를 CPU에 불러오기 합니다. 추후에 레이어를 int8로 변환합니다. 이렇게 하는 이유는 GPU에 레이어를 불러온 후 즉시 이를 수행하면 CUDA 메모리 조각화(약 3GB 메모리가 조각화로 인해 손실될 수 있음)가 발생하기 때문입니다.
This reduces CUDA memory fragmentation
+이를 통해 CUDA 메모리 조각화를 줄일 수 있습니다.
Clear cache and print memory summary for debugging
+디버깅을 위해 캐시를 삭제하고 메모리 요약을 출력합니다.
Run the model. We use the infer
- function defined in generate.py
-
모델을 실행합니다. generate.py
+ 에 정의된 infer
+ 함수를 사용합니다.
Set the state to use cached activations
+캐시된 활성화 함수를 사용하기 위해 상태를 설정합니다.
Get next token. Note that we only feed the last token to the model because we cache the key/value pairs of previous tokens.
+다음 토큰을 가져옵니다. 이전 토큰의 키/값 쌍을 캐시하기 때문에 모델에 마지막 토큰만 제공합니다.
- View code on Github + 깃헙에서 코드보기
During inference the model outputs token by token. We use this simple cache to store key's and value's attention layers, so that we don't have to recompute them for previous tokens.
+추론하는 동안 모델은 토큰별로 토큰을 출력합니다. 이 간단한 캐시를 사용하여 키 및 값의 어텐션 레이어를 저장하므로 이전 토큰에 대해 다시 계산할 필요가 없습니다.
This maintains a key-value cache and queues push values and pop them in the same order. The queues are useful since we have multiple attention layers.
+이는 키-값 캐시를 유지하고 추가(push) 값이 대기열에 추가되고 동일한 순서로 삭제(pop)됩니다. 이는 여러 어텐션 레이어가 있기 때문에 유용합니다.
name
- is the name of the queue value
- is the value to be pushedCreate an empty queue if it's not present
+큐(queue)가 없으면 빈 큐를 생성합니다.
name
- is the name of the queue Returns size of the queue if exists else None
이름이 존재하면 큐의 크기를 이름이 존재하지 않으면 None을 반환합니다.
name
- is the name of the queue Returns the value
값을 반환합니다
key
- is the name of the value to be cached value
- is the valuekey
- is the name used when caching default
- is the default value if the cache is empty Returns the cached value
캐시된 값을 반환합니다
key
- is the name used when cachingReturns the cache instance
캐시 인스턴스를 반환합니다
이것은 배치 정규화에 대한 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 논문의 파이토치 구현체입니다.
-본 논문은 내부 공변량 변화 를 학습 도중 네트워크 매개변수들의 변화로 인한 네트워크 활성화함수들의 분포 변화라고 정의합니다. 예를 들어, 과 두 가지 레이어가 있다고 생각해봅시다. 학습 초기에는 의 출력 (의 입력)의 분포가 정규분포 를 따를 수 있습니다. 그리고, 몇 차례의 학습 스텝 이후에는 분포가 정규분포 를 따르는 방향으로 움직일 수 있습니다. 이것을 내부 공변량 변화라고 부릅니다.
-내부 공변량 변화는 이후 레이어 (위의 예시상으로는 )가 이동된 분포에 맞춰가야 하기 때문에 학습 속도에 안 좋은 영향을 미칠 것입니다.
-분포를 안정화시킴에 따라, 배치 정규화는 내부 공변량 변화를 최소화하게 됩니다.
-whitening은 학습 속도와 수렴을 빠르게 도와준다고 알려져 있습니다. Whitening은 입력의 평균을 0, 그리고 공분산을 단위행렬로 갖는 정규분포 형태로 선형 변환하는 것을 말한다.
-사전에 계산된 평균과 분산을 활용하여 그래디언트 연산 밖에서 정규화하는 것은 효과가 없다. 예를 들어, (분산을 무시한다고 가정하고), 이고 는 학습된 편향이며 는 사전에 계산된 상수인 그래디언트 연산 밖의 값일때 라고 가정하자.
-는 에 관하여 아무런 영향이 없다는 점을 명심해야 한다. 그러므로, 는 에 기반하여 매 학습 업데이트 주기마다 무기한적으로 증가하거나 감소할 것이다. 본 논문은 동일한 폭발적 증감 현상이 분산에 관해서도 발생하는 점을 명시하였다.
-Whitening은 상관관계를 줄여야 하는 과정이고 그래드인터 값이 whitening 연산 전체에 흘러 들어가야 하기 때문에 연산적으로 비용이 많이 든다.
-본 논문은 배치 정규화라고 부르는 간소화된 버전을 소개한다. 첫번째로 간소화된 점은 각각의 특징을 평균이 0이고 분산이 1이 되도록 독립적으로 정규화를 한다는 점이다: 는 차원 입력이다.
-두 번째로 간소화된 점은 정규화를 하기 위해 전체 데이터셋으로부터 평균과 분산 값을 계산하는 대신에 미니배치로부터 평균 과 분산 의 측정값을 사용한다는 점이다.
-각각의 특징이 평균이 0이고 분산이 1이 되도록 정규화를 하는 것은 레이어가 표현하고자 하는 것에 영향을 줄 수 있다. 예시 논문이 묘사하듯이, 만약에 시그모이드 함수의 입력이 정규화된 경우 대부분의 값은 시그모이드 함수가 선형인 범위에 있을 것이다. 이것을 극복하기 위해 각가의 특징은 두 개의 학습 매개변수 와 에 의하여 확대되고 이동되어진다. 는 배치 정규화 레이어의 출력이다.
-와 같은 선형 변환 이후에 배치 정규화를 적용하는 경우 편향 매개변수 는 정규화에 의해 값의 의미가 사라진다. 따라서 배치 정규화 바로 직전의 선형 변환에서 편향 매개변수를 제외해야 한다.
-또한 배치 정규화는 역전파 값을 가중치의 크기 정도에 변함없도록 만들어주고 경험적으로 일반화 효과도 가지고 있음을 알 수 있다.
-우리는 정규화를 수행하기 위해 과 를 알아야 한다. 따라서 추론 시에는 평균과 분산 값을 찾기 위해 데이터셋의 전체 혹은 일부분을 살펴보거나 학습 도중 계산된 측정값을 사용할 수도 있다. 주로 사용되는 방법은 추론 시에 학습 단계에서 지수 이동 평균으로 계산된 평균과 분산 값을 사용하는 것이다.
-여기에 MNIST 데이터셋에 대하여 CNN 분류기를 학습하는데 배치 정규화를 사용한 학습 코드 와 노트북이 있다.
+배치 정규화에 대한 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 논문의 파이토치 구현입니다.
+본 논문은 내부 공변량 변화 를 학습 도중 네트워크 매개변수들의 변화로 인한 네트워크 활성화함수들의 분포 변화라고 정의합니다. 예를 들어, 과 두 가지 레이어가 있다고 생각해봅시다. 학습 초기에는 의 출력 (의 입력)의 분포가 정규분포 를 따를 수 있습니다. 그리고, 몇 차례의 학습 스텝 이후에는 분포가 정규분포 를 따르는 방향으로 움직일 수 있습니다. 이것을 내부 공변량 변화라고 부릅니다.
+내부 공변량 변화는 이후 레이어 (위의 예시상으로는 )가 이동된 분포에 맞춰가야 하기 때문에 학습 속도에 안 좋은 영향을 미칠 것입니다.
+분포를 안정화시킴에 따라, 배치 정규화는 내부 공변량 변화를 최소화하게 됩니다.
+Whitening은 학습 속도와 수렴을 빠르게 도와준다고 알려져 있습니다. Whitening은 입력의 평균을 0, 그리고 공분산을 단위행렬로 갖는 정규분포 형태로 선형 변환하는 것입니다.
+사전에 계산된 평균과 분산을 활용하여 그래디언트 연산 밖에서 정규화하는 것은 효과가 없습니다. 예를 들어, (분산을 무시한다고 가정하고), 이고 는 학습된 편향이며 는 사전에 계산된 상수인 그래디언트 연산 밖의 값일때 라고 가정합니다.
+는 에 관하여 아무런 영향이 없다는 점을 명심해야 한다. 그러므로, 는 에 기반하여 매 학습 업데이트 주기마다 무기한적으로 증가하거나 감소합니다. 본 논문은 동일한 폭발적 증감 현상이 분산에 관해서도 발생하는 점을 명시했습니다.
+Whitening은 상관관계를 줄여야 하는 과정이고 그래드인터 값이 whitening 연산 전체에 흘러 들어가야 하기 때문에 연산적으로 비용이 많이 듭니다.
+본 논문은 배치 정규화라고 부르는 간소화된 버전을 소개합니다. 첫번째로 간소화된 점은 각각의 특징을 평균이 0이고 분산이 1이 되도록 독립적으로 정규화를 한다는 점입니다: 여기서 은 -차원의 입력값입니다.
+두 번째로 간소화된 점은 정규화를 하기 위해 전체 데이터셋으로부터 평균과 분산 값을 계산하는 대신에 미니배치로부터 평균 과 분산 의 측정된 값을 사용한다는 점입니다.
+각각의 특징이 평균이 0이고 분산이 1이 되도록 정규화를 하는 것은 레이어가 표현하고자 하는 것에 영향을 줄 수 있습니다. 예시 논문이 묘사하듯이, 만약에 시그모이드 함수의 입력이 정규화된 경우 대부분의 값은 시그모이드 함수가 선형인 범위에 있을 것입니다. 이를 극복하기 위해 각가의 특징은 두 개의 학습 매개변수 와 에 의하여 확대되고 이동합니다. 는 배치 정규화 레이어의 출력입니다.
+와 같은 선형 변환 이후에 배치 정규화를 적용하는 경우 편향 매개변수 는 정규화에 의해 값의 의미가 사라집니다. 따라서 배치 정규화 바로 직전의 선형 변환에서 편향 매개변수를 제외해야 합니다.
+배치 정규화는 또한 역전파를 가중치의 크기에 변함없도록 만들고 경험적으로 일반화를 향상시키므로 정규화 효과도 있습니다.
+정규화를 수행하기 위해 과 를 알아야 합니다. 따라서 추론 할때는 평균과 분산 값을 찾기 위해 데이터셋의 전체 혹은 일부분을 살펴보거나 학습 도중 계산된 측정값을 사용할 수도 있습니다. 주로 사용되는 방법은 학습 단계에서 지수 이동 평균으로 계산된 평균과 분산 값을 추론에 사용하는 것입니다.
+여기에 MNIST 데이터셋에 대하여 배치 정규화를 사용하는 CNN 분류기를 학습하기 위한 학습 코드 와 노트가 있습니다.
- View code on Github + 깃헙에서 코드보기
@@ -71,20 +71,20 @@ -This is a PyTorch implementation of Batch Normalization from paper Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.
-The paper defines Internal Covariate Shift as the change in the distribution of network activations due to the change in network parameters during training. For example, let's say there are two layers and . During the beginning of the training outputs (inputs to ) could be in distribution . Then, after some training steps, it could move to . This is internal covariate shift.
-Internal covariate shift will adversely affect training speed because the later layers ( in the above example) have to adapt to this shifted distribution.
-By stabilizing the distribution, batch normalization minimizes the internal covariate shift.
-It is known that whitening improves training speed and convergence. Whitening is linearly transforming inputs to have zero mean, unit variance, and be uncorrelated.
-Normalizing outside the gradient computation using pre-computed (detached) means and variances doesn't work. For instance. (ignoring variance), let where and is a trained bias and is an outside gradient computation (pre-computed constant).
-Note that has no effect on . Therefore, will increase or decrease based , and keep on growing indefinitely in each training update. The paper notes that similar explosions happen with variances.
-Whitening is computationally expensive because you need to de-correlate and the gradients must flow through the full whitening calculation.
-The paper introduces a simplified version which they call Batch Normalization. First simplification is that it normalizes each feature independently to have zero mean and unit variance: 여기서 은 -차원의 입력값입니다.
+두 번째로 간소화된 점은 정규화를 하기 위해 전체 데이터셋으로부터 평균과 분산 값을 계산하는 대신에 미니배치로부터 평균 과 분산 의 측정된 값을 사용한다는 점입니다.
+각각의 특징이 평균이 0이고 분산이 1이 되도록 정규화를 하는 것은 레이어가 표현하고자 하는 것에 영향을 줄 수 있습니다. 예시 논문이 묘사하듯이, 만약에 시그모이드 함수의 입력이 정규화된 경우 대부분의 값은 시그모이드 함수가 선형인 범위에 있을 것입니다. 이를 극복하기 위해 각가의 특징은 두 개의 학습 매개변수 와 에 의하여 확대되고 이동합니다. 는 배치 정규화 레이어의 출력입니다.
+와 같은 선형 변환 이후에 배치 정규화를 적용하는 경우 편향 매개변수 는 정규화에 의해 값의 의미가 사라집니다. 따라서 배치 정규화 바로 직전의 선형 변환에서 편향 매개변수를 제외해야 합니다.
+배치 정규화는 또한 역전파를 가중치의 크기에 변함없도록 만들고 경험적으로 일반화를 향상시키므로 정규화 효과도 있습니다.
+정규화를 수행하기 위해 과 를 알아야 합니다. 따라서 추론 할때는 평균과 분산 값을 찾기 위해 데이터셋의 전체 혹은 일부분을 살펴보거나 학습 도중 계산된 측정값을 사용할 수도 있습니다. 주로 사용되는 방법은 학습 단계에서 지수 이동 평균으로 계산된 평균과 분산 값을 추론에 사용하는 것입니다.
+여기에 MNIST 데이터셋에 대하여 배치 정규화를 사용하는 CNN 분류기를 학습하기 위한 학습 코드 와 노트가 있습니다.