Pytorch study tutorial🧐

1. pytorch_tutorial1 : torch로 tensor를 다루는 여러 기초 방법론을 공부합니다.
2. pytorch_tutorial2 :기본 modeling, NN layer 쌓기 및 metric 등 torch.nn의 모듈 및 기능에 대해 알아봅니다.
3. pytorch_dataloader : pytorch의 dataset과 dataloader에 대해 알아봅니다. 각각 data 전처리, data shuffle 및 sample, collate_fn 함수를 적용하여 학습을 위한 준비를 마칠 수 있도록 도와줍니다.
4. pytorch_autograd : pytorch에서 gradient가 어떻게 계산되는지, autograd 메소드를 통하여 알아보고 backpropagation 과정을 구현을 통해 복기해 봅니다.(참고자료)

Assignment

• week2-1. bert 모델의 embedding vector 추출, cosine similarity 및 유사도
• week2-2. pretrained bert에 hidden layer를 쌓아 fine-tuning, loss, optimizer, freeze/unfreeze
• week2-3. [Pytorch] Custom Dataset, Dataloader, collate_fn
• week2-4. epoch, scheduler, gradient clipping, predition& evaluation(help.py module 활용)
• week3-1. Dataset, Dataloader 활용한 Word2Vec Skip-Gram Modelling
• week3-2. Wordpiece Tokenizer, encoding 및 decoding
• week3-4. Transformer 모델 구조 알아보기(필사)