Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 정리
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문 요약 정리
Natural Language Processing(NLP) 기초 내용, 실습, 논문 정리
NLP 기초 내용 정리
실습: https://github.com/nkw011/nlp_tutorial
[Huggingface 🤗 Transformers Tutorial] 4. Fine-tune a pretrained model
🤗 Transformers를 이용하여 pretrained model을 fine-tuning하는 방법을 배워보고 sentiment analysis(감정 분석) task를 간단하게 수행해봅니다.
[Huggingface 🤗 Transformers Tutorial] 3. Preprocess
🤗 Transformers의 AutoTokenizer를 활용하여 text를 전처리하는 방법을 배워봅니다.
[Huggingface 🤗 Transformers Tutorial] 2. Load pretrained instances with an AutoClass
🤗 Transformers의 AutoClass의 종류와 활용방법에 대해 배워봅니다.
[Huggingface 🤗 Transformers Tutorial] 1. Pipelines for inference
🤗 Transformers의 pipeline() 메소드를 이용하여 자연어처리 task를 간단하게 수행합니다.
Huggingface 🤗 Transformers 소개와 설치
🤗 Transformers 소개와 설치
Formal Algorithms for Transformers 요약
Formal Algorithms for Transformers 논문 요약 정리
Colab에 torchdata 설치하기 & pip’s depedency 관련 ERROR 해결방법
colab에 torchdata 설치하는 방법과 설치할 때 발생하는 ERROR 해결하기
[NLP] torchtext, spaCy를 이용하여 Vocab 만들기
spaCy의 Tokenizer와 torchtext의 Vocab을 활용하여 말뭉치를 단어사전으로 바꾸는 실습을 진행해본다.
[NLP] NLTK, spaCy, torchtext를 이용하여 영어 토큰화(English Tokenization)작업 수행하기
토큰화를 위해 사용되는 자연어처리 라이브러리인 NLTK, spaCy, torchtext에 대해 알아본다.
[NLP] 자연어처리에 사용되는 Dataset(데이터셋), Dataloader 만들기
spaCy의 Tokenizer와 torchtext을 활용하여 말뭉치를 단어 사전으로 바꾼다. 단어 사전을 활용해 데이터셋을 구성하고 학습을 위한 데이터로더를 구성하는 방법에 대해 배운다.
[NLP] Transformer와 Self-Attention
Encoder-Decoder 구조의 RNN을 모두 Self-Attention으로 대체한 모델인 Transformer에 대해 배운다.
[NLP] Encoder∙Decoder 구조와 Seq2Seq, Seq2Seq with Attention
Encoder∙Decoder 구조를 활용해 sequence를 처리하고 sequence를 출력으로 내보내는 Seq2Seq 구조에 대해 알아보고 Seq2Seq에 Attention을 적용한 Seq2Seq with Attention에 대해 배운다.
[NLP] Gate를 활용해 RNN의 단점을 극복한 모델: LSTM, GRU
RNN이 지닌 Short-term Memeory의 단점을 극복한 LSTM, GRU에 대해 알아보고 여러 gate 구조를 배운다.
[NLP] Word Embedding, Word2Vec
텍스트를 벡터로 바꾸는 다양한 표현방법을 이해한다. Word Embedding을 배우고 Word2Vec의 구조를 살펴본다.
[NLP] RNN (Recurrent Neural Net), gradient vanishing/exploding 현상과 long-term dependency 문제
sequence형 데이터를 처리하는 모델인 RNN의 동작 원리를 이해하고 다양한 형태에 대해 배워본다. RNN이 지니는 기울기 소실과 관련된 현상과 이로 인해 일어나는 long-term dependency problem에 대해 알아본다.