배움 일지

1. Learning word embeddings Word embeddings를 학습할 수 있는 몇 가지 알고리즘들을 소개한다. 먼저, language model을 구축하는 것은 embeddings를 학습하는 방법이 될 수 있다. 2. Word2Vec : 이러한 embeddings를 학습할 수 있는 simpler & more efficient 한 방법은 바로 Word2Vec이다. Word2Vec paper에서는 Continuous Bag Of Word (CBOW)와 Skip-grams 모델 두 가지가 존재하는데, 해당 강의에서는 skip-grams에 대해서만 다룬다. - Skip-grams: context word를 randomly pick 해서 (uniformly random은 아님), 특정 size의..

1. Word representation (Word embeddings) : 지금까지 우리는 trainset에서 본 단어들을 vocabulary에 저장하고, 각 word들을 one-hot vector로 representation을 했다. 하지만 one-hot vector로 representation할 경우 아래 그림과 같은 문제점이 발생한다. 따라서, 우리는 featurized representation (word embedding)을 활용해야한다. 이러한 word embeddings를 visualization하면 아래 그림과 같이 유사한 단어들끼리 모여있게 된다. 2. Using word embeddings : 이러한 word embedding를 활용해보자. 쉬운 이해를 위해, named entity ..