들어가기 전에

자연어 처리에 첫발을 내딛으신 것을 축하합니다!! 🎉

이번 강의에서는 자연어 처리의 기본이 되는 Word Embedding에 대해서 알아봅니다.

여러분은 지금 자연어처리에서 가장 중요한 부분을 학습 중이십니다.

학습 목표

Word Embedding 기법 중 Word2Vec를 통해 단어를 벡터로 임베딩하는 방법을 알아봅니다.

핵심 단어

• Word Embedding
• Word2Vec
• window size
• Embedding
  

강의 듣기

Word Embedding 이란?

'워드 임베딩'은 각 단어를 좌표공간에 최적의 벡터로 표현하는(임베딩하는) 기법을 말합니다.

그렇다면 표현된 벡터값이 '최적'인지를 어떻게 알 수 있을까요? 예를 들어 알아봅시다.

• kitty : 아기 고양이
• cat : 고양이
• hamburger : 햄버거

위 단어들을 벡터를 통해 좌표공간으로 표현한다면, 'kitty'와 'cat'은 비슷한 위치할 것입니다. 그러나 'hamburder'는 꽤 먼 거리에 표현되겠지요? 이와 같이 유사한 단어는 가까이, 유사하지 않은 단어는 멀리 위치하는 것을 '최적의 좌표값'으로 표현할 수 있습니다.

또 다른 예로 감정을 분류를 한다고 했을 때에

• "기쁨", "환희"는 긍정적인 감정을 나타내는 단어들과 함께,
• "분노", "증오"는 부정적인 감정을 나타내는 단어들과 비슷한 위치에 맵핑이 될 것입니다.
  

Word2Vec Idea

• '워드 투 벡터'의 아이디어는 "문장 내에서 비슷한 위치에 등장하는 단어는 유사한 의미를 가질 것이다" 에서 출발합니다. 즉, 주변에 등장하는 단어들을 통해 중심 단어의 의미가 표현될 수 있다는 것으로 추정을 시작합니다.
• 이를 위해 우선 워드를 토크나이징(Tokenizing)해준 후, 유니크한 단어만 모아서 사전(Vocabulary)을 만들어주어야 합니다. 그 이후 문장에서 중심단어를 위주로 학습 데이터를 구축해줍니다.
  
• 예를 들어 “I study math”라는 문장의 중심단어가 study 라고 한다면, (I study), (study  I) , (study math) 와 같은 단어쌍을 학습 데이터로 구축합니다.

** 토크나이징(Tokenizing)이란? : 말그대로 문자(Text)를 컴퓨터가 이해할 수 있는 Token이라는 숫자 형태로 바꿔주는 행위

Word2Vec의 계산

• 문장의 단어의 갯수만큼에 Input, Output 벡터 사이즈를 입력/출력해줍니다. 이 때 연산에 사용되는 히든 레이어(hidden layer,은닉 층)의 차원(dim)은 사용자가 파라미터로 지정할 수 있습니다.
  
• 실제로 Tensorflow나 Pytorch와 같은 프레임워크에서는 임베딩 레이어와의 연산은 0이 아닌 1인 부분, 예를 들어 [0,0,1]의 벡터인 경우는 3번째 원소와 곱해지는 부분의 컬럼(column)만 뽑아서 계산해줍니다. 
• 마지막 결과값으로 나온 벡터는 softmax 연산을 통해 가장 큰 값이 1, 나머지는 0으로 출력됩니다.
  
• 위의 연산이 반복되면서, 같이 등장하는 단어들 간의 벡터표현이 유사해지는 것을 아래 사이트에서 확인하실 수 있습니다.

Word2Vec의 특성

• 워드투벡터를 통해 단어를 임베딩하면 queen - king 그리고 woman - man , 마지막으로 aunt - uncle 의 벡터가 비슷한 것을 볼 수 있습니다. 해당 결과가 의미하는 것은 여성과 남성의 관계성을 잘 학습했다는 것을 의미합니다.
• 연세대 축제 이름인 "아카라카"에서 연세대를 빼고 고려대를 더해주면, 고려대의 축제인 "입실렌티"가 나오는 것도 확인 할 수 있습니다. 

** 워드투벡터 성능 확인하기 : http://w.elnn.kr/search 

Application of Word2Vec

• Word2Vec은 그 자체로도 의미가 있지만, 뿐만 아니라 다양한 테스크에서 사용되고 있습니다. 
• Machine translation : 단어 유사도를 학습하여 번역 성능을 더 높여줍니다.
  
• Sentiment analysis : 감정분석, 긍부정분류를 돕습니다.
• Image Captioning : 이미지의 특성을 추출해 문장으로 표현하는 테스크를 돕습니다. 

생각해보기

1) Word2vec 방식으로 생성한 "서울"의 벡터에서 "한국"을 빼고, "미국"을 더하면 어떤 단어의 벡터와 유사할까요?

2) Word2Vec이 되기까지 연산되는 행렬곱을 손으로 써보며 이해해봅시다.

참고자료