Neural Machine Translation

• 기계번역
• Sequence to Sequence
  • Encoder
  • Decoder
  • From English to Korean
  • From German to Korean
  • Speech to Text
  • Text to Speech

Process

• Sequence to Sequence
  
  인코더와 디코더의 구조. 인코더는 이용하고자 하는 대상 즉 소스. 한글에서 영어로 번역하는 태스크 일때, 인코더는 한글데이터 디코더는 영어데이터. 한글문장을 바꾸어보자.
  한글 형태소 토크나이저를 이용해 나누기. 그게 x1, x2, x3 … xj가 된다. 그다음 corpus(단어사전)를 만든다. 해당단어를 인덱스로 바꾸어준다. x1은 넘버링이 들어가고 넘버링을 원-핫 벡터로 치환해서 들어간다. 파란색이 임베딩 벡터를 가져옴 RNN input으로 들어감 그전에 weight 매트릭스를 곱하고 바이어스가 더해진 값이 들어간다.
  Encoder의 output 값이 Decoder의 input 값이 된다.
  SOS는 Start of Sentence
  EOS는 End of Sentence
  y1는 영어딕셔너리에서 뽑힌 값이다.
  y1은 softmax를 통해서 가장 큰 값을 뽑아준다.

• with Attention
  
  hidden state만으로 y2가 부족하다고 판단할 수 있다. Encoder의 hidden state 값과 y2의 hidden state 값을 전부 내적한다. 어떤 스칼라의 값을 Attention Weight를 계산한다. 전부 0~1사이의 값으로 각각 바뀐다. 총 합이 1이 된다. 그리고 context vector로 만들어준다. 각 hidden state 별로 얼마나 가중있게 보아야하는지 척도를 알 수 있다.

Transformer

• Attention is all you need(Ashishi Vaswani et al, 2017)
• 기존에는 RNN구조를 이용해서 Seq2Seq을 풀어냈다면 이 논문에서는 Attention 매커니즘만 이용하겠다. 훨씬 더 기계번역이 좋다.
• Using Only Attention Mechanism for Seq2Seq
• Basic concept of BERT

Tagging

• Make Label about the sentences

• 레이블을 붙이는 과정

  • This moive is so nice -> Positive
  • This moive is so boring -> Negative

• Pair of Sentence and Label

• 문장과 레이블에 대해 쌍관계를 유지하는걸 태깅

  • It can use other Machine Learning Model’s Input Data
  • 이것을 바탕으로 데이터를 input할 수 수 있음

Sentiment Analysis

• 감성분석데이터
• 어떤 문장에 대해서 긍정/부정, 평점등으로 평가하는데 이걸 예측하는 것
• Benchmark Dataset 논문에서 많이 이용됨
  • IMDB (Internet Moive DataBase)
  • Yelp (음식점평)
  • Amazon Review (도서평)
• Crawling
  • 네이버 영화 평
  • yes24 도서 평

Question Answering

특정한 문단과 질문을 넣었을 때 딥러닝 모델이 답변을 주는 것

• Benchmark Dataset
  • SQuAD.(1.1,2.0) 스탠퍼드 QnA
  • WikiQA
  • CoQA

POS

• Part-of-Speech Tagging
  • 문장에서 해당 단어들이 어떤 역할을 하는지
  • 주어, 목적어, 서술어 등
• Benchmark Dataset
  • Penn Treebank
  • UD

Process

빨간색 Input
파란색 Output
초록색 RNN, LSTM, GRU
숫자는 시점

빨간색에 문장을 넣으면
파란색에는 Postive

• RNN

• hideen state를 바탕으로 태깅

  • 기본 RNN
    
  • Stack RNN
    • Hidden state 결과를 새로운 input으로 받음
      
  • Bidirectional RNN
    • forward
    • backward
    • 같은 시점에는 Concat 진행
      

• CNN

• Convolutional Neural Networks for Sentence Classification(Yoon Kim et al, 2014)

• 문장에 대해서 filter size(2,3,4,5)에 대해 합성곱을 하여 진행

• 스트라이딩을 돌면서 feature maps을 만듬

• 같은 레벨의 feature map에 max pooling을 진행

• 문장특징을 뽑음

• 해당 결과값에 대해 Fully connected layer를 통해 최종 결과를 낸다
  

Deep Learning

• Neural Network with Many Hidden Layers
• Learning through Back-Propagation from Objective Function (Loss Function)
  
• 인간의 뇌와 흡사

Type of RNN

빨간색은 input
초록색은 hidden state
파란색은 output

해석하는 형태도 존재
이어져서 뭔가를 한다고 이해하자

Vanilla RNN

xt와 ht-1을 같이 받는다
Wh는 가중치행렬

• Need to Refine Long Term Dependency
  문장길이가 토큰기준 3개정도인데
  만약 길이가 길게 되면 최종적 output값에 대해 발생하는 그레디언트 값이 앞쪽까지 전달되는데 문제가 있다.

LSTM (Long Short Term Memory)

12개의 term이 학습이 된다
Cell state가 있다
xt는 현재시점
t-1은 이전시점
ft는 현재시점에 대한 input과 이전시점에대한 ht-1에 각각 가중치행렬을 곱해주고 b를 더함 이것을 시그모드취해준다.
tanh는 -1 ~ 1 까지임 -> 현재 위치에서 어느정도 정보를 반영할지에 대한 결과

• forget gate : 현재시점 입력값과 이전시점의 hidden state의 결과에 시그모이드를 취한 값을 이용해서 몇퍼센트 기억할건지 하는 역할

• input gate : 현재시점 입력값과 이전시점의 hidden state를 tanh를 해서 원소 곱 그리고 forget에서 나온 값과 더한다 -> cell state 업데이트를 함

• output gate : 업데이트한 cell state를 정보를 바탕으로 output을 통과한 결과에 cell state를 tanh를 해주고 원소 곱 -> ht 와 yt로 내보내줌

GRU(Gated recurrent unit)

• lstm의 많은 학습을 9개로 줄인 것

라이브러리 소개

Representation Vector

Background

원-핫 인코딩을 표현한 벡터, 트레인 데이터 셋 안에 전체 문장들의 합을 코퍼스라고 했을 때, 코퍼스 안에서 어떤 토크나이저를 거쳐서 딕셔너리를 만든다 -> v가 된다

• Make several tokens from sentences

• Build a Dictionary of words by indexing each token

• Make a Vector(Dimension : Number of Words)

• 1 for the corresponding index with the remaining 0

• Orthogonal Vector -> Lose of Context Information
  Rome Paris는 역할이 비슷하지만 표현할 수 없다

• Sparse Vector -> Curse of Dimensionality
  벡터를 내적했을 때 값이 크면 유사도가 높지만 원-핫 인코딩 벡터는 1개 빼고 0 이 된다

두 가지 이유로 적합하지 않음 -> 토크나이저를 쓰자

Tokenizer

English -> SPACY, NLTK
한국어는 형태소라는 것이 있기 때문에 띄어쓰기로는 애매할 수 있다.
이러한 것을 보완해서 한국어토큰이 별도 있다.
Korean -> KoNLPy(Hannanum, Kkma, Komoran, Twitter), MECAB, KHAIII

한국어의 사전에 따라 모델의 성능이 다르기 때문에 중요하다.

넘버링이 되어 있는 단어를 어떻게 표현할 것인지 알아보자

Word2Vec

• Efficient Estimation of Word Representations in Vector Space(Tomas Mikolov et al, 2013)

1. CBOW 방식
   w(t-2) ~ w(t+2)바탕으로 w(t)를 유추할 수 있도록 한다.
   주변 단어들을 이용해서 중심단어를 학습한다.
   w(t-2) : The
   w(t-1) : quick
   w(t) : brown -> output
   w(t+1) : fox
   w(t+2) : jumps
   w(t-2)가 들어갔을 때 brown이 나올 수 있도록 학습하는 것.
   중심단어를 이용해서 주변 단어를 학습한다.

   네모를 window라고 하고 중심단어로부터 주변단어까지의 사이즈를 window size라고한다

2. Skip-gram 방식
   w(t)를 바탕으로 w(t-2) ~ w(t+2)를 유추할 수 있도록 한다.

• Objective Function : Learn to reflect similarity between two vectors

The의 경우 빈도수가 높아서 과적합이 일어날 수 있다.
-> Subsampling to get : Regularize

전체 단어에 대한 대상으로 softmax를 계산하는 것이 아닌 window size 안에 있는 단어와 밖에 있는 단어는 샘플링하여 해당되는 내용을 바탕으로 softmax 계산을 한다.
-> Negative Sampling to get Speed Up

Glove

• Global Vectors for Word Representation (Jeffrey Pennington et al, 2014)
  co-occurrence 개념을 제시
  window 밖에 있는 단어는 학습이 진행되지 않는 단점을 지적했다.
• Objective Function : Learn to reflect co-occurrence between two vectors
  가정 : 한 문장안에 동시 출연된 단어는 연관성이 있을 것이다.

연관성이 높으면 값이 높을 것이다

FastText

• Bag of Tricks for Efficient Text Classification (Armand Joulin et al, 2016)
• Objective Function : Learn to reflect similarity between two vectors
  코퍼스를 형성하는 단어를 적게두자.
  Unigrams
  Bigrams
  Trigrams
  4-grams

Basic Concept of Machine Learning

• 예를 들어 호랑이와 고양이를 예측하는 인공지능을 만들고 싶다라고 한다면 모델입장에서는 두가지가 필요하다

  • 호랑이이미지 = 호랑이레이블
  • 고양이이미지 = 고양이레이블

• 이렇게 레이블 정보(With Labels)를 활용해서 학습하는 것을 Supervised Learning 지도학습 이라고 한다

• 반면, 레이블 정보 없이(No Labels) 이미지만을 활용해서 하는 것을 Unsupervised Learning 비지도학습 이라고 한다

• 레이블정보가 아니라 입력이미지에 대해서 잘 분류하였으면 +1점, 잘 분류하지 못했으면 -1점 처럼 리워드를 주는 방식(With Rewards)을 Reinforcement Learning 강화학습 이라고 한다

• Machine Learning

  • Supervised Learning
    • Regression : 수치형, 회기, 아파트가격/주가예측
    • Classification : 카테고리컬 variable, 클래스로 예측하는 것, 분류, 남성/여성, 양성/음성
  • Unsupervise Learning
    • Clustering : 레이블이 없는 입력이미지를 바탕으로 학습할 때 유사하다고 계산이 되는 것을 군집화 하는 것
    • Dimensionality Reduction : 데이터가 엄청나게 큰 벡터로 표현될 때 적은차원의 벡터로 표현 하는 것, 차원축소의 기법
  • Reinforcement Learning
    • Decision Process : 의사결정
    • Game Ai : 게임 ai

Process of Machine Learning

데이터 수집 -> 해당 데이터를 전처리(해당 모델에 대해서 잘 이용할 수 있게 작업) -> 모델링 -> 학습한 모델의 성능을 평가

• Data Collection

  • Database
  • Server
  • API

• Preprocessing

  • Not Available : 정형데이터의 경우 변수에 없는 값이 발생할 수 있다
  • Scaling : 변수 간의 정보 반영이 단위 값에 따라 다를 수 있다
    • ex) 사람의 키는 cm 몸무게는 kg 인데 남자/여자 판별할 때 영향력이 1cm와 1kg은 다르다
  • Derived Variables : 파생변수(각 변수를 조합)를 만든다

• Modeling

  • ML Model
  • DL Model
  • RL Model

• Performance Measure

  • Accuracy : 얼마나 잘 분류했는지
  • Mean Squared Error : 얼마나 잘 예측했는지 오차 계산
  • Similarity : 얼마나 유사한지

Role of Train, Valid, Test Dataset

잘 활용하기 위해서는 3가지의 Dataset이 필요하다

• Train

  • 학습을 하는데 이용한다
  • 학습이 완료되고 예측을 해본다
  • Using for Training Model

• Valid

  • 학습을 하지 않고
  • 예측만 진행한다
  • 만약 예측시 valid보다 train이 좋지 않으면 다시 학습한다
  • 모니터링의 역할만 한다
  • Using for Training Direction

• Test

  • 모델이 한 번도 보지 못한 것을 평가
  • Using for Measure Performance

• 10000의 dataset이 있을 경우 train : 6000, valid : 2000, test : 2000 으로 한다

• 8 : 1 : 1 도 한다

Process of NLP with Deep Learning

자연어처리 딥러닝을 이해하자

• Data Collection

  • Crawling : html에서 데이터를 직접 가져오기
  • ex) 영화평을 크롤링해서 분석

• Preprocessing

  • Tokenizer
  • Make Corpus
  • Representation

• Modeling

  • ML Model
  • DL Model
  • RL Model

• Performance Measure

  • Accuracy
  • Mean Squared Error
  • Similarity

Make Corpus with Train Dataset

• Make Number to Input Natural Language into Computer
  자연어를 숫자 값으로 변경하기

• Make Token to Make a Dictionary
  토큰을 만들기

  • ‘I am a boy’ -> ‘I’, ‘am’, ‘a’, ‘boy’ 띄어쓰기를 바탕으로 단어 분리
  • ‘I am a girl’ -> ‘I’, ‘am’, ‘a’, girl’
  • 각 단어는 토큰을 의미

• Make a Dictionary out of the Tokens in the Train Dataset
  트레인 데이터셋 안에 있는 토큰으로만 단어사전을 만든다

• Replace Words with Numbers using a Dictionary
  숫자를 붙여주기

  • ‘I’ : 0, ‘am’ : 1, ‘a’ : 2, ‘boy’ : 3, ‘girl’ : 4
  • ‘I am a boy’ -> [0,1,2,3]
  • ‘I am a girl’ -> [0,1,2,4]
  • 겹치지 않는다

Representation Vector

• ‘boy’ : 3 , ‘girl’ : 4
• boy and girl have similar roles in sentence
  남자와 여자는 문장에서 비슷한 역할을 수행할 것이다
• But 3,4 can’t represent their role enough
  하지만 3,4만으로는 비슷하다는 것을 나타낼 수 없다
• Represent Natural Language with Vectors not scalars
  원-핫벡터도 어떠한 인덱스만 1이기 때문에 스칼라로 보자
  다양한 숫자로 채워진 벡터로 만들어보자
  • Word2Vec, Glove, FastTest(Word)
• Sentence, Document, Sentence Piece
  단어 뿐만아니라 문장, 문서 등으로 토큰을 만들 수 있다