Vector for NLP

라이브러리 소개

Representation Vector

Background

원-핫 인코딩을 표현한 벡터, 트레인 데이터 셋 안에 전체 문장들의 합을 코퍼스라고 했을 때, 코퍼스 안에서 어떤 토크나이저를 거쳐서 딕셔너리를 만든다 -> v가 된다

  • Make several tokens from sentences

  • Build a Dictionary of words by indexing each token

  • Make a Vector(Dimension : Number of Words)

  • 1 for the corresponding index with the remaining 0

  • Orthogonal Vector -> Lose of Context Information
    Rome Paris는 역할이 비슷하지만 표현할 수 없다

  • Sparse Vector -> Curse of Dimensionality
    벡터를 내적했을 때 값이 크면 유사도가 높지만 원-핫 인코딩 벡터는 1개 빼고 0 이 된다

두 가지 이유로 적합하지 않음 -> 토크나이저를 쓰자

Tokenizer

English -> SPACY, NLTK
한국어는 형태소라는 것이 있기 때문에 띄어쓰기로는 애매할 수 있다.
이러한 것을 보완해서 한국어토큰이 별도 있다.
Korean -> KoNLPy(Hannanum, Kkma, Komoran, Twitter), MECAB, KHAIII

한국어의 사전에 따라 모델의 성능이 다르기 때문에 중요하다.

넘버링이 되어 있는 단어를 어떻게 표현할 것인지 알아보자

Word2Vec

  • Efficient Estimation of Word Representations in Vector Space(Tomas Mikolov et al, 2013)
  1. CBOW 방식
    w(t-2) ~ w(t+2)바탕으로 w(t)를 유추할 수 있도록 한다.
    주변 단어들을 이용해서 중심단어를 학습한다.
    w(t-2) : The
    w(t-1) : quick
    w(t) : brown -> output
    w(t+1) : fox
    w(t+2) : jumps
    w(t-2)가 들어갔을 때 brown이 나올 수 있도록 학습하는 것.
    중심단어를 이용해서 주변 단어를 학습한다.

    네모를 window라고 하고 중심단어로부터 주변단어까지의 사이즈를 window size라고한다

  2. Skip-gram 방식
    w(t)를 바탕으로 w(t-2) ~ w(t+2)를 유추할 수 있도록 한다.

  • Objective Function : Learn to reflect similarity between two vectors

The의 경우 빈도수가 높아서 과적합이 일어날 수 있다.
-> Subsampling to get : Regularize

전체 단어에 대한 대상으로 softmax를 계산하는 것이 아닌 window size 안에 있는 단어와 밖에 있는 단어는 샘플링하여 해당되는 내용을 바탕으로 softmax 계산을 한다.
-> Negative Sampling to get Speed Up

Glove

  • Global Vectors for Word Representation (Jeffrey Pennington et al, 2014)
    co-occurrence 개념을 제시
    window 밖에 있는 단어는 학습이 진행되지 않는 단점을 지적했다.
  • Objective Function : Learn to reflect co-occurrence between two vectors
    가정 : 한 문장안에 동시 출연된 단어는 연관성이 있을 것이다.

연관성이 높으면 값이 높을 것이다

FastText

  • Bag of Tricks for Efficient Text Classification (Armand Joulin et al, 2016)
  • Objective Function : Learn to reflect similarity between two vectors
    코퍼스를 형성하는 단어를 적게두자.
    Unigrams
    Bigrams
    Trigrams
    4-grams
API API오용 Anaconda Beacon Bluetooth CRUD분석 Camera ChatBot DB관련신기술 DB관리기능 DB서버 DB표준화 ER다이어그램 ER모델 ETL Flask HW관련신기술 IDE도구 IP IoT Machine_Translation NLP배경 ORM프레임워크 Package Recurrent Neural Network SDLC SW개발방법론 SW개발방법론선정 SW개발보안정책 SW개발표준 SW관련신기술 Sequence_Tagging ShellScript TCP_UDP Vector WordCloud c 자료형 class embedding konlpy python python 자료형 가설검증 개발환경구축 객체지향프로그래밍언어 관계데이터베이스모델 관계데이터언어 국제표준제품품질특성 네트워크7계층 네트워크관련신기술 네트워크장비 네트워크침해공격용어 논리데이터모델개요 논리데이터모델품질검증 논리적데이터모델링 논문 단위모듈구현 단위모듈테스트 데이터검증 데이터모델개념 데이터베이스무결성 데이터베이스백업 데이터베이스암호화 데이터베이스용량설계 데이터베이스이중화구성 데이터베이스정규화 데이터분석 데이터분석 - 순열 - 조합 데이터분석 - 정규분포 데이터분석 - 통계기초 데이터사이언스개념 데이터입출력 데이터전환수행계획 데이터정제 데이터조작프로시저작성 데이터조작프로시저최적화 데이터조작프로시저테스트 데이터지역화 데이터타입 데이터표준확인 데이터품질분석 라이브러리 로그분석 메모리관리 모델화 몬테카를로 물리데이터모델설계 물리데이터모델품질기준 물리데이터저장소구성 물리요소조사분석 반정규화 배치프로그램 변수 보안기능 보안솔루션 보안아키텍처 보안취약성식별 분산데이터베이스 분산분석 비용산정모델 빌드자동화도구 사용자정의함수 상관분석 서버개발프레임워크 서버인증 서버장비운영 서버접근통제 서비스공격유형 선언형언어 세션통제 소스코드인스펙션 소프트스킬 소프트웨어개발프레임워크 소프트웨어버전관리도구 소프트웨어연계테스트 슈퍼디엠지 스크립트언어 시스템카탈로그와뷰 암호알고리즘 애플리케이션모니터링도구 애플리케이션배포도구 애플리케이션성능개선 애플리케이션테스트결과분석 애플리케이션테스트시나리오작성 애플리케이션테스트케이스작성 애플리케이션통합테스트수행 애플리케이션패키징 연산자 예외처리 오답노트 오류데이터측정 오류처리 오류처리확인및보고서작성 요구공학방법론 운영체제 웹서버 이벤트 인터넷구성의개념 인터페이스구현검증 인터페이스기능확인 인터페이스보안 입력데이터검증및표현 자료구조 자연어처리 재사용 절차적프로그래밍언어 정보보안침해공격용어 정보처리기사 제품소프트웨어매뉴얼작성 집계성DCL작성 체크리스트 초기데이터구축 취약점분석 칼럼속성 캡슐화 코드오류 클러스터링 키종류 테일러링기준 트랜잭션인터페이스 트리거 파일처리기술 파티셔닝 패키지 포트포워딩 프로세스스케줄링 프로토타입 한국어임베딩 핵심정리 현업도구 형상관리도구 환경변수 회귀분석
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×