파이토치 트랜스포머를 활용한 자연어처리와 컴퓨터비전 심층학습 chapter6. 임베딩

• 텍스트 벡터화 : 텍스트를 숫자로 변환하는 과정. 원-핫 인코딩, 빈도 벡터화 등이 있다.
• 워드 임베딩 : 벡터의 희소성 해결(Word2Vec, fastText). 단어를 고정된 길이의 실수 벡터로 표현하는 방법. 단어의 의미를 벡터 공간에 서 다른 단어와의 상대적 위치로 표현해 단어 간의 관계 추론. 
• 동적 임베딩 : 워드 임베딩은 고정된 임베딩을 학습하기 때문에 다의어나 문맥 정보를 다루기 어렵다는 단점이 있어 인공 신경망을 통해 동적 임베딩 기법을 사용한다. 

---

• 자기 회귀 언어 모델 : 입력된 문장들의 조건부 확률을 이용해 다음에 올 단어를 예측한다. 이전에 등장한 모든 토큰의 정보를 활용해 입력된 문장의 문맥 정보를 파악하고 다음 토큰을 예측. 그러므로 언어 모델은 문장 전체의 확률을 계산하고, 이를 이용해 다음 단어를 예측
• 통계적 언어 모델 : 언어의 통계적 구조를 이용해 문장이나 단어의 시퀀스를 생성하거나 분석. => 마르코프 체인을 이용해 구현. 
  • N-gram 모델 : 입력 텍스트를 하나의 토큰 단위로 분석하지 않고 N개의 토큰을 묶어서 분석. N이 1일때 유니그램, N이 2일 때 바이그램, N이 3일 때 트라이그램. 
  • TF-IDF : 텍스트 문서에서 특정 단어의 중요도를 계산하는 방법. 문서 내에서 단어의 중요도를 평가하는 데 사용되는 통계적인 가중치를 의미. 
  • Word2Vec : 단어 간의 유사성을 측정하기 위해 분포 가설을 기반으로 개발. 같은문맥에서 함께 자주 나타나는 단어들은 서로 유사한 의미를 가질 간으성이 높다는 가정. 분포 가설은 단어 간의 동시 발생 확률 분포를 이용해 단어 간의 유사성을 측정. 
• 단어 벡터화 : 희소표현과 밀집 표현으로 나눌 수 있다. 원-핫 인코딩, TF-IDF 등의 빈도 기반 방법은 희소 표현, Word2Vec은 밀집 표현. 
• CBoW : 주변에 있는 단어를 가지고 중간에 있는 단어를 예측하는 방법. 중심 단어를 맞추기 위해 몇 개의 주변 단어를 고려할 지를 정해야 하는데, 이 범위를 윈도라고 한다. 
• Skip-gram : CBoW와 반대로 중심 단어를 입력으로 받아서 주변 단어를 예측하는 모델. 
• 계층적 소프트맥스 : 출력층을 이진트리 구조로 표현해 연산을 수행. 자주 등장하는 단어일수록 트리의 상위 노드에 위치, 드물게 등장하는 단어일수록 하위 노드에 배치. 
• 네거티브 샘플링 : Word2Vec 모델에서 사용되는 확률적인 샘플링 기법. 전체 단어 집합엥서 일부 단어를 샘플링하여 오답 단어로 사용. 

---

• 장단기 메모리 : 기억력 부족과 기울기 소실 문제 해결한 모델. 장단기 메모리는 셀 상태와 망각 게이트, 기억 게이트, 출력 게이트로 정보의 흐름을 제어.

---

• 합성곱 신경망 : 주로 이미지 인식과 같은 컴퓨터비전 분야의 데이터를 분석하기 위해 사용되는 인공신경망의 한 종류. 
  • 필터 : 합성곱 계층은 입력 데이터에 필터를 이용해 합성곱 연산을 수행하는 계층
  • 패딩 : 맵의 크기가 작아지는 것을 방지 => 입력 이미지나 입력으로 사용되는 특징 맵 가장자리에 특정 값을 덧붙인다. 
  • 간격 : 간격을 조정함으로써 입력 데이터의 공간적인 정보를 유지하거나 감소시킬 수 있다. 
  • 채널 : 입력 데이터와 필터 간의 연산ㅇ느 채널에서 수행. 채널의 개수가 많아질수록 학습할 수 있는 특징의 다양성이 증가해 모델의 표현력이 높아진다. 
  • 팽창 : 합성곱 연산을 수행할 때 입력 데이터에  더 넓은 범위의 영역을 고려할 수 있게 하는 기법. 
  • 풀링 : 맵의 크기를 줄이는 연산. 합성곱 계층 다음에 적용.