파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습 chapter3. 파이토치 기초

• 텐서 : 넘파이 라이브러리의 ndarray 클래스와 유사한 구조로 배열이나 행렬과 유사한 자료 구조. 파이토치에서는 텐서를 사용하여 모델의 입출력뿐만 아니라 모델의 매개변수를 부호화하고 GPU를 활용해 연산을 가속화할 수 있다.
• 탠서 생성
  • torch.tensor() 또는 torch.Tensor()로 생성할 수 있다. 소문자인 torch.tensor()는 입력된 데이터를 복사해 텐서로 변환하는 함수. 즉, 데이터를 복사하기 때문에 값이 무조건 존재해야 하며 입력된 데이터의 형식에 가장 적합한 텐서 자료형으로 변환. torch.Tensor()는 텐서의 기본형으로 텐서 인스턴스를 생성하는 클래스. 인스턴스를 생성하기 때문에 값을 입력하지 않는 경우 비어 있는 텐서를 생성. 
• 텐서 속성 : 형태, 자료형, 장치가 존재
• 차원변환 : 텐서의 차원 변환은 reshape 메서드를 활용

---

• 가설 : 어떤 사실을 설명하거나 증명하기 위한 가정. 두 개 이상의 변수의 관계를 검증 가능한 형태로 기술하여 변수 간의 관계를 예측하는 것을 의미. 
  • 연구가설 : 연구자가 검증하려는 가설. 귀무가설을 부정하는 것으로 설정한 가설을 증명하려는 가설
  • 귀무가설 : 통계학에서 처음부터 버릴 것을 예상하는 가설. 변수 간 차이나 관계가 없음을 통계학적 증거를 통해 증명하려는 가설.
  • 대립가설 : 귀무가설과 반대되는 가설. 귀무가설이 거짓이라면 대안으로 참이 되는 가설. 대립가설은 연구가설과 동일하다고 볼 수 있다. 
• 머신러닝에서의 가설 : 독립 변수와 종속 변수 간의 관계를 가장 잘 근사시키기 위해 사용된다. 
  
  • 단일 가설 : 입력을 출력에 매핑하고 평가하고 예측하는 데 사용할 수 있는 단일 시스템
  • 가설 집합 : 출력에 입력을 매핑하기 위한 가설 공간으로 모든 가설을 의미. 
• 통계적 가설 검정 사례
  • 통계적 가설 검정 : t-검정(쌍체 t-검정, 비쌍체 t-검정)
    • 쌍체 t -검정 : 동일한 항목 또는 그룹을 두 번 테스트할 때 사용
    • 비쌍체 t - 검정 : 등분산성을 만족하는 두 개의 독립적인 그룹 간의 평균을 비교하는 데 사용

---

• 손실 함수 : 단일 샘플의 실젯값과 예측값의 차이가 발생했을 때 오차가 얼마인지 계산하는 함수를 의미. 인공 신경망은 실젯값과 예측값을 통해 계산된 오찻값을 최소화해 정확도를 높이는 방법으로 학습이 진행
• 제곱 오차: 

• 오차 제곱합 : 

• 평균 제곱 오차 : 

• 교차 엔트로피 : 

---

• 최적화 : 목적 함수의 결괏값을 최적화하는 변수를 찾는 알고리즘을 의미. 손실 함수의 값이 최소가 되는 변수를 찾는다면 새로운 데이터에 대해 더 정교한 예측을 할 수 있다. 
  • 경사 하강법 : 함수의 기울기가 낮은 곳으로 계속 이동시켜 극값에 도달할 때까지 반복하는 알고리즘.

• 단순 선형 회귀 : 넘파이

- weight는 가중치, bias는 편향, learning_rate는 학습률을 의미.

- 에폭은 인공 신경망에서 순전파와 역전파 과정 등의 모델 연산을 전체 데이터세트가 1회 통과하는 것을 의미. 각 에폭은 모델이 데이터를 학습하고 가중치를 갱신하는 단계를 나타내며, 여러 에폭을 반복해 모델을 학습시킨다. 에폭값이 너무 적을 경우 학습이 제대로 되지 않는 과소적합이 발생하며, 에폭이 너무 많을 경우 과대적합이 발생할 수 있다. 

---

• 데이터세트 분리
  • 훈련용 데이터 : 모델을 학습하는 데 사용되는 데이터세트. 
  • 검증용 데이터 : 학습이 완료된 모델을 검증하기 위해 사용되는 데이터세트. 주로 구조가 다른 모델의 성능 비교를 위해 사용되는 데이터세트를 의미한다. 
  • 테스트 데이터 : 검증용 데이터를 통해 결정된 성능이 갖아 우수한 모델을 최종 테스트하기 위한 목적으로 사용되는 데이터세트. 

---

• 활성화 함수 : 인공 신경망에서 사용된느 은닉층을 활성화하기 위한 함수. 가중치와 편향으로 이루어진 노드를 선형에서 비선형으로 갱신하는 역할을 한다. 활성화 함수는 입력을 정규화하는 과정으로 볼 수 있다.
  • 이진 분류 : 규칙에 따라 입력된 값을 두 그룹으로 분류하는 작업을 말한다. 참 또는 거짓으로 결과를 분류하기 때문에 논리 회귀 또는 논리 분류 라고도 부른다. 
    • 시그모이드 함수 : S자형 곡선 모양으로, 반호나값은 0~1 또는 -1~1의 범위를 갖는다. 시그모이드 함수는 기울기 폭주를 방지하는 대신 기울기 소실 문제를 일으킨다. 
    • 이진교차 엔트로피 : 평균 제곱 오차는 예측값과 실젯값의 값의 차이가 작으면 계산되는 오차 또한 크기가 작아져 학습을 원활하게 진행하기 어렵다. 이러한 경우를 방지하고자, 이진 교차 엔트로피를 오차 함수로 사용한다. 
• 비선형 활성화 함수 : 네트워크에 비선형성을 적용하기 위해 인공 신경망에서 사용되는 함수. 입력이 단순한 선형 조합이 아닌 형태로 출력을 생성하는 함수를 의미한다. 
  • 계단함수 : 이진 활성화 함수라고도 하며, 퍼셉트론에서 최초로 사용한 활성화 함수. 계단 함수의 입력값의 합이 임곗값을 넘으면 0을 출력하고, 넘지 못하면 1을 출력한다. 딥러닝 모델에서는 사용되지 않는 함수로 임곗값에서 불연속점을 가지므로 미분이 불가능해 학습을 진행할 수 없다. 또한, 역전파 과정에서 데이터가 극단적으로 ㅂ녀경되기 때문에 적합하지 않다.
  • 임곗값 함수 : 임곗값보다 크면 입력값을 그대로 전달하고, 임곗값보다 작으면 특정 값으로 변경한다. 
  • 시그모이드 함수 : 모든 입력값을 0과 1 사이의 값으로 매핑한다. 이진 분류 신경망의 출력 계층에서 활성화 함수로 사용된다. 
  • 하이퍼볼릭 탄젠트 함수 : 시그모이드 함수와 유사한 형태를 지니지만, 출력값의 중심이 0이다. 또한, 출력값이 -1,~1의 범위를 가지므로 시그모이드 함수에서 발생하지 않는 음수 값을 반환할 수 있다. 
  • ReLU 함수 : 0보다 작거나 같으면 0을 반환하며, 0보다 크면 선형 함수에 값을 대입하는 구조를 갖는다. 시그모이드 함수나 하이퍼볼릭 탄젠트 함수는 출력값이 제한되어 기올기 소실이 발생하지만, ReLU 함수는 선형 함수에 대입하므로 입력값이 양수라면 출력값이 제한되지 않아 기울기 소실이 발생하지 않는다. 
  • LeakyReLU 함수 : 음수 기울기를 제어하여, 죽은 뉴런 현상을 방지하기 위해 사용한다. 
  • PReLU 함수 : LeakyReLU 함수와 형태가 동일하지만, 음수 기울기 값을 고정값이 아닌, 학습을 통해 갱신되는 값으로 간주한다. 
  • ELU 함수 : 지수 함수를 사용하여 부드러운 곡선의 형태를 갖는다. 기존 ReLU함수와 ReLU 변형 함수는 0에서 끊어지는데, ELU 함수는 음의 기울기에서 비선형 구조를 갖는다. 
  • 소프트맥스 함수 : 차원 벡터에서 특정 출력값이 k 번째 클래스에 속할 확률을 계산한다. 클래스에 속할 확률을 계산하는 활성화 함수이므로, 은닉층에서 사용하지 않고 출력층에서 사용된다. 

---

• 순전파 : 순반향 전달이라고도 하며 입력이 주어지면 신경망의 출력을 계산하는 프로세스. 네트워크에 입력값(x)를 전달해 순전파 연산을 진행한다. 활성화 함수에서 출력값이 계산되고 이 값을 손실 함수에 실젯값과 함께 연산해 오차를 계산한다. 
• 역전파 : 순전파 방향과 반대로 연산이 진행된다. 학습 과정에서 네트워크의 가중치와 편향은 예측된 출력값과 실제 출력값 사이의 오류를 최소화하기 위해 조정된다. 

---

• 퍼셉트론 : 인공 신경망의 한 종류로서, 출력이 0 또는 1인 작업을 의미하는 이진 분류 작업에 사용되는 간단한 모델이다. 신경 세포가 신호를 전달하는 구조와 유사한 방식으로 구현 됐다.
  
  • 가지돌기는 입력값을 전달받는 역할을 한다. 신경세포체는 입력값을 토대로 특정 연산을 진행 했을 때 임곗값보다 크면 전달하고, 작으면 전달하지 않는다. 시냅스는 여러 퍼셉트론을 연결한 형태가 된다. 
  • 퍼셉트론은 TLU 형태를 기반으로 하며, 계단 함수를 적용해 결과를 반환한다. 
• 단층 퍼셉트론 : 하나의 계층을 갖는 모델을 의미한다. 입력을 통해 데이터가 전달되고 입력값은 각각의 가중치와 함께 노드에 전달된다. 전달된 입력값과 가중치를 곱한 값이 활성화 함수에 전달된다. 
  • 한계 : XOR 게이터처럼 하나의 기울기로 표현하기 어려운 구조에서는 단층 퍼셉트론을 적용하기가 어렵다. 
• 다층 퍼셉트론 : 단층 퍼셉트론을 여러 개 쌓아 은닉층을 생성.