신경망 . transformer / temporal fusion transformer 차이점

 

 

 

기본 Transformer의 어텐션

• 어텐션 메커니즘:
  • Scaled Dot-Product Attention: 쿼리, 키, 값 벡터를 사용해 어텐션 점수 계산. 가중합을 통해 출력 생성.
  • 멀티헤드 어텐션: 여러 어텐션 헤드를 병렬로 사용해 다양한 정보 처리.
• 구성:
  • 인코더-디코더 구조: 인코더는 입력 시퀀스 처리, 디코더는 인코더 출력을 바탕으로 최종 출력을 생성.
  • 위치 인코딩: 시퀀스 순서 정보 제공.

Temporal Fusion Transformer (TFT)의 어텐션

• 어텐션 메커니즘:
  • 스태틱 및 동적 어텐션: 스태틱과 동적 어텐션을 결합해 시계열 데이터의 다양한 시간적 패턴 처리.
  • 디코딩에 사용: 스태틱과 동적 어텐션을 결합해 예측 성능 향상.
• 추가 구성 요소:
  • Temporal Fusion Layer: 장기적 트렌드와 단기적 패턴을 동시에 모델링.
  • Gating Mechanisms: 정보의 중요도 조절 및 시계열 데이터 특성 반영.
  • Variable Selection Network: 중요한 변수와 특성 선택, 예측 정확성 향상.

차별점 요약

• Transformer:
  • 어텐션 메커니즘: Scaled Dot-Product Attention과 멀티헤드 어텐션 사용. 주로 NLP 작업에서 사용.
  • 구성: 인코더-디코더 구조, 위치 인코딩으로 순서 정보 처리.
• TFT:
  • 어텐션 메커니즘: 멀티헤드 어텐션 외에도 스태틱과 동적 어텐션 결합.
  • 추가 구성 요소: Temporal Fusion Layer, Gating Mechanisms, Variable Selection Network 등.
  • 시계열 특화: 장기적 트렌드, 주기성, 외부 변수 효과적으로 처리.

결론

TFT는 기본 Transformer의 어텐션 메커니즘을 기반으로 시계열 데이터에 맞춰 추가적인 기능과 개선된 구성 요소를 갖추고 있다. Transformer는 다양한 데이터 처리에 유용하지만, TFT는 시계열 데이터의 예측과 분석에 특화되어 있다.

 

 

 

 

 

 

연관 

 

뉴럴넷 아키텍쳐 종류와 특징

 

 

 

---

첫 등록 : 2024.08.18

최종 수정 : 

단축 주소 : https://igotit.tistory.com/5764

---