뉴럴넷 아키텍쳐 종류와 특징

 

 

 

신경망 아키텍쳐 종류와 특징

 

시계열 예측을 위한 PyTorch에서 활용 가능한 신경망 아키텍처를 정확도 높은 순으로 나열하는 것은 주어진 데이터와 문제의 복잡성에 따라 다를 수 있지만, 일반적으로 효과적이라고 알려진 아키텍처들을 다음과 같이 정리할 수 있다. 여기서는 최근 연구와 실무에서 널리 사용되는 아키텍처들을 기준으로 나열한다.

 

 

 

1. Transformer

• 설명: 순차 데이터에 강력하며, Attention 메커니즘을 활용하여 장기 의존성을 학습하는 데 효과적.
• 장점: 병렬 처리 가능, 장기 의존성 학습에 우수.
• 사용 예: 최신 주가 예측, 자연어 처리.

2. Long Short-Term Memory (LSTM)

• 설명: RNN의 확장으로, 장기적인 의존성을 기억하기 위해 셀 상태와 게이트를 사용.
• 장점: 시계열 데이터의 장기 의존성 학습.
• 사용 예: 금융 시계열 예측, 텍스트 생성.

3. Gated Recurrent Unit (GRU)

• 설명: LSTM의 변형으로, 간단하고 빠르며 성능이 유사함.
• 장점: 적은 파라미터로 효과적인 시계열 데이터 처리.
• 사용 예: 시계열 데이터 예측, 기계 번역.

4. Temporal Fusion Transformer (TFT)

• 설명: Transformer의 변형으로, 시계열 데이터에 특화된 구조.
• 장점: 시계열 데이터의 복잡한 패턴 학습.
• 사용 예: 장기 예측, 복잡한 시계열 데이터 분석.

5. Convolutional Neural Network (CNN) for Time Series

• 설명: 시계열 데이터에서 패턴을 학습하기 위해 1D CNN 사용.
• 장점: 지역적 패턴과 특징을 잘 포착.
• 사용 예: 시계열 데이터 분류, 패턴 인식.

6. Attention Mechanism

• 설명: Transformer의 핵심 요소로, 입력 데이터의 중요 부분에 집중.
• 장점: 중요한 시점의 정보 집중.
• 사용 예: 시계열 데이터 분석, 기계 번역.

7. Bidirectional LSTM

• 설명: 두 방향의 LSTM을 결합하여 시계열 데이터의 과거와 미래 정보를 모두 학습.
• 장점: 양방향 정보 활용.
• 사용 예: 시계열 데이터 예측, 자연어 처리.

8. Autoencoder

• 설명: 데이터의 압축과 복원 학습을 통해 특징을 추출.
• 장점: 데이터 차원 축소, 노이즈 제거.
• 사용 예: 특징 추출, 데이터 전처리.

9. Variational Autoencoder (VAE)

• 설명: Autoencoder의 변형으로, 데이터의 잠재 변수 모델링.
• 장점: 생성 모델링, 데이터 분포 학습.
• 사용 예: 데이터 생성, 복원.

10. Neural Prophet

• 설명: Facebook Prophet의 신경망 기반 확장.
• 장점: 시계열 데이터의 트렌드와 계절성 학습.
• 사용 예: 시계열 예측, 장기 예측.

참고 사항

• 데이터 특성: 각 아키텍처의 성능은 주어진 데이터의 특성(예: 시계열 길이, 데이터의 복잡성 등)에 따라 달라질 수 있다.
• 하이퍼파라미터 튜닝: 모델의 성능은 하이퍼파라미터 조정에 크게 의존한다.
• 문제의 복잡성: 데이터와 예측 문제의 복잡성에 따라 적합한 모델이 달라질 수 있다.

 

 

구현 난이도 쉬운것 기준으로 보면, 

 

PyTorch에서 구현 가능한 신경망 아키텍처를 코딩 구현 난이도가 쉬운 순서로 정리하면 다음과 같다. 가장 기본적인 구조부터 복잡한 구조로 나열했다.

 

기본적인 아키텍처부터 점차 복잡한 모델로 이어진다. 처음부터 복잡한 모델을 시도하기보다, 간단한 모델부터 시작하여 데이터와 문제에 맞게 점차 발전시키는 것이 좋다.

 

 

 

1. Logistic Regression

• 설명: 이진 분류 문제에서 주로 사용되는 단일 계층 퍼셉트론. 주가 예측에서 회귀 문제로 확장하여 간단한 선형 회귀 모델로 사용 가능.
• 난이도: 매우 쉬움.
• 구현: 단일 nn.Linear 계층과 활성화 함수로 구현.

2. Fully Connected Neural Network (FCNN)

• 설명: 입력층, 은닉층, 출력층으로 구성된 다층 퍼셉트론(MLP). 기본적인 신경망 구조로, 데이터의 비선형 관계를 학습할 수 있음.
• 난이도: 쉬움.
• 구현: 여러 개의 nn.Linear 계층과 활성화 함수 (ReLU, Sigmoid 등)로 구성.

3. Simple Recurrent Neural Network (RNN)

• 설명: 시계열 데이터를 처리하기 위한 기본적인 순환 신경망. 주가 예측에서 시간 순서에 따라 데이터를 처리하는 데 사용.
• 난이도: 쉬움.
• 구현: nn.RNN 계층을 사용하여 간단하게 구현 가능.

4. Gated Recurrent Unit (GRU)

• 설명: RNN의 변형으로, 보다 효율적이고 장기 의존성을 학습할 수 있음. 구조가 간단해 LSTM보다 구현이 쉬움.
• 난이도: 쉬움.
• 구현: nn.GRU 계층 사용.

5. Long Short-Term Memory (LSTM)

• 설명: RNN의 확장판으로, 장기 의존성을 학습하는 데 뛰어난 성능을 발휘. 주가 예측에서 널리 사용됨.
• 난이도: 중간.
• 구현: nn.LSTM 계층 사용.

6. 1D Convolutional Neural Network (1D CNN)

• 설명: 시계열 데이터에서 패턴을 추출하는 데 사용되는 1차원 CNN. 주가 데이터의 특징을 효과적으로 추출할 수 있음.
• 난이도: 중간.
• 구현: nn.Conv1d 계층과 nn.MaxPool1d 계층을 사용하여 구현.

7. Bidirectional LSTM (BiLSTM)

• 설명: 양방향 LSTM으로, 시계열 데이터를 앞뒤로 모두 고려하여 학습. 과거와 미래 정보를 동시에 사용하여 더 나은 예측 가능.
• 난이도: 중간.
• 구현: nn.LSTM 계층과 bidirectional=True 옵션 사용.

8. Temporal Convolutional Network (TCN)

• 설명: 시계열 데이터를 처리하기 위한 CNN 기반 모델로, 긴 시간 범위의 의존성을 처리하는 데 효과적.
• 난이도: 중간에서 어려움.
• 구현: nn.Conv1d, nn.ReLU, nn.BatchNorm1d 계층을 사용하여 구성.

9. Simple Attention Mechanism

• 설명: 시계열 데이터에서 중요한 시점에 가중치를 부여하는 메커니즘. Transformer의 기본 원리로, 데이터를 효율적으로 처리할 수 있음.
• 난이도: 중간에서 어려움.
• 구현: Attention 점수 계산을 위한 추가 계층 구현 필요.

10. Transformer Encoder

• 설명: 최신 아키텍처로, 장기 의존성을 학습하는 데 효과적. 시계열 데이터를 처리하는 데 매우 유용하며 높은 성능을 기대할 수 있음.
• 난이도: 어려움.
• 구현: nn.TransformerEncoder 계층, 포지셔널 인코딩 등으로 구성.

 

---------------------------------------------------------------------------------------------------------------

 

 

 

Logistic Regression 

- 아래 설명은 금융분야에 적용시 Logistic Regression 으로 얻을 수 있는 결과물임. 

 

1. 이진 분류 결과

• 예측 목표: 주가가 상승할지 하락할지를 예측하는 이진 분류 문제로 설정할 수 있음.
• 결과물: 각 입력 데이터에 대해 주가가 상승할 확률(또는 하락할 확률)을 예측. 이를 기반으로 주가 상승(예: 1) 또는 하락(예: 0)이라는 예측 결과를 얻음.
• 활용: 간단한 매매 전략에서 "매수" 또는 "매도" 신호로 활용 가능.

2. 확률 값

• 예측 목표: 특정 클래스(예: 상승)일 확률 값을 직접 출력.
• 결과물: 각 데이터 포인트에 대해 확률 값이 제공되므로, 더 신중한 의사결정을 위해 확률 기반의 신호를 생성할 수 있음.
• 활용: 확률 값이 높을 때만 매매하거나, 다른 지표와 결합하여 전략 수립.

3. 모델 해석 가능성

• 해석: Logistic Regression은 비교적 간단한 선형 모델이므로, 각 특징(특성)이 주가 상승 또는 하락에 미치는 영향을 비교적 명확하게 해석할 수 있음.
• 결과물: 특성의 중요도와 모델의 가중치를 분석하여, 어떤 변수들이 주가 움직임에 큰 영향을 미치는지 이해할 수 있음.

한계

• 비선형 관계 처리 부족: 주가는 종종 비선형적인 움직임을 보이는데, Logistic Regression은 선형 분류기이므로 이러한 비선형성을 포착하기 어려움.
• 복잡한 패턴 학습 한계: 주가 예측에는 복잡한 시간적 의존성과 패턴이 존재하지만, Logistic Regression은 이를 충분히 학습할 수 없음.

Logistic Regression은 주가 예측에서 간단한 이진 분류 문제를 해결하는 데 적합하지만, 복잡한 패턴을 학습하거나 정밀한 예측을 위해서는 더 복잡한 모델(LSTM, GRU 등)을 사용하는 것이 일반적이다.

 

 

 

Fully Connected Neural Network (FCNN)

 

1. 연속적 가격 예측

• 예측 목표: 주가의 다음 시점의 정확한 가격을 예측하는 회귀 문제로 설정 가능.
• 결과물: 입력된 데이터에 대해 미래의 주가(또는 특정 시간 후의 주가)를 예측하는 연속적인 수치 값. 예를 들어, 다음 날의 종가를 예측.
• 활용: 이 예측 가격을 기반으로 매매 전략을 수립하거나 포트폴리오를 조정.

2. 이진 분류 또는 다중 클래스 분류

• 예측 목표: 주가가 상승할지 하락할지를 예측하는 이진 분류 문제 또는 여러 가격 범위를 예측하는 다중 클래스 분류 문제로 설정 가능.
• 결과물: 각 입력 데이터에 대해 상승(1) 또는 하락(0)을 예측하거나, 다양한 가격 범위에 대한 클래스 예측.
• 활용: 간단한 매매 신호 생성(예: 매수/매도), 가격 변화 범위에 따라 다른 전략 적용.

3. 복잡한 비선형 관계 학습

• 해석 가능성: FCNN은 다층 구조를 가지므로 입력 데이터와 출력 값 사이의 비선형 관계를 학습할 수 있음.
• 결과물: 주가 데이터에서 복잡한 패턴을 학습한 결과를 기반으로 예측. 비선형적인 주가 움직임을 더 잘 포착하여 예측 정확도 향상 가능.

4. 특성 중요도 분석

• 해석: FCNN의 은닉층에 있는 노드들은 입력 특성들의 가중합을 통해 작동하며, 이 과정에서 특정 특성이 주가 예측에 미치는 영향을 파악할 수 있음.
• 결과물: 특정 특성(예: 거래량, 지표 등)이 주가에 미치는 영향을 간접적으로 분석 가능. 가중치나 활성화 함수의 출력을 분석하여 주요 특성을 파악.

5. 다양한 출력 형태

• 연속적인 출력: 주가의 다음 값을 직접 예측할 수 있음.
• 확률적 출력: 분류 문제에서 주가가 상승하거나 하락할 확률을 출력 가능.
• 다중 값 출력: 다중 클래스 문제에서 여러 가격 범위에 대한 예측 값들을 동시에 출력 가능.

한계

• 시계열 데이터의 의존성 부족: 단순 FCNN은 시계열 데이터의 시간적 의존성을 직접적으로 고려하지 않음. 주가 데이터의 시간적 패턴을 학습하기 위해선 RNN, LSTM 같은 아키텍처가 더 적합.
• 복잡한 데이터 구조: 다층 구조로 인해 과적합(overfitting) 가능성 존재. 특히 주가 데이터처럼 노이즈가 많은 데이터에서 주의가 필요.

FCNN은 주가 예측에서 비선형 관계를 학습할 수 있는 장점이 있지만, 시간적 패턴을 고려하기 위해선 다른 아키텍처와 결합하거나 시계열 데이터 처리를 위한 기법이 필요할 수 있다.

 

 

 

Long Short-Term Memory (LSTM)

 

1. 미래 주가 예측

• 예측 목표: 주가의 다음 시점 또는 여러 시점 후의 가격을 예측하는 회귀 문제로 설정 가능.
• 결과물: 입력된 시계열 데이터에 대해 미래의 주가(예: 다음 날의 종가 또는 몇 시간 후의 가격)를 예측하는 연속적인 수치 값.
• 활용: 이 예측 값을 활용하여 매매 전략을 수립하거나 리스크 관리에 사용.

2. 주가의 방향성 예측

• 예측 목표: 주가가 상승할지 하락할지를 예측하는 이진 분류 문제로 설정 가능.
• 결과물: 각 입력 데이터에 대해 상승(1) 또는 하락(0) 여부를 예측하거나 상승/하락 확률을 제공.
• 활용: 매수/매도 신호 생성, 트레이딩 전략의 중요한 입력으로 사용 가능.

3. 시계열 데이터의 패턴 학습

• 해석 가능성: LSTM은 과거 데이터의 장기 의존성을 학습할 수 있어, 주가의 추세, 주기성, 패턴 등을 효과적으로 포착 가능.
• 결과물: 과거 주가 데이터의 패턴을 학습한 후 이를 바탕으로 미래의 주가를 예측. 과거 특정 시점의 중요한 이벤트들이 미래 가격에 미치는 영향을 반영.

4. 다중 스텝 예측

• 예측 목표: 한 번에 여러 시점의 미래 주가를 예측하는 다중 스텝 예측 문제로 확장 가능.
• 결과물: 다음 날, 그다음 날, 또는 특정 기간 동안의 여러 미래 시점에 대한 가격 예측 값들을 동시에 생성.
• 활용: 더 긴 기간의 포트폴리오 전략, 리스크 관리에 유용.

5. 다중 특성 입력 처리

• 입력 데이터: LSTM은 주가뿐만 아니라 거래량, 이동평균, 기술적 지표 등 다양한 특성들을 입력으로 받아 처리 가능.
• 결과물: 복합적인 입력 데이터를 바탕으로 더 정확하고 신뢰성 있는 예측 결과 도출.

6. 비선형성과 복잡한 관계 학습

• 설명: LSTM은 비선형 관계와 복잡한 상호작용을 학습할 수 있어, 주가의 변동성을 잘 반영할 수 있음.
• 결과물: 단순한 선형 모델이나 기본 RNN에 비해 복잡한 시장 행동을 더 잘 예측할 수 있음.

7. 시계열 분류 문제

• 예측 목표: 특정 시점 이후의 주가 움직임이 특정 패턴을 따르는지 여부를 분류하는 문제에 사용 가능.
• 결과물: 특정 패턴(예: 강한 상승, 급락, 횡보 등)에 해당하는 클래스 예측.
• 활용: 주가 패턴 인식 및 이를 기반으로 한 전략 수립에 사용.

한계

1. 복잡한 모델 구조

• 설명: LSTM은 기본 RNN보다 복잡한 구조를 가지므로, 모델 학습에 필요한 시간과 자원이 증가. 또한, 과적합(overfitting)에 더 민감할 수 있음.
• 영향: 주가 데이터는 노이즈가 많고 비정형적인 특성을 가지므로, 모델이 과적합되면 실제 예측 성능이 저하될 가능성이 있음.

2. 매개변수 튜닝의 어려움

• 설명: LSTM 모델은 여러 하이퍼파라미터(예: 은닉층 크기, 시퀀스 길이, 학습률 등)를 포함하고 있으며, 이들의 적절한 조합을 찾는 것이 쉽지 않음.
• 영향: 잘못된 하이퍼파라미터 설정은 학습이 제대로 이루어지지 않거나, 예측 성능이 저하될 수 있음.

3. 데이터 스케일의 민감성

• 설명: LSTM은 입력 데이터의 스케일(정규화)에 민감하며, 잘못된 데이터 스케일링은 학습에 부정적인 영향을 미침.
• 영향: 데이터 전처리 과정에서 적절한 정규화 방법을 선택하지 않으면, 모델의 수렴이 느려지거나 성능이 저하될 수 있음.

4. 비용이 큰 학습 과정

• 설명: LSTM은 긴 시퀀스를 처리하기 위해 많은 계산 자원이 필요하며, 특히 GPU를 사용하지 않을 경우 학습 시간이 매우 길어질 수 있음.
• 영향: 대규모 데이터셋을 학습시키거나 실시간 예측을 요구하는 환경에서는 실용적이지 않을 수 있음.

5. 장기 의존성 문제

• 설명: LSTM은 설계상 장기 의존성을 학습할 수 있도록 고안되었지만, 여전히 매우 긴 시퀀스를 처리할 때 정보가 희석되는 문제가 있을 수 있음.
• 영향: 극단적으로 장기적인 패턴이나 드물게 발생하는 이벤트를 예측하는 데는 한계가 있을 수 있음.

6. 설명 가능성 부족

• 설명: LSTM은 비선형적이고 다층 구조이기 때문에 예측 결과에 대한 해석이 어렵고, 어떤 요소가 예측에 가장 큰 영향을 미쳤는지 명확하게 설명하기 어려움.
• 영향: 금융 시장에서는 예측 결과의 설명 가능성이 중요하기 때문에, 블랙박스 모델로서의 LSTM은 실무에서 활용하는 데 어려움이 있을 수 있음.

7. 데이터 요구량

• 설명: LSTM은 많은 양의 훈련 데이터가 있어야 효과적으로 학습할 수 있음. 데이터가 부족하면 모델의 일반화 능력이 떨어질 수 있음.
• 영향: 제한된 데이터 환경에서는 LSTM이 적합하지 않을 수 있으며, 데이터 증강이나 다른 모델을 고려해야 함.

 

 

 

Transformer 모델과 Attention 메카니즘 

1. 미래 주가 예측

• 예측 목표: 주가의 다음 시점 또는 여러 시점 후의 가격을 예측하는 회귀 문제로 설정 가능.
• 결과물: 입력된 시계열 데이터에 기반하여 미래의 주가(예: 다음 날의 종가 또는 특정 기간 후의 가격)를 예측하는 연속적인 수치 값.
• 활용: 이 예측 값을 활용하여 매매 전략을 수립하거나 포트폴리오를 조정.

2. 주가의 방향성 예측

• 예측 목표: 주가가 상승할지 하락할지를 예측하는 이진 분류 문제로 설정 가능.
• 결과물: 각 입력 데이터에 대해 상승(1) 또는 하락(0) 여부를 예측하거나 상승/하락 확률을 제공.
• 활용: 매수/매도 신호 생성, 트레이딩 전략의 중요한 입력으로 사용 가능.

3. 시계열 데이터의 패턴 학습

• 해석 가능성: Transformer의 Attention 메커니즘은 입력 시계열 데이터에서 중요한 부분에 집중할 수 있으므로, 주가의 추세, 주기성, 패턴 등을 효과적으로 학습할 수 있음.
• 결과물: 과거 주가 데이터의 중요한 패턴을 학습한 후 이를 바탕으로 미래 주가를 예측. 중요한 이벤트나 트렌드가 예측에 반영됨.

4. 다중 스텝 예측

• 예측 목표: 한 번에 여러 시점의 미래 주가를 예측하는 다중 스텝 예측 문제로 확장 가능.
• 결과물: 다음 날, 그다음 날, 또는 특정 기간 동안의 여러 미래 시점에 대한 가격 예측 값들을 동시에 생성.
• 활용: 장기적인 포트폴리오 전략 수립, 리스크 관리에 유용.

5. 다중 특성 입력 처리

• 입력 데이터: Transformer는 주가뿐만 아니라 거래량, 기술적 지표 등 다양한 특성들을 입력으로 받아 처리할 수 있음.
• 결과물: 복합적인 입력 데이터를 바탕으로 더 정확하고 신뢰성 있는 예측 결과 도출.

6. 정보 강조 및 시퀀스의 중요성 파악

• 설명: Attention 메커니즘을 통해 입력 시퀀스에서 각 시점의 중요도를 파악할 수 있으며, 어떤 과거 데이터가 미래 주가 예측에 가장 큰 영향을 미치는지 이해할 수 있음.
• 결과물: 주가 예측에 중요한 특정 시점이나 패턴을 시각적으로 또는 수치적으로 분석하여, 예측의 근거를 명확히 할 수 있음.

7. 비선형성과 복잡한 관계 학습

• 설명: Transformer는 복잡한 비선형 관계와 장기적인 의존성을 학습할 수 있어, 주가의 변동성을 더 잘 반영할 수 있음.
• 결과물: 단순한 선형 모델이나 기본 RNN에 비해 복잡한 시장 행동을 더 잘 예측할 수 있음.

한계

• 계산 자원 요구: Transformer는 많은 계산 자원과 메모리를 필요로 하며, 대규모 시계열 데이터에서 학습 시간이 길어질 수 있음.
• 하이퍼파라미터 튜닝의 복잡성: Transformer 모델은 여러 하이퍼파라미터(예: Attention 헤드 수, 층 수 등)를 조정해야 하며, 최적의 조합을 찾는 것이 어려울 수 있음.
• 데이터 스케일의 민감성: 입력 데이터의 스케일에 민감하며, 적절한 정규화와 전처리가 필요함.

Transformer와 Attention 메커니즘은 주가 예측에서 시계열 데이터의 복잡한 패턴을 잘 학습할 수 있는 강력한 도구이지만, 그만큼 계산 비용이 크고 하이퍼파라미터 조정이 필요할 수 있다.

 

 

 

Temporal Fusion Transformer 

 

1. 미래 주가 예측

• 예측 목표: 주가의 다음 시점 또는 여러 시점 후의 가격을 예측하는 회귀 문제.
• 결과물: 입력된 시계열 데이터에 기반하여 미래의 주가(예: 다음 날의 종가, 특정 기간 후의 가격)를 예측하는 연속적인 수치 값.
• 활용: 예측된 주가를 활용하여 매매 전략을 수립하거나 포트폴리오를 조정.

2. 주가의 방향성 예측

• 예측 목표: 주가가 상승할지 하락할지를 예측하는 이진 분류 문제로 설정 가능.
• 결과물: 각 입력 데이터에 대해 상승(1) 또는 하락(0) 여부를 예측하거나 상승/하락 확률을 제공.
• 활용: 매수/매도 신호 생성, 트레이딩 전략의 중요한 입력으로 사용.

3. 다중 스텝 예측

• 예측 목표: 한 번에 여러 시점의 미래 주가를 예측하는 다중 스텝 예측 문제로 확장 가능.
• 결과물: 다음 날, 그다음 날, 또는 특정 기간 동안의 여러 미래 시점에 대한 가격 예측 값들을 동시에 생성.
• 활용: 장기적인 포트폴리오 전략 수립, 리스크 관리에 유용.

4. 다중 특성 입력 처리

• 입력 데이터: TFT는 주가뿐만 아니라 거래량, 기술적 지표, 날짜 정보 등 다양한 특성들을 입력으로 받아 처리할 수 있음.
• 결과물: 복합적인 입력 데이터를 바탕으로 더 정확하고 신뢰성 있는 예측 결과 도출.

5. 시계열 데이터의 패턴 학습

• 설명: TFT는 시계열 데이터의 장기적인 의존성과 복잡한 패턴을 학습할 수 있으며, 주가의 추세와 변동성을 포착.
• 결과물: 과거 주가 데이터에서 중요한 패턴과 트렌드를 학습하고 이를 바탕으로 미래 주가를 예측.

6. Temporal Fusion Mechanism 활용

• 설명: TFT는 Temporal Fusion Mechanism을 통해 시계열 데이터의 장기 의존성을 효과적으로 학습하고, 다양한 입력 변수를 결합하여 더 정밀한 예측을 가능하게 함.
• 결과물: 중요한 시점의 정보를 효과적으로 결합하여 예측의 정확도를 높임.

7. 변화하는 시계열 데이터에 대한 적응력

• 설명: TFT는 다양한 시계열 패턴과 변화에 적응할 수 있으며, 복잡한 시계열 데이터의 동적 패턴을 학습함.
• 결과물: 시장의 변화와 패턴을 반영하여 예측의 신뢰성을 높임.

한계

• 계산 자원 요구: TFT는 복잡한 모델이기 때문에 많은 계산 자원과 메모리를 요구할 수 있음.
• 하이퍼파라미터 조정의 복잡성: TFT는 여러 하이퍼파라미터를 조정해야 하며, 최적의 하이퍼파라미터 조합을 찾는 것이 복잡할 수 있음.
• 데이터 전처리 필요: 입력 데이터의 정규화 및 전처리가 필수적이며, 데이터의 품질이 예측 결과에 큰 영향을 미칠 수 있음.

pytorch-forecasting의 Temporal Fusion Transformer은 시계열 예측에서 매우 강력한 성능을 발휘할 수 있으며, 복잡한 패턴과 장기적인 의존성을 효과적으로 학습할 수 있다. 하지만, 구현과 학습 과정에서의 자원 요구와 하이퍼파라미터 조정이 필요하다.

 

 

 

 

 

 

 

 

 

연관

 

 

PyTorch . 머신러닝 , 뉴럴넷 라이브러리

 

 

 

---

첫 등록 : 2024.08.21

최종 수정 : 

단축 주소 : https://igotit.tistory.com/5768

---