[논문 스터디] 2023.09.22 후기

발표 논문:

1. A fast learning algorithm for deep belief nets

2. TSMixer: An All-MLP Architecture for Time Series Forecasting

 

새롭게 알게 된 점

- RBM (Restricted Boltzmann Machine): 초기 ML 생성 모델이다. visible unit으로부터 hidden unit sampling. 다시 hidden unit으로부터 visible unit을 generate (recontruction). 원래 visible unit과 hidden unit으로부터 reconstruction된 reconstructed visible unit이 유사해지도록 weight와 bias를 조정
- DBN (Deep Belief Network): RBM을 여러층 쌓은 모델이라고 볼 수 있다. RBM을 한층한층 쌓아가면서 학습하여 (pre-training) DBN의 initial weight로 사용한다. 그 다음 우리가 원하는 데이터를 가지고 fine-tuning한다. (Wake-Sleep 알고리즘: EM 알고리즘의 변형)
- Time Series 데이터 예측에 TSMixer가 unitvariated linear model만큼의 성능을 보장하면서도, multivariate model 성능에서는 더 좋은 성능을 보여준다. 

 

느낀 점

- RBM, DBN 이름만 한번씩 들어봤던 모델인데 이번 기회에 대략적으로나마 알게돼서 좋았다. 근데 수식이 많았어서 나중에 차근차근 살펴보는 것이 좋을 듯 하다.

- Time Series Forecasting 관련 논문은 이번에 처음 접해보았다. 몇년 전에 Vision task에서 좋은 성능을 보였던 MLP-Mixer와 차이점을 비교한 점이 흥미로웠다.