예비 대학원생의 논문 리뷰 뽀개기

📋핵심Positional Embedding을 ax+b 형태로 둔다. a,b는 훈련 과정에서 정해지는 파라미터다. 2024년에 쓰인 Positional Embedding 논문에 RoPE(Rotary Positional Embedding) 내용이 없다는 게 상당히 아쉬운 부분이다. 그리고 사실 언급된 property를 꼭 지켜야하는 이유도 잘 납득이 되지 않는다. 그치만 NCDE로 주장을 뒷받침하는건 흥미로운 시도라고 생각한다.1) 어떤 문제를 해결하려는가Problem: Irregularly-sampled time series forecasting시계열은 \(T=\{(t_i,x_i)\}_{i=1}^N\), \(t_i \in \mathbb{R}\)이며 irregular sampling 됨.Transforme..

📋핵심이 논문 진짜 별거 없고 트랜스포머에서 K,Q,V를 계산할 때 local Signature이랑 global Signature를 쓴다는 것임.1. 해결하고자 하는 문제현실 시계열 데이터는 보통irregular sampling(샘플링 간격 불균일)variable length(길이 가변)long-range dependency(먼 과거가 현재에 영향)high-frequency → very long sequence(길이 폭발)을 동시에 가진다.기존 모델의 병목RNN/GRU: 긴 의존성에서 학습이 불안정(대표적으로 vanishing gradient) → long-range 추출이 약하다.Neural ODE / Neural CDE / Neural RDE: continuous-time 처리는 가능하나, 긴 시계..

ContiFormer가 풀려는 문제Irregular time series(불규칙 샘플링, missing observation, variable time gap)에서 다음 두 목표를 동시에 달성하려 한다.관측들 사이의 time-evolving relationship(관측 간 상호작용/의존성)이 복잡하게 변하는 것을 잘 포착한다.데이터 생성 과정이 continuous-time dynamic system이라는 관점에서, 출력이 (almost) continuous & smooth trajectory가 되도록 모델링한다.논문이 보는 핵심 난점은 “관측 간 관계 modeling(Transformer 강점)”과 “연속 시간 dynamics(ODE/CDE 강점)”를 한 모델에서 함께 만족시키기 어렵다는 점이다.직관적 ..

1) 해결하고자 하는 문제문제: long time series에서 Neural CDE의 계산 병목과 성능 저하Neural CDE는 관측 시계열 \(x=((t_0,x_0),\dots,(t_n,x_n))\)을 연속 경로 \(X:[t_0,t_n]\to\mathbb{R}^v\)로 보간한 뒤, hidden state \(Z\)를 다음 CDE로 정의한다:\(Z_a=\xi,\; Z_t=Z_a+\int_a^t f(Z_s)\,dX_s\)\(X\)가 differentiable이면\(\int_a^t f(Z_s)\,dX_s=\int_a^t f(Z_s)\dot X_s ds\)로 바뀌어 ODE solver로 계산한다.실제 구현에서는\(Z_t=Z_{t_0}+\int_{t_0}^t g_{\theta,X}(Z_s,s)\,ds\),\(..