예비 대학원생의 논문 리뷰 뽀개기

1) 해결하고 싶은 문제 (Problem)irregularly-sampled + partially-observed multivariate time series를 continuous-time 모델로 직접 다루고 싶다.기존 Neural ODE를 time series에 쓰면 구조적 이슈가 생긴다.✏️Note · ODE solution은 initial condition에 의해 결정되므로, 중간에 들어오는 관측값을 dynamics에 자연스럽게 주입하기 어렵다.Neural ordinary differential equations(Neural ODEs)는 map \(x \mapsto y\)를 근사하기 위해 함수 \(f_\theta\)와 linear map \(\ell_\theta^{1}, \ell_\theta^{2}..

한 줄 요약신경망의 depth를 이산적인 layer로 두지 않고, hidden state가 연속 시간에서 따르는 Ordinary Differential Equation으로 모델링한다.1) 이 논문이 풀고 싶은 문제는 무엇인가?ResNet의 업데이트 식 \(h_{t+1}=h_t+f(h_t)\)는 ODE \(\frac{dh}{dt}=f(h)\)를 Euler method로 적분한 형태로 해석할 수 있다.Euler method1) 출발점: 미분방정식이 뭐냐가장 기본형 ODE(상미분방정식)는 \[\frac{dz(t)}{dt}=f(z(t),t)\] - \(z(t)\): 시간 \(t\)에서의 상태(스칼라 또는 벡터) - \(f(z(t),t)\): 그 상태의 순간 변화율(속도/방향)즉, - “현재 상태가 \(z(t)\..

1) 정의제약 있는 최적화 문제를 둔다.목적: \(\min_x\; f(x)\)제약: \(g(x)=0\)라그랑주 승수 \(\lambda\)를 도입해 라그랑지안(Lagrangian) 을 만든다:\[\mathcal{L}(x,\lambda)=f(x)+\lambda\,g(x).\]여기서 \(\lambda\)가 라그랑주 승수(Lagrange multiplier), “제약을 만족시키도록 강제하는 가중치(dual 변수)”다.f(x)를 최소화하면서 g(x)=0 제약을 만족시키는 최적의 \(x^*\)는 아래 두 조건을 만족한다.제약 만족:\[g(x^*)=0\]기울기 정렬(라그랑주 정지 조건):\[\nabla f(x^*)+\lambda^*\nabla g(x^*)=0\]2) 한 줄 예시(원 위에서 최소)단위원 위에서 \(f(..

📋핵심Transformer의 self-attention은 모든 토큰쌍을 동시에 비교하므로 계산량이 \(O(L^2)\)로 커지고, 내부 구조도 복잡해진다고 보고, 이 논문은 그걸 안쓰는 대안을 제시한다. 각 토큰을 저차원으로 줄인 뒤, 가까운 두 토큰이 만드는 “평면(2차원 부분공간)”을 숫자 벡터(Plücker 좌표)로 바꿔 관계 특징으로 쓰고, 그 특징으로 토큰 표현을 업데이트한다. (가까운 두 토큰끼리만 비교해서 L^2->L로 줄어든 것) 그 결과, language modeling과 문장 분류에서 Transformer 대비 성능이 크게 뒤처지지 않으면서도, 계산 복잡도는 시퀀스 길이에 대해 \(O(L)\)로 선형 스케일링된다고 주장한다.1) 해결하고 싶은 문제 (Problem)표준 Transform..

짜증나게 수학 정의 앞에는 맨날 뭔 말인지 모르겠는 것들이 붙어있다. 대충 까이꺼 하면 될 것 같은데 수학자들은 너무 엄밀하다. 계속 눈에 띄어서 대수에 대해 생각해봤는데 JAVA의 인터페이스라고 생각하니 왜 수학쟁이들이 이렇게 엄밀하게 하려고 하는지 딱 이해가 되었다. 코딩쟁이인 나도 반복되는 클래스 만들 때 깔끔하게 인터페이스로 정리하는거 좋아하는데 수학자들도 마찬가지겠지!! 하나하나 그 정확한 뜻을 외우려고 하면 절대 못외우니, 직관적인 뜻만은 꼭 암기하려고 글을 써본다. 참고로 야메 수학이니 정확하게 맞지 않아도 넘어가주시길,,대수 축0) 한 줄 계층도체 \(k\) → \(k\)-벡터공간 \(V\) → \(k\)-대수 \(A\) → \(A\)-모듈 \(M\) → (선형)표현(= 숫자 시스템 → 그..

보호되어 있는 글입니다.

Chevyrev, Ilya, Andrey Kormilitzin. A Primer on the Signature Method in Machine Learning. 2026. https://doi.org/10.1007/978-3-031-97239-3_1.Intro풀고 싶은 문제시계열(path) 데이터를 “형태(shape)”까지 보존하면서, 수학적으로 다루기 좋은 벡터(특징)로 바꾸는 것이다.논문은 time-ordered data를 path \(X:I\to\mathcal{X}\)로 보고, 특히 \(X:[a,b]\to\mathbb{R}^d\) 형태를 주로 다룬다.기존에 쓰이던 방식들시간 무시 요약평균/분산/최대/최소, 히스토그램/분포 추정저차 통계량자기상관/공분산, 일부 lag만 고려모델 가정 기반ARIMA, ..

❣️지난 주까지 한 일1주차: Signature가 무엇인가?👉 논문 “A Primer on the Signature Method in Machine Learning”을 읽음.→ Signatrue의 정의와 기본적인 성질들을 다룸.👉논문 “Extracting information from the signature of a financial data stream”을 읽음→ Signature + lasso regression을 사용해서 financial data stream을 분석하는 논문.→ 원유 선물거래 데이터를 (1) 시간대별 분류 (2) 거래 알고리즘별 분류해보고, Signature를 설명변수로 이용한 lasso regression을 실시2주차 Signature + lasso regression의 C..

문제 설정과 연구 동기해결하고자 하는 문제freight transportation marketplace rate(운송 시장 요율)의 중·단기 시계열 예측 문제를 다룬다.특히 non-stationary, regime switching, strong seasonality, 외생 충격(COVID-19, Ukraine conflict 등)이 존재하는 환경에서의 예측 정확도와 해석가능성을 동시에 확보하는 것이 목표이다.선행연구의 한계Classical time series modelsARIMA, Exponential Smoothingstationarity 가정이 필요하며 abrupt change, long-term trend, regime switching에 취약Deep learning 기반 모델LSTM, GRU ..

SigFormer: Signature Transformers for Deep HedgingAnh Tong, Thanh Nguyen-Tang, Dongeun Lee, Toan Tran, and Jaesik Choi. 2023. SigFormer: Signature Transformers for Deep Hedging. In 4th ACM International Conference on AI in Finance (ICAIF ’23), November 27–29, 2023, Brooklyn, NY, USA. ACM, New York, NY, USA, 9 pages. https://doi.org/10. 1145/3604237.36268411. 연구 문제 (Problem Statement)이 논문은 deep h..