[REVIEW] Operator-learning-inspired Modeling of Neural Ordinary Differential Equations

1) 어떤 문제를 해결하고 싶은가

• Neural ODE(NODE)는 hidden state의 시간 변화율 \(dh(t)/dt\)를 neural network로 parameterize해서, residual network를 연속 깊이(continuous-depth) 관점으로 일반화한 모델이다. 이 논문은 바로 이 ODE function \(f(h(t), t; \theta_f)\), 즉 hidden state의 time-derivative를 어떻게 모델링할 것인가를 핵심 문제로 둔다.
• 기존 NODE는 이 미분항을 주로 fully-connected layer, convolution layer, activation 같은 일반적인 finite-dimensional neural network로 구현해 왔다. 그런데 저자들은 ODE의 우변 자체가 본질적으로는 hidden state에 대한 differential operator를 학습하는 것이라고 본다. 따라서 단순한 neural network보다 operator learning 관점이 더 자연스럽고 더 expressive할 수 있다고 주장한다.
• 문제의식은 두 가지다.
  • 첫째, NODE의 ODE function은 사실상 \(h(t) \mapsto dh(t)/dt\)라는 operator인데, 기존 연구는 이를 operator로 명시적으로 다루지 않았다.
  • 둘째, PDE에서 강력함이 입증된 neural operator를 NODE에 그대로 붙이면 성능이 잘 나오지 않는다. 즉, operator learning을 NODE에 맞게 재설계해야 한다.

직관적 의미

기존 NODE는 “미분값을 예측하는 보통의 신경망”을 쓰는 셈이다.
이 논문은 한 걸음 더 나아가, “미분이라는 것 자체가 operator이므로 operator를 더 직접적으로 모델링하자”는 발상이다.
즉, scalar/vector mapping이 아니라 function-to-function 관점으로 ODE function을 다시 설계하려는 시도다.

왜 중요한가

NODE의 성능은 결국 \(f(h(t), t)\)를 얼마나 잘 배우느냐에 크게 좌우된다.
만약 이 부분을 더 expressive하고 구조적으로 타당한 방식으로 모델링할 수 있다면, image classification, time-series classification, image generation처럼 전혀 다른 downstream task들 전반에서 성능 향상을 기대할 수 있다.

---

2) 선행연구는 어땠는가

• Continuous-depth model / NODE 계열
  • NODE는 연속 깊이 네트워크를 구현하는 대표적 방법으로, adjoint sensitivity method를 통해 메모리 효율적으로 학습할 수 있다.
  • 이후 다양한 개선형 NODE가 제안되었다.
    • ANODE: extra dimension을 추가해 ODE의 homeomorphic limitation을 완화한다.
    • SONODE: second-order dynamics를 다룬다.
    • HBNODE, NesterovNODE, AdamNODE: optimizer의 momentum 구조를 ODE dynamics 설계에 반영한다. 즉, 기존 NODE 개선의 큰 흐름은 ODE function의 architecture를 더 정교하게 만드는 것이었다.
• Neural operator 계열
  • Neural operator는 PDE의 solution operator나 differential operator를 근사하기 위해 제안되었다. 핵심은 discrete input-output point mapping이 아니라, function space 사이의 mapping을 학습한다는 점이다.
  • 대표적으로 FNO(Fourier Neural Operator)는 Fourier domain에서 global convolution kernel을 parameterize하여 PDE operator를 효율적으로 학습한다.
  • AFNO는 vision transformer의 spatial mixer를 operator 방식으로 바꾸는 응용이다. 다만 이것도 본래 목적은 NODE의 ODE function 설계가 아니다.
• 저자들이 보는 선행연구의 한계는 다음과 같다.
  • 기존 NODE 연구는 ODE function을 거의 늘 CNN/FCN/ReLU류의 관습적인 네트워크로 설계했다.
  • 반대로 neural operator 연구는 주로 PDE solution operator 학습에 집중했지, generic ML task용 NODE 설계에는 거의 쓰이지 않았다.
  • 그리고 FNO/AFNO를 NODE에 naïve하게 적용하면 실제로는 성능이 떨어진다. 즉, 기존 operator 구조를 그대로 가져오는 것은 충분하지 않다.

선행연구의 흐름 요약

이전 NODE 연구는 “ODE function을 더 좋은 network로 바꾸자”는 흐름이었다.
이전 neural operator 연구는 “PDE operator를 잘 학습하자”는 흐름이었다.
이 논문은 이 둘을 연결하지만, 단순 결합이 아니라 NODE에 맞는 새로운 operator 구조가 필요하다고 본다.

---

3) 이 논문에서 하는 새로운 기여는 무엇인가

• 가장 핵심 기여는 Branched Fourier Neural Operator(BFNO)라는 새로운 neural operator architecture를 제안하고, 이를 NODE의 ODE function으로 사용했다는 점이다. 저자들은 이를 BFNO-NODE라고 부른다.
• 기여를 정리하면 다음과 같다.
  • ODE function을 operator 관점으로 재해석
    NODE의 \(f(h(t), t)\)를 단순 neural network가 아니라, hidden state에 differential operator를 적용하는 구조로 본다.
  • 기존 FNO를 그대로 쓰지 않고 BFNO를 새로 설계
    기존 FNO 계열의 low-pass filtering + convolution 중심 설계는 general ML task의 NODE에 restrictive하다고 보고, 대신 dynamic global convolution with multiple kernels를 도입한다.
  • 다양한 일반 ML task에서 성능 검증
    image classification, time series classification, image generation에서 기존 NODE 및 일부 non-NODE baselines보다 더 나은 성능을 보였다고 주장한다.
• BFNO의 구조적 아이디어는 특히 다음이 새롭다.
  • Fourier transform을 한 뒤,
  • 여러 개의 global convolution kernel \(R_i\)를 병렬로 적용하고,
  • 이 병렬 결과들을 fully-connected layer가 dynamic하게 aggregate한다.
  • 그리고 inverse Fourier transform과 residual-like linear path \(Wg_k\)를 더해 다음 representation을 만든다.
• 논문이 강조하는 novelty는 “neural operator를 NODE의 ODE function 설계에 본격적으로 쓴 첫 시도”라는 점이다.

직관적 의미

FNO는 하나 또는 제한된 방식의 Fourier-domain global filter를 쓰는 구조에 가깝다.
BFNO는 여러 global filter를 병렬로 두고, 그 결과를 데이터에 맞게 조합한다.
즉, “하나의 global operator”가 아니라 “여러 operator 후보를 병렬로 보고 조합하는 구조”라고 이해하면 된다.

왜 이 기여가 의미 있는가

ODE function은 NODE 전체의 dynamics를 결정한다.
여기서 operator expressivity를 올리면 단순히 accuracy만 올라가는 것이 아니라, 같은 NODE 프레임워크 안에서 더 복잡한 dynamics를 표현할 수 있게 된다.
논문은 이를 여러 task에서 empirical하게 보이려 한다.

---

4) 연구 방법은 무엇인가

4-1. 기본 수식과 관점

• 기본 NODE는 다음과 같다.
  \[\frac{dh(t)}{dt} = f(h(t), t; \theta_f)\] 그리고 forward pass는 초기값 문제를 풀어
  \[h(t_1)=h(t_0)+\int_{t_0}^{t_1} f(h(t), t; \theta_f)\,dt\] 로 계산한다.

• 저자들은 이 \(f\)를 “미분 연산자” \(D_f\)를 학습하는 것으로 재해석한다.
  \[h(t_1)=h(t_0)+\int_{t_0}^{t_1} D_f(h(t), t; \theta_f)\,dt\]

• 또한 neural operator 일반론에서는 operator \(L_\theta: P \to Q\)가 function space 사이의 mapping을 학습한다고 본다. 이 틀에서 NODE의 \(h(t)\mapsto dh(t)/dt\)도 operator learning 대상으로 볼 수 있다는 것이 논문의 출발점이다.

4-2. 전체 BFNO-NODE 구조

• 페이지 3의 Figure 1은 전체 파이프라인을 보여준다.

  • 입력은 현재 hidden state \(h(t)\)와 시간 \(t\)이다.
  • Encoder가 이를 representation \(g_0\)로 바꾼다.
  • \(N\)개의 BFNO layer를 거쳐 \(g_N\)을 만든다.
  • Decoder가 \(g_N\)을 \(dh(t)/dt\)로 변환한다.

• 수식으로는 다음과 같다.
  \[g_0 = Encoder(h(t), t), \quad g_{k+1}=BFNO_k(g_k), \quad \frac{dh(t)}{dt}=Decoder(g_N)\]

• Encoder와 Decoder는 fully-connected layers로 구성된다. BFNO layer가 핵심 모듈이다.

4-3. BFNO layer의 구체적 구조

• 페이지 4의 Figure 2에 따르면, BFNO layer는 다음 계산을 수행한다.
  \[g_{k+1} = \sigma\big(F^{-1}(\rho(F(g_k))) + Wg_k\big)\] 여기서
  • \(F\)는 Fourier transform,
  • \(F^{-1}\)는 inverse Fourier transform,
  • \(\rho\)는 dynamic global convolution,
  • \(Wg_k\)는 별도의 linear transformation path,
  • \(\sigma\)는 activation function이다.
• 즉, 구조적으로는
  • Fourier-domain global operation branch
  • linear/residual branch
    두 경로를 더한 뒤 nonlinearity를 적용하는 형태다.

4-4. Dynamic global convolution

• BFNO의 핵심은 \(\rho\)이다. 논문은 이를 다음처럼 정의한다.
  \[\rho(F(g_k)) = FC(O_1, O_2, \cdots, O_L), \quad O_i = R_i \odot F(g_k)\]

• 해석하면 다음과 같다.

  • Fourier-domain input \(F(g_k)\)에 대해
  • 서로 다른 \(L\)개의 global kernel \(R_i\)를 elementwise multiplication으로 각각 적용하고
  • 그 결과 \(O_1,\dots,O_L\)를 fully-connected layer가 합쳐서 최종 global operator 출력을 만든다.

• 여기서 \(L\)은 hyperparameter다. 너무 작아도 부족하고 너무 커도 overfitting 가능성이 있다고 ablation에서 본다. STL-10에서는 \(L=2\)가 가장 좋았다.

직관적 의미

기존 FNO가 하나의 global spectral filter 쪽에 가깝다면, BFNO는 여러 spectral filter를 동시에 적용한 뒤 이를 학습적으로 섞는다.
따라서 더 복잡하고 다양한 dynamics를 표현할 여지가 생긴다.

4-5. 실험 설정

• Image classification
  • 데이터셋: MNIST, CIFAR-10, CIFAR-100, STL-10.
  • 비교 대상: NODE, ANODE, SONODE, HBNODE, GHBNODE, NesterovNODE, GNesterovNODE, AdamNODE.
  • 공정 비교를 위해 parameter 수를 비슷하게 맞췄다. BFNO는 주로 \(N=2\), \(L=2\)를 사용했다.
• Time series classification
  • 데이터셋: HumanActivity, PhysioNet.
  • Latent-ODE의 ODE function을 BFNO 구조로 바꾼 Latent-BFNO-NODE를 사용했다. 효율성 때문에 이때는 \(L=1\)로 두었다.
• Image generation
  • 데이터셋: MNIST, CIFAR-10.
  • FFJORD-RNODE의 ODE function을 BFNO로 바꾼 FFJORD-BFNO-RNODE를 사용했다.
  • 이 task에서는 BFNO의 \(W\)를 단순 linear transform 대신 \(3\times 3\) convolution으로 대체했다.

4-6. 주요 결과

• Image classification
  • CIFAR-10: BFNO-NODE 0.6289, 기존 최고 baseline인 AdamNODE 0.6264보다 소폭 우세.
  • CIFAR-100: BFNO-NODE 0.2890, 기존 baseline들(대략 0.24~0.26대)보다 뚜렷하게 높다.
  • STL-10: BFNO-NODE 0.4455로 큰 폭 우세.
  • 다만 MNIST에서는 AdamNODE 0.9834가 BFNO-NODE 0.9752보다 높다. 즉, 모든 데이터셋에서 일관된 절대 우위는 아니다.
• Time series classification
  • HumanActivity accuracy: Latent-BFNO-NODE 0.874로 최고.
  • PhysioNet AUROC: Latent-BFNO-NODE 0.852로 ACE-Latent-ODE 0.853과 거의 비슷하며, 표준편차는 더 작다. 즉, 최고 단일 수치는 아니고 competitive + stable에 가깝다.
• Image generation
  • MNIST NLL(bits/dim): FFJORD-BFNO-RNODE 0.88, FFJORD-RNODE 0.97보다 개선.
  • CIFAR-10 NLL(bits/dim): 3.33, 기존 비교군보다 가장 좋다.
• Ablation
  • \(L\)의 개수는 중요하며 STL-10에서는 \(L=2\)가 최적. 너무 많으면 overfitting 가능성이 있다고 해석한다.
  • FNO-NODE, AFNO-NODE와 비교했을 때 BFNO-NODE가 일관되게 더 좋다. 즉, 개선이 단순히 “operator를 썼기 때문”이 아니라, BFNO라는 구체적 설계 때문이라는 것이 논문의 주장이다.

---

5) 한계는 무엇인가

• 모든 벤치마크에서 최고는 아니다
  • MNIST에서는 AdamNODE가 BFNO-NODE보다 더 높다. 따라서 “일반적으로 강하다”는 결론은 가능하지만, “항상 최고다”라고 말할 수는 없다.
  • PhysioNet에서도 AUROC 최고치는 ACE-Latent-ODE 0.853이고, BFNO 기반 모델은 0.852로 매우 근접하지만 단독 최고는 아니다.
• 방법의 이론적 정당화가 아직 경험적 수준에 가깝다
  • 논문은 BFNO가 operator learning 관점에서 더 적절하다고 주장하지만, 왜 이 구조가 특정 class의 ODE dynamics에 대해 더 잘 작동하는지에 대한 엄밀한 이론 분석은 거의 없다.
  • 예를 들어 approximation property, stability, generalization 측면에서 BFNO가 기존 ODE function보다 왜 우월한지 수학적으로 깊게 증명하지는 않는다. 이는 본문 구성상 empirical paper에 가깝기 때문이다. 이 부분은 논문이 직접 인정한 한계라기보다, 텍스트에서 드러나는 범위의 한계다.
• 비교 범위가 NODE 개선형 중심이다
  • image classification에서는 주로 NODE family와 비교한다. 성능 향상이 “operator-based NODE가 일반 deep architecture 전반보다 우월하다”는 결론으로 곧장 이어지지는 않는다.
  • 물론 일부 non-NODE baseline도 image generation에서 비교하지만, 전반적으로는 “NODE 설계 개선” 맥락에서 이해하는 것이 맞다.
• 하이퍼파라미터 민감도
  • ablation에서 \(L\) 값에 따라 성능 차이가 난다. 즉, BFNO가 좋은 구조라도 configuration에 민감할 수 있다.
• 계산량/학습시간 측면의 보편적 우위는 조심해서 봐야 한다
  • 본문과 appendix에서 NFE는 좋아 보이지만, AFNO 쪽은 CIFAR-100에서 training time이 너무 길어 작은 모델로 비교했다고 한다. 즉, operator 기반 방법들 간 공정한 비용 비교는 아직 덜 정리된 부분이 있다.
• 범용성 주장은 더 넓은 검증이 필요하다
  • 세 가지 task에서 결과가 좋지만, 이는 여전히 제한된 benchmark 집합이다. 더 큰 scale의 vision model, language model, control, scientific time series 등으로 확장 검증은 아직 없다.