无需 Transformer，浮浅滤波器即可提高时候序列策动精度。

由国度信息中心、牛津大学、北京理工大学、同济大学、中国科学工夫大学等机构的团队提议了一个FilterNet。

当今已被 NeurlPS 2024 接纳。

准确策动时候序列，关于动力、表象、医疗等畛域中来说齐特地遑急。

当今很受迎接的一类策动模式是基于 Transformer 汇集进行建构的。

然则，Transformer 并不是全能的，尤其是关于时候序列策动这么的问题来说，它的结构显得有点过于复杂。

以 iTransformer 模子为例，它存在好多问题，比如对高频信号的反映较弱从而导致全频段信息欺骗受限、野心遵守低劣等，这些问题会大大影响模子的策动精度。

那么，FilterNet 有哪些翻新之处？

有计划动机：现存模子架构存在频段信息欺骗瓶颈

时候序列信号往往由不同频段信号构成，为了探究现存模子能否对频域信号进行准确捕捉，团队瞎想一个浮浅的模拟考阐发验。

最初，他们欺骗低频、中频和高频重量合成的信号四肢实验数据（见图 1 ( a ) ）来测试时序模子的策动性能。从图 1 ( b ) 不错看出，现时时序策动的先进模子 iTransformer 领路欠安。

这标明，即使是由三种不同频率因素构成的浮浅信号，现时先进的基于 Transformer 的模子仍无法充分学到相对应的频谱信息。

比较之下，在传统的信号料理（signal processing）畛域，浮浅的频率滤波用具备许多优秀特质，举例频率选拔性、信号调制和多速度料理。这些特质有望权臣提高模子在时候序列策动中索要关节信息频率模式的才调。

因此，受信号料理中滤波经过的启发，有计划团队提议了一种特地浮浅何况高效的学习框架— -FilterNet，用于时候序列策动任务。

有计划阵势：滤波器汇集（FilterNet）

FilterNet 的瞎想极其浮浅，举座框架如下图所示：

FilterNet 的中枢模块是频率滤波模块（Frequency Filter Block），包含团队瞎想的 2 种可学习滤波器：

1.Plain Shaping Filter：使用最淘气的、可学习的频率滤波器，杀青信号滤波与时候关系的建模。

2.Contextual Shaping Filter：针对欺骗滤波后的频率与原始输入信号的兼容性，进行依赖关系的学习。

具体来说，FilterNet 的各个组件有：

1. 实例归一化（Instance Normalization）

时候序列数据频频是在较万古候跨度内网罗的，这些非安稳序列不成幸免地使策动模子濒临随时候变化的散布偏移。像好多时序策动模子相似，团队罗致了可逆 Instance Normalization，如下所示：

2. 频率滤波模块（Frequency Filter Block）

时候序列策动器不错视为针对关节信号的捕捉，从某种进程上，也不错看作在频域上进行了一次滤波经过。

基于此，有计划东谈主员径直瞎想了一个滤波器模块来建模相应的关系，具体为：

文中包含两类滤波器，分辨为 plain shaping filter ( PaiFilter ) 和 contextual shapingfilter ( TexFilter ) 。PaiFilter 径直通过启动化一个权重参数� � � � 来模拟对应的滤波器，具体为：

相对应的，TexFilter 则通过一个可学习的神经汇集来生成相应的滤波器，完成对应的滤波学习，具体为：

3. 前馈神经汇集（Feed-forward Network）

频率滤波模块建模了时候序列数据中的一些主要时候依赖关系，随后他们欺骗前馈神经汇集（Feed-Forward Network）建树这些时候依赖关系和畴前 τ 个时刻数据的关系，临了进行策动，并对策动值进行反归一化操作。

FilterNet 在各式场景下齐领路优厚

1. 策动终结

实验在八个时候序列策动基准数据集上进行了凡俗的测试，终结标明，与最新的预野心法比较，FilterNet 模子在不同策动场景中均领路出超卓的性能。

其中，PaiFilter 在少许据集上（变量数较小，如 ETT、Exchange 数据集）领路更好，而 TexFilter 则在大数据集上（变量数较多，关系更为复杂，如 Traffic、Weather 数据集）领路出强有劲的竞争力。

2. 频率滤波器的可视化

图 7 是学习到的滤波器的频率反映特质的可视化图表，标明 FilterNet 具备全频段的信号料理才调。

此外，如图 8 所示，在 ETTm1 数据集上针对不同策动长度进行的可视化实验进一步证明了 FilterNet 的浩大料理才调。

3. 策动终结的可视化

与其他最新模子比较，FilterNet 在策动畴前序列变化方面展现了出色的准确性，充分证明了其超卓的性能。

4. 遵守分析

团队还在两个不同的数据集上对 FilterNet 进行了相应的遵守分析实验，实验终结标明，非论数据集大小，FilterNet 齐领路出比 Transformer 阵势更高的遵守。

固然在每个 epoch 锻真金不怕火时候上，FilterNet 比 DLinear 略差，然则 FilterNet 遵守比 DLinear 要好。

为时候序列策动提供新想路

这篇论文是初度尝试将频率滤波器径直应用于时候序列策动的职责，从信号料理的角度切入是一个特地意象的新想路。

有计划团队提议了一种浮浅而高效的架构—— FilterNet，该架构基于他们瞎想的两类频率滤波器来杀青策动想法。在八个基准数据集上的全面实考证明了 FilterNet 在遵守和遵守方面的优厚性。

此外，团队成员还对 FilterNet 过甚里面滤波器进行了风雅无比真切的模子分析，展示了其诸多优秀特质。

他们暗意，但愿这项职责概况鼓吹更多有计划，将信号料理工夫或滤波经过与深度学习相集中，提高时候序列建模与精准策动的遵守。

Paper Link：https://arxiv.org/abs/2411.01623

Code Repository：https://github.com/aikunyi/FilterNet

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿履行‍

附上论文 / 阵势主页迷惑，以及关系方式哦

咱们会（尽量）实时回应你

点这里� � 提神我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相遇 ~