沈阳论坛建站模板,宣传册排版,做美食软件的视频网站,网站建设与维护书籍推荐系列文章链接 论文一#xff1a;2020 Informer#xff1a;长时序数据预测 论文二#xff1a;2021 Autoformer#xff1a;长序列数据预测 论文三#xff1a;2022 FEDformer#xff1a;长序列数据预测 论文四#xff1a;2022 Non-Stationary Transformers#xff1a;非平…系列文章链接 论文一2020 Informer长时序数据预测 论文二2021 Autoformer长序列数据预测 论文三2022 FEDformer长序列数据预测 论文四2022 Non-Stationary Transformers非平稳性时序预测 论文五2022 Pyraformer基于金字塔图结构的时序预测 论文六2023 Crossformer多变量时序预测 论文七2023 LSFT-Linear质疑transformer能力的线性预测模型
论文链接https://openreview.net/forum?idvSVLM2j9eie github链接https://github.com/Thinklab-SJTU/Crossformer 参考解读https://blog.csdn.net/qq_33431368/article/details/129483613
上海交通大学发表的论文主要是解决多个变量之间时序关系的建模解决基于多变量指标的时序数据处理本文的创新点主要提现在以下几点 Dimension-Segment-Wise Embedding对于多维时间序列应该对每个维度的数据进行单独的数据表征而不是在每个点位基于所有维度的数据进行数据表征因此本文针对每个维度的指标进行独立向量化表征线性转换位置编码更好地捕捉单变量的数据信息 Two-Stage注意力模块第一步是时间维度的注意力机制采用传统的时序transformer思想进行单维度内的时序数据建模然后第二步再进行空间维度的建模也就是提取多个变量之间的关联信息也就是在变量维度进行attention计算但是这样计算复杂度会很高本文设计了中间变量运算简化了计算 多层级Encoder-Decoder由于上一步会进行two-stage的注意力运算因此在Decoder中会分别对不同阶段的结果进行解码模型的输入最开始是细粒度patch随着层数增加逐渐聚合成更粗粒度的patch。这种形式可以让模型从不同的粒度提取信息也有点像空洞卷积的架构。Decoder会利用不同层次的编码进行预测各层的预测结果加和到一起得到最终的预测结果参考描述。
