河南省财政厅经济建设网站,网站后台慢,河北网站建设多少钱,注册公司有什么好处有什么坏处在NLP和CV领域#xff0c;通常通过在统一的预训练模型上进行微调#xff0c;能够在各自领域的下游任务中实现SOTA#xff08;最先进#xff09;的结果。然而#xff0c;在时序预测领域#xff0c;由于数据量相对较少#xff0c;难以训练出一个统一的预训练模型来覆盖所有…在NLP和CV领域通常通过在统一的预训练模型上进行微调能够在各自领域的下游任务中实现SOTA最先进的结果。然而在时序预测领域由于数据量相对较少难以训练出一个统一的预训练模型来覆盖所有时序任务。因此时序预测算法的研究面临着较大挑战。
今天我带来了一篇关于时序迁移学习的论文提出了一种跨模态知识迁移的方法将NLP中预训练的语言模型迁移到时序任务上。这一方法在多个时序任务中取得了与现有最先进模型SOTA相当甚至更优的性能。
接下来我将按照论文的结构对这篇文章的核心内容进行解读。 1. Abstract
尽管在自然语言处理NLP和计算机视觉CV领域见证了预训练模型的巨大成功但在一般时间序列分析方面的进展有限。与NLP和CV中可以使用统一模型执行不同任务不同在每个时间序列分析任务如分类、异常检测、预测和少样本学习中特定设计的方法仍然占主导地位。阻碍时间序列分析预训练模型发展的主要挑战是缺乏大量用于训练的数据。在本研究中通过利用从数十亿个tokens中预训练的语言或计算机视觉模型来解决这一挑战。具体来说避免改变预训练语言或图像模型中残差块的自注意力层和前馈层。这种模型被称为“冻结预训练Transformer”Frozen Pretrained Transformer, FPT通过在所有主要的时间序列任务上进行微调来评估其效果。本文的结果表明在自然语言或图像上预训练的模型能够在所有主要的时间序列分析任务中表现出与现有方法相当或领先的性能如图1所示。作者还从理论和实验上发现自注意力模块的行为类似于主成分分析PCA这一观察有助于解释transformer是如何跨越领域差距的并为理解预训练transformer的普适性提供了关键的一步。
完整文章链接跨模态知识迁移基于预训练语言模型的时序数据建模
