大连做网站的科技公司,优化的概念,wordpress下拉框插件,网站建设运维策划大家好#xff0c;今日必读的大模型论文来啦#xff01;
1.谷歌推出新型 Transformer 架构#xff1a;反馈注意力就是工作记忆
虽然 Transformer 给深度学习带来了革命性的变化#xff0c;但二次注意复杂性阻碍了其处理无限长输入的能力。
谷歌研究团队提出了一种新型 T… 大家好今日必读的大模型论文来啦
1.谷歌推出新型 Transformer 架构反馈注意力就是工作记忆
虽然 Transformer 给深度学习带来了革命性的变化但二次注意复杂性阻碍了其处理无限长输入的能力。
谷歌研究团队提出了一种新型 Transformer 架构“反馈注意力记忆”Feedback Attention MemoryFAM其利用反馈环路使网络能够关注自身的潜在表征。这种设计促进了 Transformer 工作记忆的出现使其能够处理无限长的序列。TransformerFAM 不需要额外的权重因此可以与预训练模型无缝集成。
实验表明TransformerFAM 显著提高了 Transformer 在各种模型大小1B、8B 和 24B的长上下文任务中的性能。
论文链接 https://arxiv.org/abs/2404.09173
2.高通新研究提高多模态大型语言模型的推理速度
多模态大型语言模型MLLMs的推理速度很慢这是因为其大型语言模型骨干存在内存带宽瓶颈并且会自动回归生成 toekn。
高通研究团队探讨了如何应用推测解码来提高 MLLM特别是 LLaVA 7B 模型的推理效率。研究表明纯语言模型可以作为使用 LLaVA 7B 进行推测解码的良好草稿模型从而绕过草稿模型中图像 token 及其相关处理组件的需要。在三个不同任务中进行的实验表明推测解码可以实现高达 2.37 倍的内存加速。
论文链接 https://arxiv.org/abs/2404.08856
3.确保 LLM 对齐和安全的 18 个基本挑战
来自剑桥大学的研究团队及其合作者确定了在确保大型语言模型LLMs的一致性和安全性方面的 18 个基本挑战。这些挑战被分为三个不同的类别对 LLMs 的科学理解开发和部署方法以及社会技术挑战。他们根据已确定的挑战提出了 200 多个具体的研究问题。
论文链接 https://arxiv.org/abs/2404.09932
4.Ctrl-Adapter使多样的控制适应任意扩散模型的高效和通用的框架
ControlNets 被广泛用于在不同条件下的图像生成中添加空间控制如深度图、canny 边缘和人体姿态。
然而在利用预训练图像 ControlNets 进行受控视频生成时依然存在一些挑战。首先由于特征空间的不匹配预训练的 ControlNet 不能直接插入到新的骨干模型中且为新骨干训练 ControlNet 的成本很高。其次不同帧的 ControlNet 特征可能不能有效地处理时间一致性问题。
为此北卡罗来纳大学教堂山分校团队提出了一个高效、通用的框架——Ctrl-Adapter其可以通过适应预训练的 ControlNets 并改善视频的时间对齐为任何图像、视频扩散模型添加不同的控件。Ctrl-Adapter 提供多种功能包括图像控制、视频控制、具有稀疏帧的视频控制、多条件控制、兼容不同的骨干、适应未见过的控制条件和视频编辑。在 Ctrl-Adapter 中训练适配器层将预训练的控制网络特征融合到不同的图像、视频扩散模型同时冻结 ControlNet 和扩散模型的参数。Ctrl-Adapter 由时间模块和空间模块组成可以有效地处理视频的时间一致性。他们还提出潜在跳跃和逆时间步采样用于鲁棒自适应和稀疏控制。
此外Ctrl-Adapter 还能通过简单地取 ControlNet 输出的加权平均值来实现多种条件下的控制。凭借各种图像、视频扩散骨干SDXL、Hotshot-XL、I2VGen-XL 和 SVD Ctrl-Adapter 在图像控制方面与 ControlNet 不相上下并在视频控制方面超过所有基线在 DAVIS 2017 数据集上实现 SOTA 精度而且计算成本显著降低少于 10 GPU 小时。
论文链接 https://arxiv.org/abs/2404.09967 项目地址 https://ctrl-adapter.github.io/
5.Tango 2通过直接偏好优化调整基于扩散的文生视频模型
生成式多模态内容在许多内容创作领域日益流行因为它有可能让艺术家和媒体人员通过快速将他们的想法带到生活中来创建预制作模型。根据文字提示生成音频是在音乐和电影行业中这类流程的一个重要方面。
目前许多基于文生视频的扩散模型专注于在大量提示音频对数据集上训练日益复杂的扩散模型。然而这些模型并没有明确地关注概念或事件的存在以及它们在输出音频中与输入提示相关的时间顺序。
来自新加坡科技设计大学的研究团队及其合作者假设关注的是音频生成的这些方面如何在数据有限的情况下提高音频生成的性能。他们使用现有的文本到音频模型 Tango综合创建了一个偏好数据集其中每个提示都有一个赢家的音频输出和一些输家的音频输出供扩散模型学习。从理论上讲输家的输出可能缺少提示中的一些概念或顺序不正确。
他们在偏好数据集上使用 diffusion-DPO 损失对公开可用的 Tango 文生视频模型进行了微调并表明它在自动和手动评估指标方面优于 Tango 和 AudioLDM2 的音频输出。
论文链接 https://arxiv.org/abs/2404.09956 GitHub 地址 https://github.com/declare-lab/tango
6.Video2Game将真实世界场景视频转换为现实和交互式游戏环境
创建高质量的交互式虚拟环境如游戏和模拟器通常涉及复杂和昂贵的人工建模过程。
来自伊利诺伊大学香槟分校、上海交通大学和康奈尔大学的研究团队提出了一种自动将真实世界场景视频转换为现实和交互式游戏环境的新方法——Video2Game。该系统的有三个核心组件1神经辐射场NeRF模块有效捕捉场景的几何形状和视觉外观2一个网格模块从 NeRF 中提取知识以更快地渲染3物理模块对物体之间的相互作用和物理动力学进行建模。
通过遵循精心设计的管道人们可以构建现实世界的可交互和可操作的数字副本。在室内和大规模室外场景上对该系统进行了基准测试证明该方法不仅可以实时产生高度逼真的渲染还可以在上面构建交互式游戏。
论文链接 https://arxiv.org/abs/2404.09833 GitHub 地址 https://video2game.github.io/
7.北大、快手提出 UNIAA让多模态大模型更懂人类审美
作为昂贵的专家评估的替代方案图像美学评估IAA是计算机视觉领域的一项重要任务。然而传统的 IAA 方法通常局限于单一的数据源或任务限制了其通用性。
为了更好地符合人类的审美来自北京大学和快手的研究团队提出了一个统一的多模态图像美学评估UNIAA框架包括一个名为 UNIAA-LLaVA 的多模态大型语言模型MLLM和一个名为 UNIAA-Bench 的综合基准。他们为 IAA 选择了具有视觉感知和语言能力的 MLLMs并建立了一种将现有数据集转换为统一的高质量视觉指令微调数据的低成本范式并以此为基础训练 UNIAA-LLaVA。为了进一步评估 MLLMs 的 IAA 能力他们构建了由感知、描述和评估 3 个审美层次组成的 UNIAA-Bench。
通过大量实验验证了 UNIAA 的有效性和合理性。与现有的 MLLMs 相比UNIAA-LLaVA 在 UNIAA-Bench的所有级别上都实现了有竞争力的性能。该模型在审美感知方面的表现优于 GPT-4V甚至接近人类junior-levelMLLMs在 IAA 中有很大的潜力但仍有很大的改进空间。
论文链接 https://arxiv.org/abs/2404.09619
8.综述替代 Transformer 的状态空间模型
近来状态空间模型State Space ModelSSM作为一种可能替代基于自注意力的 Transformer 的方法受到了越来越多的关注。在这项工作中来自安徽大学、哈尔滨工业大学和北京大学的研究团队首先对这些工作进行了全面的综述并进行了实验比较和分析从而更好地展示 SSM 的特点和优势。
具体而言他们首先对 SSM 的原理进行了详细描述从而帮助读者快速捕捉 SSM 的主要思想然后对现有的 SSM 及其各种应用进行综述包括自然语言处理、计算机视觉、图、多模态多媒体、点云/事件流、时间序列数据等领域。此外他们还对这些模型进行了统计上的比较和分析希望能帮助读者了解不同结构在各种任务上的有效性。然后他们提出了该方向可能的研究方向从而更好地推动 SSM 理论模型和应用的发展。
论文链接 https://arxiv.org/abs/2404.09516 GitHub 地址 https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List
9.Melodist实现包含人声和伴奏的可控文生歌曲模型
歌曲是歌声和伴奏的结合然而现有的工作主要集中在歌唱声音合成和音乐生成上很少有人关注歌曲合成。
来自浙江大学的研究团队提出了一项名为“文本到歌曲合成”text-to-song synthesis的新任务其中包含人声和伴奏的生成他们开发的 Melodist 是一种两阶段文本到歌曲方法包括歌唱语音合成 SVS和人声到伴奏合成 V2A。Melodist 利用三塔对比预训练来学习更有效的文本表示用于可控的 V2A 合成。
为了缓解数据的稀缺性问题他们构建了一个从音乐网站中挖掘出的中文歌曲数据集。在他们的数据集上的评估结果表明Melodist 可以合成具有相当质量和风格一致性的歌曲。
论文链接 https://arxiv.org/abs/2404.09313 项目地址 https://text2songmelodist.github.io/Sample/
10.Megalodon具有无限文本长度的高效 LLM 预训练和推理
Transformers 的二次方复杂性和较弱的长度外推能力限制了其扩展至长序列的能力虽然存在线性注意和状态空间模型等二次方以下的解决方案但根据经验它们在预训练效率和下游任务准确性方面都不如 Transformers。
来自南加利福尼亚大学、Meta、卡内基梅隆大学和加利福尼亚大学圣地亚哥分校的研究团队提出了一种用于高效序列建模并且其上下文长度不受限制的神经架构 Megalodon。Megalodon 继承了 Mega 的指数移动平均线架构为提高其能力和稳定性还进一步提出了多种技术组件包括复杂指数移动平均法CEMA、时间步归一化层、归一化关注机制和带两跳残差配置的预归一化。在与 Llama2 的可控正面比较中Megalodon 在 70亿个参数和2万亿训练 Tokens 的规模上取得了比 transformer 更好的效率。Megalodon 的训练损失为1.70降落在美洲驼 2-7B (1.75) 和 13B (1.67) 之间。
论文链接 https://arxiv.org/abs/2404.08801 GitHub 地址 https://github.com/XuezheMax/megalodon
