网站域名备案变更,成华区建设局门户网站,安丘网站建设多少钱,计算机培训机构出来好找工作吗#x1f34e;个人主页#xff1a;小嗷犬的个人主页 #x1f34a;个人网站#xff1a;小嗷犬的技术小站 #x1f96d;个人信条#xff1a;为天地立心#xff0c;为生民立命#xff0c;为往圣继绝学#xff0c;为万世开太平。 基本信息
标题: A Token-level Contrastiv… 个人主页小嗷犬的个人主页 个人网站小嗷犬的技术小站 个人信条为天地立心为生民立命为往圣继绝学为万世开太平。 基本信息
标题: A Token-level Contrastive Framework for Sign Language Translation 作者: Biao Fu, Peigen Ye, Liang Zhang, Pei Yu, Cong Hu, Yidong Chen, Xiaodong Shi 发表: ICASSP 2023 arXiv: https://arxiv.org/abs/2204.04916 摘要
手语翻译SLT是一种有望弥合聋人与听力人士之间沟通鸿沟的技术。
最近研究人员采用了需要大规模语料库进行训练的神经机器翻译NMT方法来实现SLT。
然而公开可用的SLT语料库非常有限这导致了token表示的崩溃和生成token的不准确。
为了缓解这一问题我们提出了ConSLT这是一种新的针对手语翻译的token级对比学习框架通过将token级对比学习融入SLT解码过程来学习有效的token表示。
具体来说ConSLT在解码过程中将每个token及其由不同dropout掩码生成的对应token视为正对然后随机从不在当前句子中的词汇中抽取K个token来构建负例。
我们在两个基准PHOENIX14T和CSL-Daily上进行了全面的实验包括端到端和级联设置。
实验结果表明ConSLT比强大的基线实现了更好的翻译质量。 方法 对于每个token我们通过不同的dropout噪声构建其正例并从候选token集 C \mathcal{C} C 中随机采样 K K K 个token作为负例其中 C ⊂ V ∖ S \mathcal{C} \subset \mathcal{V} \setminus \mathcal{S} C⊂V∖S 表示在词汇表 V \mathcal{V} V 中但不在当前句子 S \mathcal{S} S 中的token。
实验
主实验 消融实验 w/o CL 表示没有对比学习方法S-CL 表示句子级对比学习方法T-CL 表示token级对比学习方法。cos 表示使用余弦相似度作为距离度量KL 表示使用KL散度作为距离度量。 总结
在这篇论文中我们从表示学习的角度提供了一种缓解SLT低资源问题的新的见解。
我们引入了ConSLT这是一种针对SLT的基于token的对比学习框架旨在通过将当前句子之外的词汇中的token推远来学习有效的token表示。
值得一提的是ConSLT可以应用于不同的模型结构。
我们还探讨了各种对比策略的影响并提供了细粒度分析来解释我们的方法是如何工作的。
实验结果表明对比学习可以显著提高SLT的翻译质量。
在未来我们将进一步研究手语视频和口语文本之间的跨模态关系。
