官方网站怎么查询,网站对不同分辨率,三栏wordpress 主题,网站建设 体会2023 KDD POI 标签任务旨在为兴趣点#xff08;POI#xff09;标注具有信息性的标签#xff0c;这对于与 POI 相关的诸多服务#xff08;如搜索、推荐等#xff09;具有重要意义。然而#xff0c;大多数现有方法忽视了 POI 图像的重要性#xff0c;较少融合 POI 的文本和…2023 KDD POI 标签任务旨在为兴趣点POI标注具有信息性的标签这对于与 POI 相关的诸多服务如搜索、推荐等具有重要意义。然而大多数现有方法忽视了 POI 图像的重要性较少融合 POI 的文本和图像特征导致标签预测性能不理想。 如图所示左边的表格列出了“猫的天空之城”这个POI的全称、描述以及飞猪用户对它的一些评论都属于文本特征右边还展示了几张用户评论中贴出的图片。 在考虑了这些图像特征后标注模型可以过滤掉不正确的标签“品茶”、“茶馆”和“猫咖”基于评论文字产生的错误因为它们的语义与图像无关。 此外“网红拍照”和“网红打卡”这些与图像语义匹配的正确标签还可以被模型推断出来 为此我们提出了一种新颖的 多模态 POI 标签模型 M3PT该模型通过融合目标 POI 的文本和视觉特征并实现精准的多模态表示匹配从而提升标签预测效果。具体而言我们首先设计了一个领域自适应图像编码器DIE以获得与标签语义对齐的图像嵌入接着在 **M3PT 的文本-图像融合模块TIF**中POI 的文本与图像表示被充分融合为内容嵌入用于后续的标签匹配任务。此外我们引入对比学习策略进一步缩小不同模态表示之间的差距。 为了评估模型性能我们从阿里飞猪的真实业务场景中构建了两个高质量的 POI 标签数据集并在此基础上进行了大量实证实验。实验结果表明M3PT 在单模态和多模态的多个基线模型上均取得了显著优势同时验证了模型关键模块包括 DIE、TIF 以及对比学习策略的有效性。
