南宁网站建设培训学校,网站防护怎么做,做外贸的人如何上国外网站,如何运行asp.net网站随着移动互联网的一路狂飙#xff0c;手机已经成为人们的新器官。出门不带钥匙可以#xff0c;不带手机却是万万不可以的。而手机上#xff0c;小小的摄像头也越来越成为各位「vlogger」的口袋魔方。每天有超过数亿的照片和视频被上传到百度网盘中#xff0c;这些照片和视频…
随着移动互联网的一路狂飙手机已经成为人们的新器官。出门不带钥匙可以不带手机却是万万不可以的。而手机上小小的摄像头也越来越成为各位「vlogger」的口袋魔方。每天有超过数亿的照片和视频被上传到百度网盘中这些照片和视频大多来自于用户自己的拍摄或收藏覆盖的主题和内容相当广泛包括人物、风景、动物、地标建筑、素材等。他们记录着生活也通过灵感和创意展示着生活。但由数量庞大、种类繁多这些图像资源的管理和搜索成为了用户的一大挑战。 在和用户的沟通中“找照片的过程十分痛苦”引起了大家的共鸣。即使网盘提供了云上大空间供照片储存基础分类搜索后的照片还是如同汪洋大海。有时候为了寻找一张在记忆中“闪现”的照片需要长时间在时光轴里滑动。
「如果能通过 去年夏天我在海边的照片 这种关键词直接得到照片就好了」。
说干就干。
网盘的技术同学开始广泛调研市面上的图片搜索功能。研究发现目前大部分都是基于标签的图片搜索方法。这往往需要用户手动或者AI帮助添加标签或关键词才能进行检索和匹配。然而由于一张图片往往有很多不同的内容和特征标签的限制导致用户只能添加少量有限范围内的标签诸如简单的“猫”“日出”等无法全面地描述图片的内容和特征。因此现有的图片搜索无法响应用户更加复杂的图片描述。
「怎么办」用户这样问我们我们就这样问自己。
「精准精准再精准」
话不多说先来看看优化后的实际效果 从「鸟」到「海边的鸟」从「海边」定位到「我在海边」从「宝宝」精准到「抱着宝宝逛街」……
百度网盘想做的做成的就是从「面」精准到「线」甚至到「点」。
为了解决这个问题百度网盘引入了基于自然语言的图片内容语义检索方法这种方法是利用深度学习和人工智能技术将每张图片转化为一个向量表示从而通过计算语言向量和视觉向量之间的相似度来进行搜索和匹配。由于向量表示比传统标签更加丰富因此能有效实现人们用自然语言搜索图片的目的。
「为什么用向量」相信这也是很多“行友”的疑惑。
相比传统的标签搜索方法基于向量的语义检索具有以下优点
用户输入的灵活度高用户可以直接按照正常说话的方式进行检索不需要考虑图片是什么标签检索准确性高由于向量可以全面地描述图片的内容和特征因此搜索结果更加准确和全面可检索的内容广百度网盘采用百度文心跨模态大模型ERNIE-ViL技术不错openai有一个类似的技术clip这也是最近风靡全球的AI绘画的核心模型这种技术使用了海量网络数据进行训练从而可以理解和识别广泛的图片内容无论是人物、风景、动物、地标建筑、素材等各种领域的图片都不在话下
因此在百度网盘团队的努力下我们真的做到了「精准精准再精准」图片搜索也不再那么“难”了。
有「AI」我们更「爱」搜了
实际技术产品化过程并非一帆风顺我们遇到了很多问题这也是业界很多相册管理工具未提供类似功能的原因。从项目立项、效果验证到产品化我们花了超过四个月的时间直到22年8月底正式上线和大家见面。“怎么做到的” “如何理解自然语言” “还能更快搜到吗”……这些都是我们和用户共同关注的问题。
搜得到
像“穿鞋子的猫”、“穿正装的照片”这种传统的标签检索很难搜到。因此我们选择了语义向量。无论是OpenAI开源的CLIP还是百度自研的融合了场景图知识的多模态预训练模型ERNIE-ViL都很擅长解决语义匹配问题。
这类方法的核心原理是将检索文本和个人影像数据映射到同一语义向量空间文本和个人影像数据向量之间的距离越近相似度就越高。这样我们通过向量检索来实现用中文文本查找对应图片的功能了。相比传统先打标签再关键词搜索的方法基于语义的检索方案直接实现了端到端的语义匹配能够避免语义的丢失。 搜得准
在网盘用户的实际搜索中我们发现用户存在着复杂多维度组合查询的需求。比如去年我在三亚海边看日出的照片。其中包含了时间、地点、人物的信息这就超出了语义向量的能力边界了语义向量无法精准的判断时间、地点也无法知道你是谁。
但是经常拍照的用户应该会说「我们手机拍出来的照片就包含了拍摄时间、经纬度等相关信息呀」
没错我们正是通过提取这些元信息把经纬度转换成实际的街道名、场所名称从而用来做时间、地点的精确匹配。
「那怎么识别我是谁」
别急虽然识别“谁是你”相对复杂一些但我们也找到了解决办法。在百度网盘备份过照片的用户应该都知道智能分类。我们会把照片中出现的同一个人物的照片聚合出来你可以自己给这个人物打上标签比如“我自己”、“宝贝”等。我们便基于这个标签来做人物的搜索。有了这些信息我们就可以实现时间、地点、人物、事件组合的复杂搜索。回到上面这个例子“去年我在三亚海边看日出的照片”我们拿到这个请求会首先解析出里面包含的各个元素 时间去年 地点三亚 人物我 事件海边看日出
其中时间、地点、人物可以用范围查询或者关键词查询来实现事件适合用语义向量来实现通过这样的组合查询我们最终就能得到用户想要的结果。
有些用户反馈图片的结果太靠后了「在找图片的时候总是要翻好几次才能看到真难」
于是我们增加了对用户搜索意图的理解如果识别出来你是想要找图片我们就会把图片的返回结果放在最上面。 搜得快
解决了效果方面的问题又出现了新的挑战如何将技术变成用户可使用的产品由于成本太高效率太低很多相册APP并没有把这种功能开放给用户。
「无所谓我会溜走」划掉
说正经的
影响速度的环节有很多整个过程中我们首先需要提前对用户的图片进行向量计算并建立索引然后查询的时候能够快速的对用户的query进行分析并完成图片向量的检索最终把结果排序后呈现给用户。这个流程中我们遇到了很多挑战 端云结合
我们在云上对已备份的图片进行向量计算避免了数据在用户设备和服务器之间公网传输的延时也弥补了用户设备算力不足的问题可以快速的完成向量计算的工作在云端完成向量计算后通过实时数据同步通道及时下发到用户设备本地建立索引用户在查询的时候可以直接在本地完成向量检索
端本地索引优化为了节省用户本地的索引存储量同时尽可能减少计算量我们对索引进行了大量的压缩优化后即使图片规模达到10w向量检索速度也可以达到ms毫秒级别最终返回结果的延时能控制在秒级别。
端云向量检索流程如下图所示 请求云端计算文本“黄色的猫”的特征向量和LSHLocality-Sensitive Hashing局部敏感哈希编码 计算文本和图片LSH编码相等的维数找到相等维数超过阈值的图片子集 a. 这里使用的LSH编码具有如下特点相同的维数越多向量相似的概率越高 b. 这样我们就找到了一批与查询的文本向量相似度较高的图片子集可以节省后续向量相似度计算的次数。 在候选的图片子集中计算图片向量与文本向量的相似度按照相似度从高到底返回
异构算力调度除了要每天为新增的亿级别数据计算向量特征外我们还需要持续的对用户存量数据进行计算。为了让有迫切需求的用户能够尽快使用到这个功能我们也提供了申请加速开通图片高级搜索的通道优先为申请用户计算数据。为了利用一切可以计算的资源来加速计算效果我们开发了一套能够统一管理CPU、GPU等异构资源的调度系统充分利用闲置资源来实现尽可能快的覆盖更多用户。
搜更多
除了图片语义检索我们之前也收到了用户各种各样的找图需求比如想搜索图片里的文字、想给朋友圈文案配一张以前拍的图片。
「安排统统安排」 针对 「搜索图片里的文字」 用户可以在搜索筛选里开启开启后可能需要等待文字提取完成 「我想要朋友圈文案配图片」你不妨直接搜一下我们会给你推荐相册里最适合这句话的图片就像 怎么用
在百度网盘搜索“高级图片搜索”点击“开启高级图片搜索功能”点击“立即体验”等待图片计算并建立索引后即可体验我们会在计算完成后发送PUSH提醒。 变成「黄色的猫」以后*
经历了种种曲折项目最终成功上线。通过检测后台算力我们高兴地看到申请高级图像搜索的用户占比正在慢慢提升。同时用户也提出了一些建议和意见比如图像搜索不够精细等问题。我们了解到有的用户用这个功能管理视觉素材还有的管理各种报销发票。前者需要更精细的特征提取后者则需要引入文字ocr通过把视觉和文本进行多模态融合搜索才能满足用户需求。
另外针对有些用户提出的「用户自定义的精细化图像标签能力」如“我和爸爸的合照”、“我的自拍照”等这对我们模型训练和预测框架的伸缩性提出了更高的要求。
用户不断多样化、个性化的需求成为网盘产研例行工作讨论的输入同时也促进我们继续在技术和产品上思考和尝试。
作为一个智能化的存储工具网盘已经逐步成为人们日常生活和工作中必不可少的一部分。还记得很多年前网盘在大家心中的形象局限于“网络硬盘”。甚至互相开玩笑说「这几个T的空间什么时候能填满啊」现如今这里填满了大家的生活、工作和学习的各种记录并且也成为大家不可或缺的一部分。变成「黄色的猫」以后我们感激于大家的信任致力于不断的技术创新让用户更快速、准确地找到所需的文件带来全新的使用体验。
把「猫」变成「黄色的猫」不是终点而是一个更高的起点我们前进的动力不停学习的步履不止。我们致力于将这只「黄色的猫」赋予更多可能性从而变成您贴心的朋友、同事与亲人。
最后欢迎大家使用百度网盘的【高级图片搜索】功能并积极反馈大家的鞭策将持续激励我们的成长。
