海尔商城网站建设维护,seo推广专员工作内容,大连网站设计布局,佛山网站设计优化公司一、TL#xff1b;DR
重要性#xff1a;数据质量 数据数量数据质量提升原则#xff1a;提升数据多样性和分布和提升数据质量和高质量数据数量具体如何提升#xff1a;针对传统NN任务、LLM任务和MLLMs任务#xff0c;方法和侧重点不一样如何使用这些方法#xff1a;…一、TLDR
重要性数据质量 数据数量数据质量提升原则提升数据多样性和分布和提升数据质量和高质量数据数量具体如何提升针对传统NN任务、LLM任务和MLLMs任务方法和侧重点不一样如何使用这些方法将这些方法做成算子写入pipeline框架进行大规模使用做完这些还缺什么数据飞轮数据合成
二、总体原则
数据重要性维度数据质量 数据数量
数据质量维度我觉得阿里的data-juicer总结的很好如下所示
提升数据多样性和分布提升数据质量和高质量数据数量 总体来说阿里采用了一些启发式的规则以算子的形式通过ray部署进入数据pipeline将源源不断的各类数据通过这些算子进行去重和过滤得到最终的数据集。
三、如何提升数据质量
不同的任务对数据质量的提升方法不一样如下所示。
3.1 detection/seg/classification等传统NN任务
传统的NN任务可以使用active learning/coreset挑选/数据蒸馏的方式来做基本可以做到30%的数据达到90%以上的性能比如我之前的博客 https://blog.csdn.net/lovep1/article/details/146779443 核心集DeepCore: A Comprehensive Library for CoresetSelection in Deep Learning-CSDN博客
3.2 LLM等大语言模型相关的任务
可以使IFD/MoDs/困惑度等LLM相关质量指标进行NLP数据过滤GPT3使用未开源的过滤手段可以将40T的数据压缩至400G压缩率98%LIMA可以只使用1000条数据训练具体的方法可以参考我之前的博客
https://blog.csdn.net/lovep1/article/details/147032636 3.3 MLLMs等多模态任务
可以使用启发式规则清洗的方式进行过滤可以参考我之前的博客:
https://blog.csdn.net/lovep1/category_12871625.html数据质量-MetaCLIPDEMYSTIFYING CLIP DATA-CSDN博客
四、如何提升数据多样性
数据多样性一般从数据用途、数据形式和数据语义三个方面进行处理。核心目的挑选出最具备diversity的分布 4.1 数据用途我的理解
4.1.1 不同领域
大模型预训练或者sft时不同领域进行混合得到的数据相当于不同的下游任务的场景可以参考我之前的博客InternVL2.5Expanding Performance Boundaries of Open-SourceMultimodal Models 论文理解-CSDN博客 4.1.2 相同领域/相同模态
对同类型或者同模态的数据从各种细节上要求多样性比如同一种语言代表不同的语义、同一种语言不同的翻译等
以视频模态为例对地域、语言等做出多样性要求
4.2 数据形式
这边主要是指prompt和对应的answer的形式
prompt表达方式的多样性同一个语义在不同的场景和上下文中回答prompt的难度对prompt的难度进行把控使得在同一语义空间的prompt变得足够的差异化和多样性比如Wizard方法prompt/answer的长度既要保留长数据也要保留短数据所谓的长数据还需要将各种重点信息隐藏在长句子中answer的分布多样性answer需要足够的diversity
4.3 数据语义
数据语义其实在MLLMs中是存在的比较多的我的理解是通过图像/视频语义的分布来进行数据的筛选如下所示
数据质量-SemDeDup: Data-efficient learning at web-scale through semantic deduplication_semdedup去重-CSDN博客 五、如何使用这些方法呢
我们可以将上述的方法和规则做成算子写到data-juicer等框架里面做成数据filter的pipeline这样就可以大规模的将网上的爬虫数据、公开数据、领域数据进行蒸馏和压缩从而获得高质量数据。
