北京企业建站程序,wordpress更换IP,定制网站开发公司,怎样建设公司的网站做向量存储的过程中#xff0c;遇到向量搜索的情况处理#xff0c;HNSW算法是目前向量搜索的主要算法之一#xff0c;采用的是图算法#xff0c;主要的问题是使用内存大#xff0c;训练时间长。做算法优化过程中获得部分技巧#xff0c;分享出来。
一、算法本身的优化 对…做向量存储的过程中遇到向量搜索的情况处理HNSW算法是目前向量搜索的主要算法之一采用的是图算法主要的问题是使用内存大训练时间长。做算法优化过程中获得部分技巧分享出来。
一、算法本身的优化 对ENTERPOINTER的优化算法中层的数据NODE可以是多个这时有个选择的问题需要对HNSW 算法本身进行修改需要进行后处理因为当时插入数据节点时是局部的并不是全局视角这个是HNSW算法中可以优化的点但也不是说局部的点在后续算法中不能保证是全局的因为这和数据的分布式强相关现在的邻居选择不能表示后面更优的邻居选择有个概率的问题。 HNSW层数的优化虽然层数的算法是按指数衰减来计算的保证随机性层高也应该是有个限制毕竟对运算的数据量有要求可以根据数据集合的大小来进行层数的限制数据量大层数可以多些层数多也意味着内存要求大。比如10000个点的数据通过指数衰减算法实验多次的结果是上到5层的数据量极少随机上到10层几乎没有。依次类推数据集合越大才会有数据上的比较高的层数。 动态列表数量的优化网上有大量的介绍主要是性能和效果的平衡属于调优的部分是跷跷板。 不同层选用邻居的算法HNSW的论文中的两种选择邻居的算法建议可以这样操作在0层采用SIMPLE算法在中间层采用SIMPLE和HEURISTIC算法交替高层采用HEURISTIC算法。
二、流式计算的优化方法 IO的设计上可以使用流式算法提高IO的效率通过窗口算法解决单点和批量数据的获取效率问题 向量计算可以使用GUP,NPU进行大量的流式处理充分利用硬件的性能资源
三、并行化设计的优化方法 HNSW算法的并行化设计对于单层的NSW的图是不能进行并行化设计的因为节点的插入有可能是否关系的建立的INDEX的邻居列表中是存在前后关系的需要获得邻居关系。所谓的并行化的设计应该是层和层的并行化设计不同层的数据操作当然可以进行并行计算。需要一个任务的的配合机制防止不同任务对同一个NSW同时进行INDEX的操作。 另一个就是向量计算的过程HNSW算法中向量的距离计算是主要的运算量特别是高维度向量的距离计算计算量大可以进行并行化设计充分利用硬件资源多核GPU,NPU等等。 向量数据进行预处理进行聚类的操作将数据按聚类的方式进行分片分片后的数据进行并行处理。 由于向量集合数据大IO上的并行设计也是可以考虑的特别是SSD, NVM等硬件的多通道的使用上也可以进行IO的并行化设计提高IO的效率。
四、内存容量的优化方法 向量数据的压缩降低维度由于HNSW算法对内存有较高的要求内存容量是最大的瓶颈为了缓解内存的压力使用量化PQ算法有效减小内存的使用量当然性能也会提高但精度也会下降数据进行的采样压缩是有损的。 第二个方式是借用其他的专用存储使用其高效的数据缓存方式来减小本机运行HNSW算法的内存消耗如使用专用的存储集群KV存储或缓存系统进行相当于在内存使用转嫁到其他存储缓存系统中如类似的HNSW REDIS的方案结合。 本机缓存的的缓存策略LRU, LFU的效果测试的情况来看不如LRU-K 和W_LFU的算法缓存的数据随机性比较强导致缓存效果不佳而LRU-K和W_LFU将缓存进行分级处理有前置的算法可以大大提高应对数据随机性的缓存要求提高命中率。
