网站怎么做app,网站300兆是多少钱,重庆网站建设就选承越,请别人做网站会不会被盗定义#xff1a; MRR计算的是第一个正确答案的排名的倒数#xff0c;并对所有查询取平均值。它衡量了模型在排序结果中快速找到正确答案的能力。 其中#xff1a;
Q 是查询的总数。ranki 是第 i 个查询中第一个正确答案的排名#xff08;位置#xff09;。如果第一个正…定义 MRR计算的是第一个正确答案的排名的倒数并对所有查询取平均值。它衡量了模型在排序结果中快速找到正确答案的能力。 其中
Q 是查询的总数。ranki 是第 i 个查询中第一个正确答案的排名位置。如果第一个正确答案不在结果列表中则通常将 ranki 视为一个非常大的数在实际计算中可能会设为无穷大但通常会用0或某个很小的数来近似表示或者简单地忽略该查询的贡献。然而更常见的做法是在计算MRR之前先过滤掉那些没有正确答案的查询。
计算步骤 确定查询集首先你需要有一个查询集其中包含 Q 个查询。 获取排序结果对于每个查询使用你的模型生成一个排序结果列表。 找到第一个正确答案的排名在排序结果列表中找到第一个正确答案的排名位置。如果列表中没有正确答案则根据具体情况处理如忽略该查询或将其排名视为无穷大。 计算每个查询的倒数排名对每个查询计算其第一个正确答案排名的倒数即 ranki1。 计算MRR将所有查询的倒数排名相加然后除以查询的总数 Q。
注意事项 排名从1开始在大多数情况下排名是从1开始的即第一个结果的位置是1第二个结果的位置是2依此类推。 处理没有正确答案的查询如果某个查询在结果集中没有正确答案你可以选择忽略该查询即不在求和时包含它或者将其倒数排名视为0这实际上等同于忽略它。 截断在某些情况下你可能只对排序结果的前N个位置感兴趣。在这种情况下你可以只考虑前N个位置中的第一个正确答案来计算MRR这被称为MRRN。
示例
假设有3个查询它们的第一个正确答案的排名分别是1、3和5则
