推荐系统学习之评测指标

最近开始学习推荐系统,特记录一下学习过程并做个分享。

推荐系统是什么不用多说,这里先介绍一下推荐系统的各种评测指标。

1、用户满意度

这个指标应该是最能体现一个推荐系统好坏的指标,但获取只能通过用户在线的反馈,类似用户问卷调查,或者用户对推荐物品的行为,比如购买、收藏、评分等判别。

2、预测准确度

在离线预测用户行为的评价上,这个指标相当重要。在统计学习中,也就是根据训练数据集学习得到的系统对测试数据集的预测准确度,既泛化能力。

推荐系统在这主要分为两个方面,评分预测与TopN预测。

(1)评分预测:类似豆瓣电影的评分,预测用户对推荐的某一物品的评分从而达到选择最优推荐的目的。而评价评分预测准确度的方法,一般有两种:

RMSE(均方根偏差)和MAE(平均绝对偏差)

(2)TopN预测:类似热门推荐,推荐N个商品给用户。评价这个指标的方法,一般也为两种:

准确率,既根据用户历史行为推荐的商品N与用户实际喜欢的商品M的交集A,与N的比值,A/N

召回率,既根据用户历史行为推荐的商品与与用户实际喜欢的商品M的交集A,与M的比值,A/M

3、覆盖率

普遍假设网站商品都呈长尾分布,既热门的商品总是少数,而且其他商品的热门程度呈曲线下降,存在很多冷门商品。而评价推荐系统的覆盖率即是看系统为所有用户推 荐的全部商品数量,与网站中所有商品数量的差值。当然一般用以下两个指标来评价:

(1)信息熵:又称香农熵,指代信息量的多少,一般来说,覆盖率越高的推荐系统,信息熵越大。

(2)基尼系数:一个经济学系数,在这里指代推荐系统中,热门物品与冷门物品的比值,一般来说,覆盖率越高的推荐系统,基尼系数越接近0

4、多样性

推荐系统给出推荐列表中的商品,两两之间的不相似性。

5、新颖性

推荐给用户的商品是用户从来没有听说过的物品。

6、惊喜度

与用户历史兴趣不相符,但又能让用户满意的商品。

7、信任度

这里一般用添加推荐解释来达成

8、实时性

(1)实时根据用户的新行为来推荐物品,如用户购买手机,同时给用户推荐手机壳

(2)推荐新加入系统的商品

9、健壮性

模拟攻击之后,用户的推荐列表的改变

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页