本博文引自王树森老师推荐系统。
视频地址：概要01：推荐系统的基本概念_哔哩哔哩_bilibili
课件地址： https://github.com/wangshusen/RecommenderSystem

小红书推荐系统转化流程

转化流程
绝大多数产品前两部步都是曝光和点击；滑动到底，点赞，收藏和转发说明用户对产品感兴趣，这是推荐系统利用的信号和依据；正面和中性的评论对社区的氛围很有好处，也是可以依据的信号。

短期消费指标

  • 点击率 = 点击次数 / 曝光次数
    点击率越高说明推荐越精准，给用户推荐了用户感兴趣的内容。但点击率不是唯一的指标，否则骗点击的标题会泛滥，比如“xx震惊了”或者擦边图片骗点击。
  • 点赞率 = 点赞次数 / 点击次数
  • 收藏率 = 收藏次数 / 点击次数
  • 转发率 = 转发次数 / 点击次数
  • 阅读完成率 = 滑动到底次数 / 点击次数 × $f$(笔记长度)
    $f$是一个归一化的函数。和笔记的长度有关。这是因为笔记越长，完成阅读的比例就越低，如果没有归一化的函数对于长笔记很不公平。

通常来说，推荐的笔记越符合用户兴趣，点击点赞的行为就会越多，但他们不是衡量系统好坏的根本指标，一味追求短期消费指标是不对的。如果算法只看用户短期兴趣，推很多用户短期喜欢的内容，坏处是竭泽而渔，用户会很快失去兴趣变得不再活跃；反过来说，如果增强多样性，尝试给用户推很多没看过的话题，那么点击率不会上涨，但有利于提高用户粘性留住用户，让用户更活跃。

北极星指标

北极星指标都是线上指标

  • 用户规模：
    • 日活用户数(DAU)，月活用户数(MAU)。
      今天使用一次小红书和使用十次小红书都只会贡献一个日活；这个月我只打开过一次小红书和天天看小红书都只会贡献一个月活。
      DAU和MAU都和推荐系统的好坏强相关，推荐系统做的好，用户就会越活跃，DAU和MAU就会越高。
  • 消费：
    • 人均使用推荐时长，人均阅读笔记的数量。
      今天刷了一个小时的小红书推荐，就贡献了一个小时的时长；看了二十篇笔记，就会贡献二十篇笔记的数量
      推荐做得越好用户就越上瘾，使用小红书的时长和阅读数量就会越高，这两个指标比点击率和点赞率更能反映推荐做的好不好。通常情况，点击和时长是一致的，万一有冲突，以北极星指标为准。
      即如果今天用户使用时长上升，但是点击率下降了，这完全OK，这样的策略应该上线。
  • 发布：
    • 发布渗透率，人均发布量。
      我们希望推荐系统能激励作者发布，让我们的内容池变大，优秀的内容池是我们的核心竞争力。激励发动往往是由冷启动负责。

实验流程

转化流程
第一步是离线实验，用收集的历史数据做实验和测试，因为离线实验不用把算法部署到产品中，没有和用户产生交互，所以离线实验非常容易做，不需要占用线上流量，也不会对系统和用户产生负面影响。
离线实验的结果有参考价值，能大致反映出算法的好坏，但离线实验没有线上实验可靠。
第二步是小流量AB测试，把用户随机分为实验组和对照组，实验组用新策略，对照组用旧策略，对比两者的业务指标，判断新策略是否显著优于旧策略，若新策略显著优于旧策略，可以逐步加大流量，最终推全。