今日头条算法产品经理分享:内容推荐算法系统分析(完整版)

推荐系统是迄今为止,人工智能,大数据和云计算等前沿技术应用得最全面的产品场景之一。它是众多前沿技术的结晶,集百家之大成,复杂而微妙。但抽茧剥丝后,它又跟众多的科学那样,简洁而优美。像“猜你喜欢“这样的功能,已经数见不鲜,陪伴我们多年了。但这个功能具体是怎么实现的呢?我想通过这篇文章跟大家聊一聊。

在介绍推荐系统之前,先简单介绍下人工智能技术。

01 解决人工智能问题的两种思路

人工智能的算法,涵盖了概率,统计,高等数学,计算机,大数据等多个学科的知识,抽象且复杂。这里不打算给人工智能做内涵和外延的定义性解释,而是从更具象的角度来阐述这个问题。

机器智能和飞上蓝天,都是人类千百年来的梦想,而且这个两个尖端科学都经历了直接仿生的思路失败后,改变思路获得了突破。

因为看见鸟能飞,最早制造飞行器的思路,都是模仿鸟的结构。达芬奇是个伟大的艺术家,同时也是个能工巧匠,他设计了一个非常巧妙且像鸟的飞行器,但似乎并没有什么用。历史上第一个真正驾驶飞行器飞上蓝天的人,是把飞行器做的最不像鸟的莱特兄弟。飞机的诞生,建立在流体力学的基础上。

类似地,历史上,人工智能有两种主要的思路:

一种是早期的主流思路:模仿人类学习的过程,将事物的特性描述给机器,从而让机器获得跟人类等同的认知。

按照这种思路,要让机器识别出猫来,就类似于要告诉机器:猫有四条腿,两只眼睛,身上有柔软的毛等等特征。因为人就是这样认识猫的。但是这种思路从1956年开始,被研究了十年之后依然毫无进展而被搁置。

另一种是现在的思路:让机器自己从数据中学习,从而获得类似人类的认知。

所以,我们现在看到的人工智能术语名称,主要都是机器学习(Machine Learning),深度学习(Deep Learning),强化学习(Reinforcement Learning)等。

按照这个思路,我们要识别出猫,只要给机器一系列图片,并标记好哪些是猫,哪些不是猫。机器通过图像数据训练模型,然后再用训练好的模型把猫识别出来。

推荐系统的思路也是这样,通过让机器学习每个用户的点击,购买,分享,收藏和负反馈等代表用户喜好和厌恶的数据,以让机器知道用户的偏好,从而实现对用户可能喜欢的物品进行推荐。

02 人工智能的三个过程

按机器学习的思路,人工智能的实践都可以简单地分为三个过程:数据,学习和决策。

1. 数据

首先,机器需要感知的事物对象,就要通过数据。这个数据有可能是现实世界中的实际数值,如温度,湿度,股票价格等等。也有些是数字化的文件,如图像,语音等。

对于大多数的数据,机器并不能直接就“读懂”他们,而需要我们用算法来从这些数据中提取特征。

比如在深度学习图片识别领域,需要用多层神经网络抽取出图像的基础特征。实践表明,高阶特征可由低阶特征组合而成。下图中,最底层的正交边经过组合后,就可以得到脸,车,大象和椅子。反过来讲,任意图片,经过多层神经网络特征抽取之后,都可以得到相似的基础特征。所以可以简单地认为,基础特征的不同组合形成了不同的的图像,提取出图像的基础特征和组合参数就能识别图像。

由于数据形式不同,推荐系统算法并不能像图像识别算法那样直接通过堆叠神经元层级来抽取特征。推荐系统抽取特征的过程需要不同类别算法的辅助。如推荐系统需要构建用户画像和物品画像,要用算法或规则先把用户的偏好标签和物品的特征标签都打好,计算好权重,然后再输入模型进行学习。

2. 学习

再者,学习则是机器通过算法,通过大量的数据不断迭代调优,训练模型的过程。

3. 决策

最后,决策就是通过训练好的模型进行预测或分类等。这些都比较好理解。

4. 小结

一个推荐系统,会由很多个模型构成。小到一个用户画像标签的预测模型,大到推荐的排序模型都可以拆解成数据→学习→决策的过程。这便是解决问题的思路。

因为不同性别的用户在物品偏好上有较大的不同。对于很多平台,预测性别是个必选的工作。这是个有监督学习问题,我们可以这样解决:

  1. 数据。首先挑选跟用户的性别有关数据。假设挑选了头像,昵称,手机型号,用户APP安装列表和点击记录等数据。然后将用户数据中这些字段和已知性别的数据挑选出来。
  2. 学习。挑选一个模型进行学习拟合。一般地可以选择逻辑回归模型,或者决策树类的模型进行拟合。
  3. 预测。用已学好的模型对未知性别的用户进行预测。

03 推荐系统的作用

介绍完人工智能的感知,学习和决策三个过程,下面开始介绍推荐系统。

在互联网商业平台上,如今日头条,快手,淘宝等,存在供给和需求双方,双方的代表是用户(User)和物品(Item)。没有推荐系统的时候,用户和物品的连接方式一般有三种主要方式:

  1. 物品经小编推荐给了用户
  2. 用户自己搜索了需要的物品
  3. 物品被用户A推荐给了用户B

这三种连接方式满足了大多数的需求,也一直运行良好。不过移动互联网时代,手机屏幕小,单屏可曝光内容也少了很多。特别是在流量越来越难获取的当下,平台的主动推荐单纯靠运营人员编辑,局限性就比较明显:

  1. 运营大多推荐大众喜欢的物品,长尾物品得不到足够曝光。
  2. 大众商品不等于人人喜欢,存在推荐不精准而导致的流量浪费。
  3. 推荐数目有限,内容不能无限下拉,用户看完即走。

为了解决以上这些问题,我们引进了推荐系统。

04 推荐系统的工作流程

从本质上讲,推荐的过程,就是根据不同的用户偏好,对物品进行排序,然后择优推荐。

极端情况下,如果只有10个物品需要推荐,我们为每个用户都针对这10个物品进行全排序就可以了,这不需要很大的计算资源。

但是,当被推荐物品达到上百万个的时候,我们就不可能给每个用户都进行全排序了。一般来说,推荐结果要在收到用户请求后,10毫秒左右的时间就给出,做物品全排序这么短时间是不可能达成的。所以推荐的时候,只能对部分物品进行排序。

推荐系统一般做点击预估较多,我们这里以点击预估为例。系统给用户做推荐,一般按照以下流程进行:

如上图所示,给用户做出推荐响应的过程分为三个:

  • 召回:从百万以上内容池中快速初筛出候选集。
  • 初排:根据点击率预估给候选集初步排序。
  • 精排:根据需要调整排序。

1. 召回

收到用户请求后,我们需要一些快速的算法或者规则,从上百万甚至上亿的物品库中将最有可能的物品初步筛选出来。这个筛选的过程就叫做召回(Recall),也有些互联网公司将这个过程叫做匹配(Matching)。召回完成后,就可以得到几百个推荐候选集。一个推荐系统一般有多个召回算法或者召回规则,这叫做多路召回。如:

  • 基于用户画像标签召回。
  • 基于地理位置信息召回。
  • 基于物品协同过滤召回。
  • 基于热门商品召回。

2. 初排

召回过程完成后,得到的候选集就被输入排序模型进行排序。模型将预测每个物品被用户点击的概率,且按照点击概率高到低进行排序。

但是这个排序结果一般不是最终推荐给用户的结果,所以这个过程叫初排。初排后,一般会产生几十个推荐结果给下一步。

3. 精排

前面提到人工智能的两种思路。但是,在第二种思路大行其道的今天,并不是第一种思路就消失殆尽了。

在推荐系统中,还需要策略产品经理设定一些专家规则。在算法还没有学习到某方面知识的时候,用这些规则告诉机器如何处理一些问题。精排就是需要使用规则的场景之一。

精排一般是对排序的结果进行额外的筛查,降权或升权处理的过程。下面是一些常见的精排时处理:

  • 对推荐结果的进行调整,保持每次推荐的多样性。如一口气推荐了10款华为手机,而且都靠的很近,这个时候就需要将结果减少,如只要前两个,而且打散。
  • 出于商业目的,对一些物品进行流量扶持,将推荐结果中该类物品排到前面。甚至某些物品不管有没有被推荐,都直接插入并置顶。
  • 对有违规风险,或者已经下架,或者该用户不喜欢的物品进行过滤

精排结束后,一般会产生8-10个结果直接推荐给用户。这就是整个推荐的过程。

大数据时代,用户对于个人隐私无处安放表现出极度的不安全感,近年来315曝光的一些用户隐私泄露、甚至公民信息被非法贩卖的事件,可谓触目惊心!而每年两会采纳的相应用户隐私保护提案,也正逐渐完善相应的法律保护边界。

内容推荐引擎、个性化定制千人千面自从今日头条大放光彩之后,开始被很多知名APP所采纳。不过,用户与信息流平台之间的关系有些微妙,一些用户既享受到了App通过数据收集带来的便利,也担心过于精准化的推荐所带来的“烦恼”。

3月下旬,网上出现一些对饿了么、美团外卖等餐饮O2O平台通过录音权限窃听用户隐私的质疑。饿了么、美团官方均予以否认,并认为利用录音提取关键词进行本地商品服务推荐是一种“无端的猜测”,况且相应的技术条件还达不到。

几乎在同时,今日头条在类似的质疑和谣言中并未幸免,大致的描述通常是这样的——“我和我朋友昨天在谈论xx,第二天头条就向我推荐了xxx”;“我在某某App刚看过xxx,第二天头条就向我推荐了xxx”等等,一些用户也带入到是否头条也通过录音窃听用户隐私的“自证预言”之中。尽管头条官方辟谣,但由于今日头条在内容兴趣推荐精准度方面逐渐提升,类似用户的“猜测”并没有释然。

这种现象本质上是很多用户对算法不了解,从不了解到恐惧,甚至产生了一种“迷信”态度,误以为内容推荐引擎是一种“读心术”,可以知晓人很多隐私。事实上,从头条、快手的崛起可以看出:兴趣引擎(机器主动精准推荐)已经开始逐渐取代搜索引擎(人发起需求精准找),成为新的底层技术架构。在未来二者之间的融合也会成为信息分发平台的主流,这也是目前百度App、今日头条从不同擅长领域进取的方向。如果懂的人不讲,不懂的人瞎说,以讹传讹只会加深了对新技术的误解。

一、对用户隐私的获取边界,是算法的权限

推荐引擎与搜索引擎的区别在于:前者是系统给用户推荐,而后者是用户主动发起寻求;所以,推荐引擎在启动期的时候,需要放在内容池中测试用户的兴趣,再基于用户上网的行为数据进行定制化推荐,显然更依赖用户上网所产生的数据。

关于这一点,今日头条在《隐私政策》中并没有否认:

第(1)条即为“为了保障产品的正常运行,实现个性化推荐、发布信息、互动交流、搜索查询等核心功能以及其他功能,我们会收集你的部分必要信息。”

第(2)条中提到了收集的是用户的哪些信息,“在你进行注册认证、发布信息、互动交流或使用基于地理位置的服务时,基于法律要求或实现功能所必需,我们可能会收集姓名、联络方式、通讯录、图文、音视频文件、地理位置等个人信息。”

根据网络评论实名制的要求,上述条款在如何一款资讯类App之中几乎都是一样,而所收集的“音视频文件”与“图文”是已发布的信息,并且是基于法律要求或实现功能所必需才进行收集,在第(5)条又重申“我们将努力采用合理的安全措施来保护你的个人信息。特别地,我们将采用行业内通行的方式以尽最大的商业努力来保护你个人敏感信息的安全。”

(图片来自头条隐私政策)

如果把头条的推荐引擎比作一台人工智能(AI)机器——人工智能的特点“比你更懂你自己,帮你干活还不累”,应用在信息分发领域,要实现智能推荐,须有足够丰富的用户大数据作为算法的训练场景,这些数据的源头活水即用户“关注、收藏、搜索、浏览偏好等”等上网使用行为数据,作为个性化推荐的“燃料”。

并且AI还能根据“反馈、发布、点赞、评论等用户主动发起的行为以及明确授权同意开启的地理位置信息”来动态调整算法推荐,因而说到底,算法的推荐也是“后置的”分析处理,并没有“先知”窥探能力。

对于通过“录音窃听用户隐私”的担忧,笔者发现条款里是这样写的,“你使用上传图片、发布音视频功能时,我们会请求你授权相机、照片、麦克风等敏感权限”。就跟使用微信不开启麦克风无法发送语音消息、使用滴滴没有授权用户地理位置无法打车是一个道理,开启麦克风这一“敏感权限”只会在上传音视频时才会主动由用户开启,而所谓的“窃听”则是在用户不知情的情况下后台开启并用于不正当用途。

(图片来自头条隐私政策)

至于App开启用户麦克风进行录音窃听,需要远程操控用户手机,一般是黑客在用户手机先放病毒安装包,市面上的手机系统和病毒软件把这样的安全漏洞也解决了。即使是App通过麦克风录音要综合考虑语速大小、音量大小、环境音大小、语音清晰度以及地域口音等因素,其语音识别准确率非常有限、商业用户价值不大,远远不如通过用户上网行为数据进行推荐来得直接有效。

算法推荐除了用户个性化资讯push外,还应用在广告精准推送和营销上,这构成了目前信息流产品的主要商业模式。

二、从微头条、抖音推荐内容中管窥社交在算法机制中作用

头条系产品的形态不一样,但是底层技术是一致的,尤其是基于用户上网行为分析出兴趣图谱、推荐潜在感兴趣或有用信息的引擎是一样的。

头条产品在2017年4月份上线微头条之后,头条系统推荐内容的确更加精准化了,此前很多媒体人骂头条内容low,现在基本上是听不到了。

原因有以下两点:一方面,头条的流量上涨吸引了很多优质原创作者,导致其内容生态整体质量上有提升;另一方面是引入微头条等社交关系链之后,系统在启动期不需要释放不同类型、关键字领域的内容来测试读者的兴趣点,而是会参考互动频次最高的网友,以筛选或相关领域的内容推送给关系链上的用户,通过社交紧密程度辅助内容个性化推荐的准确率。

如果用户有两台手机分别不同的头条账户就会发现,“在微头条中互动的频次比较高,并且会直接影响到系统内容推荐。而系统推荐的一些大V,往往也是好友所关注的,这加速了一些大V吸粉的效率。”一位关注阿星微头条,并且经常互动的好友向我反馈,“头条不只是完全的信息‘流’,很注重粉丝的留存。”

(第一张图和第二张图是新手机头条账户;第三张图是我经常使用头条号页面,相关度很高)

社交关系链的引入对头条内容进化来说是一次“蝶变”,以往头条的推荐只需要根据用户本身上网数据进行兴趣推荐;引入到社交因素之后,除了根据机器默认用户兴趣偏好以外,还会把好友已经看过的西瓜视频、小视频、悟空问答等推荐给新用户,从而大大产品的使用粘性。

类似的作用机制与微信公众号中好友通过点赞“在看”筛选优质内容如出一辙,不过,以社交推荐内容的方式在头条相对隐蔽,也更为数据化。

同样的机制也会出现在抖音的流量推荐之中,第一步是机器测试、积累数据后识别用户的兴趣爱好;第二步开始引入互动高频的抖音好友完播、点赞、评论的内容,从而让用户在刷抖音时获得沉浸式体验。

在第一阶段的抖音,机器会更换美女、帅哥、美景、搞笑、萌娃、宠物、才艺、技能、情感、干货等不同类型进行测试,在兴趣标签相对宽泛时,信息流推荐容易出现审美疲劳,并导致火爆的视频创意演变为套路化的程式。

而在引入社交相关度个性化推荐之后,用户刷到的下一个短视频,推荐权重最高的是——很多概率会是抖音上互关的好友点赞过短视频,会做优先呈现;如果你关注的好友很少,这种体会将更加明显,机器默认为好友感兴趣的视频你也会喜欢。这一点上看,抖音进行流量推荐也并非神秘莫测。

「假如你有两个抖音账户,你会发现抖音推荐的小秘密 ,那就是会直接推荐关系链上(互关的、互动高频的朋友)看过的视频。比如:在另一个手机上点的视频,会推荐到另一账户之上;要是找不到此前看过短视频,只要在另一台手机上一直往下刷,一定可以刷到!另外,西瓜视频的推荐也是如此,这让我找到了自己喜欢刷西瓜视频的原因,因为机器默认我的朋友大体上和我的欣赏趣味是一致的,所有看起来厉害的算法推荐,其实也是有社交的。」

我曾把这个微头条征求其他好友确认,发现这并非个别情况:

(同时两台不同手机登陆不同的账户刷抖音,重合率非常高并非偶然现象)

在微头条、抖音之中都有一个特点是:每一条更新内容的流量与粉丝量的大小并无强关联,头条的算法推荐摆脱了自媒体对私欲流量的依赖,只要是优质的并且有高强度的互动率内容,都有可能“爆”。这表明:社交因素在其中既起到了甄别内容质量作用,也引导着账户间互动。

三、理解算法机制,信息流平台“懂用户”是靠技术

算法型驱动产品不仅在信息分发中逐渐成为主流,还大量应用在电商以及O2O交易平台之中,这也是为什么现在淘宝强调内容电商、拼多多强调“去中心化的商品兴趣推荐”的原因。头条用户、市场人常文平认为,“算法推荐虽然方便,应用在电商平台,系统会结合用户此前的搜索数据结果显示推荐,一些已购买的商品重复推荐会白白浪费一些流量位置。”

这意味着,在内容领域“筛选”已消耗的优质内容的逻辑是否能真正在电商领域跑通,依然在摸索之中。

信息流平台的推荐算法引擎被认为容易导致用户获取其他视角或领域的内容受到局限;一些盲目的、无意识的点击都会在后续带来大量并不会真正想看到的内容,在新用户启动期时容易出现。

解决此类问题的办法是用户有意识地训练手机的应用里的机器,才能得到高效、适合自己的个性化页面;与此同时,算法产品会越来越重视“好友圈”,通过人群亲密程度与共同话题来更新用户的兴趣圈层。当然,如果以后信息流平台能够设置到“特别关注”好友,把好友认可的内容分享给关注对象,或许能有助于优质内容获取到更多的流量。

头条用户称呼“太准了”以致于出现对用户隐私利用的猜疑,背后也反映出今日头条产品在“个性化推荐”上的确愈发成熟化。根据笔者的观察,今日头条之所以能够达到这种境界,与其他信息流平台有两个不同的特点:

一是,头条产品的流量是复合利用的。头条为了实现人机互动的高频,不断在今日头条App接入新的功能:自媒体资讯、西瓜视频、火山直播、小视频、微头条、悟空问答、电商橱柜、付费专栏、圈子、小游戏……用户使用产品功能越多,平台识别用户的画像体系越清晰,系统推荐就越个性化。

二是,头条系众多产品把技术力量和流量资源的“复用”发挥到极致、边际成本降低。而其他很多公司如果不看到这一点,盲目去做多个App就会陷入到兵力分散、人才浪费的困境之中。

结合头条算法结合兴趣社区与社交因素的推测可以看出:头条做社交特点并不是表现在及时沟通上,而是通过内容作为共同连接点,拉近粉丝与自媒体、用户与用户之间的联系。如果说微信的内容是为了社交粘性服务的,那么头条的社交如微头条、多闪等并非突出聊天,更是为了内容推荐更精准、用户粘性更高,从而实现推荐“场景化”,以致于“懂用户”信息流平台被误会有“用户隐私”的不安全感。

用户隐私保护在全球范围内都是一个永恒话题,去年Facebook因为泄露用户隐私负面事件导致市值大跌;国内用户对于用户隐私的焦虑和关切也与日俱增,隔一段时间国内就出现一些滥用用户隐私的质疑,这需要引起平台型企业的重视——坚持把用户利益放在首位。

通过机器记忆的办法来进行自发推荐,是信息分发更加智能化的表现,也使得用户隐私保护自然成为更为敏感环节。用户敏感隐私与网友所产生的数据本身是有区别的:前者属于法律范畴,后者是技术范畴。个性化推荐意味着平台对相应的隐私保护的升级,这事关信息流平台生存的根本;没有用户数据资源为基础,信息流平台的个性化推荐和商业化也是空中楼阁。

对头条算法上述解读不难发现:内容推荐算法既离不开用户上网行为数据化,也离不开用户所关注的人,是“信息找人”与“人找信息”相辅相成;算法由人创造,也可以服务于人,其边界和权限也可以由人来控制的,无需进行妖魔化或者神秘化。

05 结语

最后,总结一下,本章有两个重要点:

  1. 人工智能问题实践中,一般有三个步骤:数据,学习和决策。面对我们需要让机器学习的问题,首先我们要找到机器需要的数据,并做好特征提取。数据准备好后,再通过选择或构建模型让机器学习。
  2. 推荐系统给用户做推荐时,会经过三个步骤:召回,初排和精排。

 

文章由PM28网编辑,作者:海阁,如若转载,请注明出处:http://www.pm28.com/3465.html欢迎投稿

联系我们

在线咨询:点击这里给我发消息

邮件:403567334@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息