头条类内容产品如何给用户推送内容算法是怎么样的(新版)

17年-18年底我参与了一个资讯内容兴趣偏好标签的项目。什么是内容兴趣偏好标签呢?

简单来说就是分析用户喜欢看的文章类型,得到用户的兴趣偏好,在这样的基础上,对用户进行内容的个性化推荐和push推送,来有效促进app的活跃并拉长用户生命周期。

这件事情简单来说其实就是两步走:

  • 一是,给文章进行分类,也就是我们俗称的给文章打标签。
  • 二是,给用户打标签,也就是用户阅读了哪些类型的文章,相应的就会获取到自己的兴趣偏好标签。比如我爱看科技类型的文章,那我便有极大的可能被打上科技的资讯标签。整体流程如下;


那么在实际操作中真的如此简单吗?看似简单的两个环节,究竟是如何实现的呢?

首先我们来聊一聊给文章进行分类

笔者因为这个项目的原因,看了非常多竞品app的文章分类,发现基本上趋于一致,但也有一些细节上的差异,更多的问题,在于资讯文章的分类很难穷尽,我们参考了市面上已有的分类,并结合一些资料制定了一整套内容兴趣偏好体系,在指定分类时,我们遵循MECE原则,基本达到了相互独立完全穷尽。

接下来,我们要对文章进行分类,我们采用了分类算法的有监督的学习。理想情况下,流程是这样的:

但在实际中面临两个问题,由于选择了有监督的学习,就面临必须要提供有标注的样本的基础。一般情况下有三种方式获取样本:

  • 一是人工对文章进行标注,优点是准确,缺点是效率低,对于算法要求大量样本的要求,成本非常高。
  • 而另一种方式则是通过一些开源网站提供的关键词进行模型训练,比如可以从搜狗词库获取,优点是成本低,但缺点也很明显,由于不同的分类体系对部分分类的理解不一致,导致分类并不够准确,后期需要耗费大量的人力进行矫正。
  • 第三种方式是和一些资讯类app进行合作,获取他们的文章以及分类作为样本,例如目前做的比较好的如今日头条、uc等都是不错的选择。我们当时其实都尝试了(一把辛酸泪)。

获取样本以后,就是算法模型的训练及其检验了。算法模型的训练原理,即通过对样本文章进行分词,抽取实体,建立特征工程,将每一个特征词作为向量,拟合出一个函数,这样,当有新的文章时,该文章通过分词,并通过模型计算出结果。但模型并不是能够有样本一次性就能准确的,模型还需要进行测试和矫正。一般测试流程如下:

通过了测试的模型也并不是一劳永逸的,仍然可能在后期出现一些分类不准确的问题,这可能是样本造成的,也可能是算法模型造成的。这需要我们找出这些异常的文章及其分类,并矫正分类,再次作为训练样本投喂给模型,进行模型的矫正。一方面,我们可以对转化率比较低的分类的文章进行人工抽检,确定问题是否出在算法。另外,在这里,由于每一篇文章的标签都被赋予了一个值,我们可以为这些值设置一个阈值,当最高值低于某个阈值,这些文章及其标签将被召回,由人工进行标注和矫正,并在此投入样本库中。

文章标签的计算,由于文章具有多种标签的可能,并非一些二分类非此即彼的结果,因此我们采用的方式是,通过相似性算法,模型计算出文章的标签,并赋值,值越高则说明和这类标签越接近,并被打上相应标签。

至此,文章打标签的部分就已经完成了。

如何给用户打标签

给用户打标签的方式其实也可以包含两种,统计类的打标签及算法类的打标签。

  • 统计类相对简单粗暴式的以用户一段时间阅读的文章类型作为用户的兴趣偏好。
  • 而算法类则会增加更多的影响因素,包括文章阅读的数量,阅读的时间间隔,文章与当前热点事件的关系、用户属性因素等等。

前者在算法资源不足同时运营需求量大的情况下可以先行,而后者可以在前者的基础上切分一部分流量对算法模型进行验证和调整,不断优化。

但在用第一种方式进行时我们发现,用户在一段时间内阅读的文章类型并不是稳定的,大部分用户会有一个或者几个主要的兴趣偏好,这些类型阅读的文章篇数会更多,但同时,用户也会或多或少的阅读一些其他类型的文章,甚至有些用户是看到哪里算哪里,什么都会看。

基于这样的情况,我们需要对用户的兴趣偏好进行排名,即通过对用户一段时间内每种文章类型阅读的文章数进行排名,并取用户top 10的标签,清晰告诉运营用户喜欢什么类型的文章,这些类型中,用户喜欢类型的优先级是怎样的,便于运营同学进行推送选择。

因此,用户的标签也需要更加灵活,能够让运营同学基于事件发生时间及事件发生次数等权重进行灵活组合选择用户群。

由于目前push推送很大一部分是由人工进行的,从选择文章,到选择用户,到文章和用户的匹配,在正式进行推送前一般都会进行大批量的A/B test ,而资讯文章的类型非常多,仅一级标签已经达到30+种,二级标签从100到几百不等,总体的标签极有可能会有成千的标签,单靠运营同学进行推送,是绝对无法完成的。

因此,在运营资源有限又无法实现自动化的的情况下一般运营同学会对标签进行测试,并选择其中覆盖用户量大且转化率较高的标签。但同时这样的情况就会导致部分兴趣偏好比较小众的用户被排除出推送的人群。

针对这样的情况,我们取了用户top 10的二级标签及其对应的一级标签作为用户的一级和二级标签。这样,解决了用户覆盖量的问题,也可以让运营人员集中精力对主体标签及人群进行推送。

但同时,另一个问题又出现了,选择用户一段时间内的行为,那么这个一段时间究竟是多长会更加合适,使得既达到能充分反应用户兴趣,同时又覆盖到更多的人群(每天都会有流失的用户,因此时间线越长覆盖用户量越大,时间线越短覆盖用户量越少)

我们发现,用户长期的兴趣偏好趋于某种程度的稳定,但短期的兴趣偏好却又反应了用户短期内跟随热点的行为。因此从这个层面来看,短期可能更能满足用户的需求,但短期覆盖用户量小。在这里,始终有覆盖量和转化率之间永恒的矛盾。

我们的方式是,对用户根据浏览时间进行分段。赋予用户长期兴趣偏好和短期兴趣偏好,并优先短期兴趣偏好,从长期兴趣偏好中则将短期兴趣用户进行排除,进行不同的推送。而对于流失用户,极有可能在最近3个月(资讯当时定义流失用户时间为3个月)没有任何访问记录,针对于这样的用户,我们取用户最后一次有记录的标签作为用户标签,并进行流失挽回。

至此,所有的用户也都有了属于自己的标签,而运营同学也可以根据用户的活跃时间以及阅读的频率对不同的用户进行不同的文章推送,真正的实现千人千面。

在这个问题上我们可以说是踩了不少的坑。

而第二种方式,是通过算法直接为用户打上标签,除了时间和阅读频次,在算法模型中还可以增加更多的特征纬度,比如用户阅读文章距离现在的时间、阅读文章的时长、评论、点赞等等,同时,还可以针对于热点文章、热点事件,降低文章的权重。

结语

当我回首去总结这一段经历的时候,甚至当读者你跟随我去了解这一段经历的时候可能会觉得其实很简单,但是,在这一段经历中我们真的踩了无数的坑,尤其是我们不仅仅要去采集数据、制作标签,甚至还要去指导业务进行投放以及问题分析,那段经历可以说是痛苦并快乐的——

痛苦是因为问题实在太多,业务每天都在追着我问今天为什么转化率又低了;快乐是因为我们最终转化率终于提高了一倍不止,甚至高于行业水平,也算是最好的回报了。

大数据时代,用户对于个人隐私无处安放表现出极度的不安全感,近年来315曝光的一些用户隐私泄露、甚至公民信息被非法贩卖的事件,可谓触目惊心!而每年两会采纳的相应用户隐私保护提案,也正逐渐完善相应的法律保护边界。

内容推荐引擎、个性化定制千人千面自从今日头条大放光彩之后,开始被很多知名APP所采纳。不过,用户与信息流平台之间的关系有些微妙,一些用户既享受到了App通过数据收集带来的便利,也担心过于精准化的推荐所带来的“烦恼”。

3月下旬,网上出现一些对饿了么、美团外卖等餐饮O2O平台通过录音权限窃听用户隐私的质疑。饿了么、美团官方均予以否认,并认为利用录音提取关键词进行本地商品服务推荐是一种“无端的猜测”,况且相应的技术条件还达不到。

几乎在同时,今日头条在类似的质疑和谣言中并未幸免,大致的描述通常是这样的——“我和我朋友昨天在谈论xx,第二天头条就向我推荐了xxx”;“我在某某App刚看过xxx,第二天头条就向我推荐了xxx”等等,一些用户也带入到是否头条也通过录音窃听用户隐私的“自证预言”之中。尽管头条官方辟谣,但由于今日头条在内容兴趣推荐精准度方面逐渐提升,类似用户的“猜测”并没有释然。

这种现象本质上是很多用户对算法不了解,从不了解到恐惧,甚至产生了一种“迷信”态度,误以为内容推荐引擎是一种“读心术”,可以知晓人很多隐私。事实上,从头条、快手的崛起可以看出:兴趣引擎(机器主动精准推荐)已经开始逐渐取代搜索引擎(人发起需求精准找),成为新的底层技术架构。在未来二者之间的融合也会成为信息分发平台的主流,这也是目前百度App、今日头条从不同擅长领域进取的方向。如果懂的人不讲,不懂的人瞎说,以讹传讹只会加深了对新技术的误解。

一、对用户隐私的获取边界,是算法的权限

推荐引擎与搜索引擎的区别在于:前者是系统给用户推荐,而后者是用户主动发起寻求;所以,推荐引擎在启动期的时候,需要放在内容池中测试用户的兴趣,再基于用户上网的行为数据进行定制化推荐,显然更依赖用户上网所产生的数据。

关于这一点,今日头条在《隐私政策》中并没有否认:

第(1)条即为“为了保障产品的正常运行,实现个性化推荐、发布信息、互动交流、搜索查询等核心功能以及其他功能,我们会收集你的部分必要信息。”

第(2)条中提到了收集的是用户的哪些信息,“在你进行注册认证、发布信息、互动交流或使用基于地理位置的服务时,基于法律要求或实现功能所必需,我们可能会收集姓名、联络方式、通讯录、图文、音视频文件、地理位置等个人信息。”

根据网络评论实名制的要求,上述条款在如何一款资讯类App之中几乎都是一样,而所收集的“音视频文件”与“图文”是已发布的信息,并且是基于法律要求或实现功能所必需才进行收集,在第(5)条又重申“我们将努力采用合理的安全措施来保护你的个人信息。特别地,我们将采用行业内通行的方式以尽最大的商业努力来保护你个人敏感信息的安全。”

(图片来自头条隐私政策)

如果把头条的推荐引擎比作一台人工智能(AI)机器——人工智能的特点“比你更懂你自己,帮你干活还不累”,应用在信息分发领域,要实现智能推荐,须有足够丰富的用户大数据作为算法的训练场景,这些数据的源头活水即用户“关注、收藏、搜索、浏览偏好等”等上网使用行为数据,作为个性化推荐的“燃料”。

并且AI还能根据“反馈、发布、点赞、评论等用户主动发起的行为以及明确授权同意开启的地理位置信息”来动态调整算法推荐,因而说到底,算法的推荐也是“后置的”分析处理,并没有“先知”窥探能力。

对于通过“录音窃听用户隐私”的担忧,笔者发现条款里是这样写的,“你使用上传图片、发布音视频功能时,我们会请求你授权相机、照片、麦克风等敏感权限”。就跟使用微信不开启麦克风无法发送语音消息、使用滴滴没有授权用户地理位置无法打车是一个道理,开启麦克风这一“敏感权限”只会在上传音视频时才会主动由用户开启,而所谓的“窃听”则是在用户不知情的情况下后台开启并用于不正当用途。

(图片来自头条隐私政策)

至于App开启用户麦克风进行录音窃听,需要远程操控用户手机,一般是黑客在用户手机先放病毒安装包,市面上的手机系统和病毒软件把这样的安全漏洞也解决了。即使是App通过麦克风录音要综合考虑语速大小、音量大小、环境音大小、语音清晰度以及地域口音等因素,其语音识别准确率非常有限、商业用户价值不大,远远不如通过用户上网行为数据进行推荐来得直接有效。

算法推荐除了用户个性化资讯push外,还应用在广告精准推送和营销上,这构成了目前信息流产品的主要商业模式。

二、从微头条、抖音推荐内容中管窥社交在算法机制中作用

头条系产品的形态不一样,但是底层技术是一致的,尤其是基于用户上网行为分析出兴趣图谱、推荐潜在感兴趣或有用信息的引擎是一样的。

头条产品在2017年4月份上线微头条之后,头条系统推荐内容的确更加精准化了,此前很多媒体人骂头条内容low,现在基本上是听不到了。

原因有以下两点:一方面,头条的流量上涨吸引了很多优质原创作者,导致其内容生态整体质量上有提升;另一方面是引入微头条等社交关系链之后,系统在启动期不需要释放不同类型、关键字领域的内容来测试读者的兴趣点,而是会参考互动频次最高的网友,以筛选或相关领域的内容推送给关系链上的用户,通过社交紧密程度辅助内容个性化推荐的准确率。

如果用户有两台手机分别不同的头条账户就会发现,“在微头条中互动的频次比较高,并且会直接影响到系统内容推荐。而系统推荐的一些大V,往往也是好友所关注的,这加速了一些大V吸粉的效率。”一位关注阿星微头条,并且经常互动的好友向我反馈,“头条不只是完全的信息‘流’,很注重粉丝的留存。”

(第一张图和第二张图是新手机头条账户;第三张图是我经常使用头条号页面,相关度很高)

社交关系链的引入对头条内容进化来说是一次“蝶变”,以往头条的推荐只需要根据用户本身上网数据进行兴趣推荐;引入到社交因素之后,除了根据机器默认用户兴趣偏好以外,还会把好友已经看过的西瓜视频、小视频、悟空问答等推荐给新用户,从而大大产品的使用粘性。

类似的作用机制与微信公众号中好友通过点赞“在看”筛选优质内容如出一辙,不过,以社交推荐内容的方式在头条相对隐蔽,也更为数据化。

同样的机制也会出现在抖音的流量推荐之中,第一步是机器测试、积累数据后识别用户的兴趣爱好;第二步开始引入互动高频的抖音好友完播、点赞、评论的内容,从而让用户在刷抖音时获得沉浸式体验。

在第一阶段的抖音,机器会更换美女、帅哥、美景、搞笑、萌娃、宠物、才艺、技能、情感、干货等不同类型进行测试,在兴趣标签相对宽泛时,信息流推荐容易出现审美疲劳,并导致火爆的视频创意演变为套路化的程式。

而在引入社交相关度个性化推荐之后,用户刷到的下一个短视频,推荐权重最高的是——很多概率会是抖音上互关的好友点赞过短视频,会做优先呈现;如果你关注的好友很少,这种体会将更加明显,机器默认为好友感兴趣的视频你也会喜欢。这一点上看,抖音进行流量推荐也并非神秘莫测。

「假如你有两个抖音账户,你会发现抖音推荐的小秘密 ,那就是会直接推荐关系链上(互关的、互动高频的朋友)看过的视频。比如:在另一个手机上点的视频,会推荐到另一账户之上;要是找不到此前看过短视频,只要在另一台手机上一直往下刷,一定可以刷到!另外,西瓜视频的推荐也是如此,这让我找到了自己喜欢刷西瓜视频的原因,因为机器默认我的朋友大体上和我的欣赏趣味是一致的,所有看起来厉害的算法推荐,其实也是有社交的。」

我曾把这个微头条征求其他好友确认,发现这并非个别情况:

(同时两台不同手机登陆不同的账户刷抖音,重合率非常高并非偶然现象)

在微头条、抖音之中都有一个特点是:每一条更新内容的流量与粉丝量的大小并无强关联,头条的算法推荐摆脱了自媒体对私欲流量的依赖,只要是优质的并且有高强度的互动率内容,都有可能“爆”。这表明:社交因素在其中既起到了甄别内容质量作用,也引导着账户间互动。

三、理解算法机制,信息流平台“懂用户”是靠技术

算法型驱动产品不仅在信息分发中逐渐成为主流,还大量应用在电商以及O2O交易平台之中,这也是为什么现在淘宝强调内容电商、拼多多强调“去中心化的商品兴趣推荐”的原因。头条用户、市场人常文平认为,“算法推荐虽然方便,应用在电商平台,系统会结合用户此前的搜索数据结果显示推荐,一些已购买的商品重复推荐会白白浪费一些流量位置。”

这意味着,在内容领域“筛选”已消耗的优质内容的逻辑是否能真正在电商领域跑通,依然在摸索之中。

信息流平台的推荐算法引擎被认为容易导致用户获取其他视角或领域的内容受到局限;一些盲目的、无意识的点击都会在后续带来大量并不会真正想看到的内容,在新用户启动期时容易出现。

解决此类问题的办法是用户有意识地训练手机的应用里的机器,才能得到高效、适合自己的个性化页面;与此同时,算法产品会越来越重视“好友圈”,通过人群亲密程度与共同话题来更新用户的兴趣圈层。当然,如果以后信息流平台能够设置到“特别关注”好友,把好友认可的内容分享给关注对象,或许能有助于优质内容获取到更多的流量。

头条用户称呼“太准了”以致于出现对用户隐私利用的猜疑,背后也反映出今日头条产品在“个性化推荐”上的确愈发成熟化。根据笔者的观察,今日头条之所以能够达到这种境界,与其他信息流平台有两个不同的特点:

一是,头条产品的流量是复合利用的。头条为了实现人机互动的高频,不断在今日头条App接入新的功能:自媒体资讯、西瓜视频、火山直播、小视频、微头条、悟空问答、电商橱柜、付费专栏、圈子、小游戏……用户使用产品功能越多,平台识别用户的画像体系越清晰,系统推荐就越个性化。

二是,头条系众多产品把技术力量和流量资源的“复用”发挥到极致、边际成本降低。而其他很多公司如果不看到这一点,盲目去做多个App就会陷入到兵力分散、人才浪费的困境之中。

结合头条算法结合兴趣社区与社交因素的推测可以看出:头条做社交特点并不是表现在及时沟通上,而是通过内容作为共同连接点,拉近粉丝与自媒体、用户与用户之间的联系。如果说微信的内容是为了社交粘性服务的,那么头条的社交如微头条、多闪等并非突出聊天,更是为了内容推荐更精准、用户粘性更高,从而实现推荐“场景化”,以致于“懂用户”信息流平台被误会有“用户隐私”的不安全感。

四、结语

用户隐私保护在全球范围内都是一个永恒话题,去年Facebook因为泄露用户隐私负面事件导致市值大跌;国内用户对于用户隐私的焦虑和关切也与日俱增,隔一段时间国内就出现一些滥用用户隐私的质疑,这需要引起平台型企业的重视——坚持把用户利益放在首位。

通过机器记忆的办法来进行自发推荐,是信息分发更加智能化的表现,也使得用户隐私保护自然成为更为敏感环节。用户敏感隐私与网友所产生的数据本身是有区别的:前者属于法律范畴,后者是技术范畴。个性化推荐意味着平台对相应的隐私保护的升级,这事关信息流平台生存的根本;没有用户数据资源为基础,信息流平台的个性化推荐和商业化也是空中楼阁。

对头条算法上述解读不难发现:内容推荐算法既离不开用户上网行为数据化,也离不开用户所关注的人,是“信息找人”与“人找信息”相辅相成;算法由人创造,也可以服务于人,其边界和权限也可以由人来控制的,无需进行妖魔化或者神秘化。

文章由PM28网编辑,作者:海阁,如若转载,请注明出处:http://www.pm28.com/2949.html欢迎投稿

联系我们

在线咨询:点击这里给我发消息

邮件:403567334@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息