手把手教你搭建用户画像系统（入门篇下）

Hive是最基础的存储，主要存储标签计算结果集，跑spark作业或MapReduce作业，处理大量的数据集时使用。

存储一些数量级较少的标签。MySQL的读写不用跑mapreduce作业，对于小量的数据读写速度很快。用于存储元数据、标签量级的监控、一些表加工结果的状态位、业务系统中读取的一些数据。

存储线上推荐给用户的实时性较强的数据,在画像产品化章节中有讲到圈人服务，业务方根据规则圈定人群后进一步通过分析明确该人群是其要运营的人群后，将该人群推送到相应的业务系统中，有的业务系统使用hbase提供服务。如广告系统、push消息系统等。

人群计算、人群多维透视分析。

在用户画像工程化调度中主要涉及到的环节/模块：

标签调度：主要的调度任务，负责每天调度计算用户身上的标签，插入对应的标签表中；

标签校验：分为多个模块。①校验每天插入hive表中的标签数据是否出现异常；②校验同步到hbase、关系数据库中的标签数据是否和hive中标签数量级一致；③校验“圈人功能”中计算出来人群对应的标签是否出现异常波动；

数据同步：将用户标签同步到hbase、MySQL等关系数据库的业务系统中。这算是数据服务层的任务；

人群计算：根据产品端业务人员圈定的用户标签组合，计算对应的人群。计算任务使用MapReduce或spark作业将数据插入到hive中，然后同步到对应的业务系统中；

通知邮件：数据插入到hive、hbase或关系数据库后校验标签的数量级或波动情况。如超出正常范围则触发报警邮件标签调度推数。

自建用户画像系统是互联网企业、在转型的传统企业必经之路。画像系统一方面用于企业精细化运营，提高客单价，通过洞察用户特征，更加了解用户。另一方面拓客拉新，与外部数据打通，寻找更加精准人群，帮助提升收入。具体有一下使用场景。

通过规则筛选出一批有相同特征的用户群体。存后将生成圈定人群的规则，而后依据该规则生成圈定人群推送到服务端。

下面介绍提供产品化服务的调度流程：

多维透视分析提供根据现有用户标签圈定用户的功能。进一步地用户可以将这些标签进行组合，筛选出同时包含这些标签的用户群，从多个维度（如地域、性别、消费水平、活跃度等）进一步分析该批用户群的特征。从而为精细化运营提供支持.

和用户分群功能的一样，多维透视分析功能也可以组合标签圈定用户群，计算对应人群的数量。不同的是：多维透视分析功能可以从多个维度去分析圈定用户群的特征，可以进行人群的对比分析；用户分群功能侧重的是将筛选出来的用户群推送到业务系统，提供服务支持。

根据历史用户特征，运营人员可以分析产品的潜在用户和用户的相关需求，针对特定群体提供个性化营销服务。常用的有短信、邮件、站内信、push 消息的精准推送，客服针对用户的不同话术、针对高价值用户的极速退款退货等 VIP 服务。

案例一：广告弹窗

案例二：短信营销-业务规则

业务人员可根据要营销的用户量和营销内容，建立规则筛选需要推送短信/邮件的人群。

用户画像的标签可应用于各类分析，包含用户分析、订单分析、漏斗分析、人群特征分析等。通过用户画像可视化，能清晰展示用户特征、用户状态及分布，方便了解现有会员组成及状态，了解会员发展状况。

用户进入电商类网站或APP的一个典型流程包括，进入首页后搜索关键词、点击商品板块或点击推荐商品进入详情页，在详情页浏览点击加购后退出该页面搜索其它商品继续浏览，最后进入订单页进行支付，或浏览途中退出APP。这系列行为就是用户的行为轨迹，对于用户这样的访问行为我们可以追踪分析。