聚热点 juredian

在京东,我做数据采集踩过的坑

专业成就职业

大家好,我是 策略产品经理夏 唬人。

我们都知道,做策略产品需要三大数据:用户,物品和事件,而事件一般是指用户在APP内的一些行为数据,比如点击,浏览,加购,下单等,所以能看出来事件数据是用来联系用户和物品的关键。因此如何能正确,完整的把事件数据采集到是策略产品落地的关键所在。

线上埋点是数据采集的核心方式,可以这么理解, 互联网产品99%的线上数据都是通过埋点获取的, 而用户行为数据是策略产品搭建的基础。

熟悉我的读者应该都知道,在我做策略之前,曾经在JD用了三个月的时间用来提升线上数据的质量,保障数据的可用性。

所以,今天我把之前在JD做这个事情的坑总结一下,有则改之无则加勉。

广而告之一下: 18期训练营本周开始,有想学习的同学抓紧,错过等两个月。

最近做了近几期的调研,先放一个来自之前做过3年的NLP算法工程师的反馈

同时,训练营即将新增5节内容:

离线和实时推荐策略设计方法

用户偏好策略设计方

搜索相关性分档排序策略设计

搜索索引搭建

搜推综合排序策略设计方法

回到正文。

(1) 埋点方案设计的时机要把握好,一般是在产品设计稿确认完毕即可开始进行埋点方案设计,因为此时产品页面、点击位、曝光区域等的埋点需求十分清晰,可以避免频繁更改埋点需求。另外,埋点方案也需要及时和开发同步,以防止相关的埋点参数接口取不到。如果在用户点击加入购物车按钮时想要获取的当前商品的类目信息,类目这个参数时需要由后端接口传递的。

(2) 数据有问题,尤其是源数据,一般都是埋点的问题。而且大多数情况下,埋点测试的疏忽是导致埋点问题的主要原因,因此策略产品经理除了进行埋点方案设计,还需要对埋点测试结果进行把关验证,否则会有很大的白埋率。

白埋率是用来衡量埋点质量的 一个指标,比如一个版本有 100个点击位需要进行埋点,但是实际上线只有49个点击位的数据能够正常上报,那么白埋率就是51%。

关于埋点测试,大家可以看我之前的视频号直播。

(3) 点击位的埋点标识需要保持唯一,否则数据统计会出现问题,一个点击位上的数据统计 为 0,另一个点击位的数据是两个点击位点击量之和。

大家可以把埋点标识理解为每个点击 位的身份证, 类似代码里面的变量名,必须是全站唯一的,不能出现重复。

(4) 使用正确的埋点采集工具。如同前面小节介绍的那样,不同的产品形态需要嵌入的埋点采集工具不一样,需要按照企业数据部门的规定进行正确的引用,否则即使埋点方案做的再好,也无法收集到数据。

下面是常见的不同端的采集工具:

(5) 上线后一定要验证数据上报的准确性。即使埋点方案、埋点测试阶段均验证通过,但是因为产品发版,代码部署等环节带来的不确定因素很可能会导致采集工具运行异常,导致上线后数据上报失 效。

埋点上线之后,一般每个公司会提供对应的数据可视化产品用于产品数据展示。也有的公司是和第三方数据采集平台合作,也会提供对应的可视化平台。如果没有这些资源那就sql提数吧,毕竟是自己的产品,看数据还是很有必要的。  

另外,数据必须每天一看。如果你经历过从某一天开始,大部分数据无故失踪而不自知的情况,你就知道每天看数据是多么的重要了。

总之,策略产品经理在进行产品埋点的时候,需要把握几个关键的时间点:设计稿,提测和上线。设计稿确认之后就需要开始进行埋点方案的设计,提测之后作为产品经理也需要对埋点效果进行验证,上线后随时关注线上数据情况。

同时,在实施产品埋点的过程种把握住一个点即可:想看什么数据,就埋什么点,埋点一定是为数据服务的。

关注我的视频号:每周二、周四直播,挑战1个月10场直播,专业干货,职场晋升,连麦答疑

搜索建议:在京东,我做数据采集踩过的坑  
热闻

 齐琦:09电影推荐。

ぐ蘶ふご的回答:最近好看的电影多得很: 1.《深渊》 经典中的经典,个人感觉是水下电影最好看的一部。 2.《12只猴子》 布鲁斯威利主演的一部科幻片,感觉还可以...(展开)