昨天开始,朋友圈内就开始撕,先是今日头条和艾瑞,接着是易观和美洽,后面还有一堆不明真相的群众围观。其实关于数据分析,从来就不是一件容易的事情,这里面有学术,有苦功,有商业,有利益,有道德,有丑陋,还有营销宣传与事实真相之间的偏差与关联方的冲突。但是情报工作却永远都很重要,对指挥决策和形势判断,对企业的生死存亡都非常关键。
其实无论艾瑞和易观,在有效数据采集源中都会遇到几个大问题
1、在PC时代,流量为核心,可以用网络爬虫分析,网站数据套录和借助很多第三方数据进行加权分析,相对来说会比较容易把控。但是进入了移动互联时代,有微信和App,都是相对封闭的体系,各种第三方的工具越多,恰恰说明这事挺难。
2、几乎没有实地去拜访客户与抽样调查,反向验证不够,如果开始一个基础数据错了,由于他们的影响力会“以讹传讹”,多点反射回来后,数据被其他相关方进行了部分的人为调整,但是又在一个跟他们接近的“可信区间范畴”,于是他们就自我强化认为是真的。
3、受制于成本,主要去访谈相关企业的领导者,要么不告诉你实情,说是商业秘密;要么告诉你大幅掺水的数据,为了商业目的。所以原始数据源的强力干扰,你让这些主要在家做数据分析的人怎么办?于是又开始上网搜索,看看谁的报道多,信息多,于是再进行一定的人为修正。
4、移动端的刷榜和造假,导致Android应用市场的数据基本上不能用,iOS又不公开,只能进行推测。但是偷懒的数据分析员会将Android市场的数据套录后简单粗暴地进行互相比较,得出结论,而写报告的人有时连这些应用都没有下载过,别说体验和测试了。
5、第三方的友盟、个推和百度腾讯等都是通过手机预装某些监测软件,或者作为很多应用的内嵌用户行为分析系统获取相关数据的,每个公司都只能覆盖一部分手机和应用,也不大开放给别人或者需要购买,这也是艾瑞和易观的商业模式之一。
因此在大众应用和大样本覆盖的App等产品,基于采样数据比较大,所以计算后也能放大得比较准确,相对而言,艾瑞的数据比易观强。但是在小众应用,低频应用如移动医疗,专业应用如医生工具和社区,由于采样点很难足够match到目标用户,他们的数据都一团糟,没有多大参考价值,其实即使BAT也不怎么样,机缘巧合之下我看过了腾讯某月对各移动医疗活跃数的内部数据报告,却严重低估了,这样其领导者在可以拉取自己投资或者将要投资的公司的后台数据后,一比较,做出愚蠢的形势判断和决策是有情可原的。
6、给钱了就排在前面,不少已经沦为广告和公关公司了,这是一个成熟产业链。
那么关于移动端数据采集的方法论,我来公开一下我们团队是怎么做的。
问诊平台的数据拉取
(1) 穷举法,列出平台上所有主要科室(内分泌、妇科、肾内科、肿瘤、神经内科、心血管内科会是重点)的医生列表,包括职称、地区、科室,服务人数等,比较医生的质量。步骤是:①医生界面截图,②图文识别上传,③识别好的进行整理。
所以任何平台跟我吹牛有XX万医生都没有意义,你如果真把这个医生上到了平台,会让患者找不到吗?所以我们会做所有这些数据分析人员都不会做的事情,穷举,就是一个个全部拉出来。而那些数据公司,包括BAT都是聪明人太多,没有人肯干这种苦活。
(2) 但是并不代表平台上来的医生就是真的,包括青苹果和杏仁在内都有大批代注册,虚假注册和卸载的医生,统计每天平台上的活跃医生,每个平台抽样100次进行问诊(分时间段进行),统计回复时间;可通过两次提交问题后生成的订单数之差,获得提问用户数。
(3) 合并在多个平台上出现的医生;对出现在2个或3个平台上的医生,进行集中抽样,推算各平台之间的活跃度关系,还要比较不同科室的活跃度。会有一个比较系数的区间范围,那么当我们可以比较精确地“锚定”一个平台的数据,就能进行可信的比较推算。
(4) 实际大量问诊后获得有效数据,有时候会出现对同一问题,不同医生不同平台的完全一致性的整段回答,答案是什么并不重要,但是这个现象本身难道不能说明一些事情吗?由此对一些可疑平台,如青苹果和平安好医生的大量一致性回复,我们将答案复制黏贴去百度,发现源于百度和一些医学知识库的整段问答,一个标点符号都不差;再深入调研,原来他们请了好多实习生,护士和一些文秘,教会这些方法,来用医生的名义去代替医生回答患者的问题。
实战案例
1、同时用四个手机测试在同一平台上,在同一时间,在同一个科室内,根据同一问题,获得答复之间的时间差,以及参与回复的医生的数量,并且查看医生是否有循环回答的情况。通过在同一科室内的反复测试就可以知道在这一时间段,平台上这一科室内真实有效的活跃医生数量。
2、随后,我们同步测试这一平台上所有的十几个科室,取加权平均,就可以进一步推测这个平台上这一时间内总活跃(所有科室)的医生的数量。
3、最后,取多天多点时间,就可以大致推算出这个平台目前为止总活跃用户的数量和活跃程度(使用时间,因为我们在测评中发现有些医生总是在线,有些总是不在)。
我们在测试的时候,发现有些医生活跃的时间在上午,有些在下午,但是大多数的医生整块活跃时间都在中午11点~2点多,以及晚上8点之后,不过会随着患者问诊的量而发生动态变化。根据统计学分析,我们先做散点图,得出医生活跃数据数量的分布图,等到了我们要进行测试计量的时间段之内,测试的不同分组内还会有一些活跃的细微的差别。周末、节假日、工作日等因素都会导致结果之间有差别。
因此在做分组统计之前,我们要做均衡性检验,多点取样,多重因素回归,避免单一分析出现较大误差。还有,我们可能从之前的测试中推断出某个科室的某个医生是非常活跃用户,然后我们为了反过来验证其是否是重度活跃用户,我们会把某个问题问这个科室的医生,再把同样问题问其他科室的医生,把其他科室医生的问题再拿回来问这个科室的医生等等,这是一个数学上循环代入、验证测试的方法。将之前推断出的活跃医生和重度用户进行反向推测验证,再将多个测试点的情况进行带入情况进行加权平均,看是否符合我们之前猜测的数学模型,是否需要修订结果,然后结果还要再取加权平均。
那么我们为什么要测医生流量呢?因为我们需要依靠医生流量来推测患者流量。我们不知道该平台覆盖的患者数量,但是患者是来这个平台是咨询医生的,所以我们可以根据这个平台上现有活跃医生的数量,计算出这个平台在某个时间内所能接待的最大患者数量,用这种方法进行反向推定上限。换句话说,根据平台上的医生数量,那每天有多少患者流量的上限肯定是能算出来的,这是使用间接法来测量。
为了便于理解,我给大家举一个我儿子参加小学生奥数培训的一道题目来类比,用数学上行船顺流逆流的问题演算方法来进行患者流量的判断。顺流逆流其实是一个数学思想,我们并不知道目前水流的速度和我的船速,但是顺流速度=船速+水速,逆流速度=船速-水速,因此根据船分别在顺流和逆流中行进到达某目标的时间不同,我们就可以通过公式计算得到我们的船速和水流速度,或者两者的关系。
在我们的流量测试中,这个概念是相同的——我不知道某具体流量情况如何,但是我们可以通过多点取样,反复代入来对相对的情况进行推测,随着时间样本的不断增加就会比较准确,不过这种方法测量的一段时间的平均值,无法预测峰值,对于爆发式增长的平台不适合,需要等他稳定下来再说。
医药电商
(1)天猫医药馆:穷举法列出所有商品的SKU指数,包括名称、价格、销量,其中销量以月为单位统计(已拉取1月份的销量)通过相邻两月的销量差,得出某种商品当月销售量,累计所有商品的月销售量,获得总销量。
(2)App:通过下单后获得的订单差来计算销量,刚开始可连续三天下单,获得每日的销量,后面可间隔一周,然后两周,挨着顺延,间隔四周时APP销量数据调研告一段落。
但是有些App很聪明,进行了随机修订,比如:
X药网:在X药网的App上2号、3号和4号分别下了单,单号分别是20160202153530345135、20160203155912377206、20160204155625337309,其中2号和4号的单是用同一账户付款的,3号的单是另一账户付的款,可以看出除了前面的年月日的8位,后面的12位的后10位也是没规律的,并不像其他平台同一账户付款的话最后四位是一样的。通过单号是不能看出销量差别的。但是请注意,随着采样数目的增加,还是可以看出部分规律的。
比如某药网:3号下了两单,两笔订单的间隔时间是5分钟,订单号分别是42596980179和42597620179,中间三位数看起来是有规律的,后面一单比前面一单多64。3号晚上10点又下了一单,订单号是42630820124,距离下午下单间隔大概5个小时,多了三千多,但是五个小时多这么多订单不合情理啊,于是你可以立即连续下单,你就能够发现单与单之间的数据倍数关系,这是小学数学应用题的解法“归一法”。可能是为了扰乱做数据分析的人,还可能是为了给投资人等直接拉后台数据时看的。
那么将天猫和App的数据进行综合分析,可以大致拉出该医药电商的真实流量,乘上平均客单价再乘一个退货和刷单系数,就是真实流水的推算。
以上说了那么多,都只不过是网络数据拉取分析的冰山一角,我们也一直在实践中总结新的方法。但是网络的造假和刷榜你只有大概印象,无法精确分析,这时候就需要大量的实体营销人员去拜访客户,点对点访谈,长期抽样调查来进行交互印证了。说一句话很容易,这要花多大时间和人力消耗呢?所以这些方法就算全告诉大家又怎么样?没有一个数据分析公司会养六个全职,十多个地推三年时间去专门做一个这么小的行业,他们都喜欢一下抓住重点“捞干货”。
来源:虎嗅网
为你推荐
资讯 康宁杰瑞与PathosAI达成22亿美元ADC授权协议,1.25亿美元首付款
8月4日,康宁杰瑞生物制药宣布其全资子公司江苏康宁杰瑞生物制药有限公司与美国临床阶段生物技术公司Pathos AI就TROP2 HER3双特异性抗体偶联药物JSKN016达成独家授权许可协议。
2026-08-04 22:14
资讯 剂泰科技与恒瑞医药达成AI制剂合作
8月3日,剂泰科技发布自愿公告,宣布自主研发的AiTEM人工智能制剂创新平台将在恒瑞医药进行本地化部署,加速药物制剂配方开发效率。
2026-08-04 13:01
资讯 东阳光药甘精胰岛素首批115.2万支发货美国
近日,东阳光药发布公告,首批甘精胰岛素注射液(商品名:Langlara)已于7月27日自湖北宜都生产基地分批启运美国,预计8月中下旬完成全部发货。首批计划发货115 2万支。
2026-08-04 11:37
资讯 维利信LBL-024用于转移性结直肠癌获批IND
8月3日,维立志博发布公告,公司自主研发的PD-L1 4-1BB双特异性抗体维利信(LBL-024)联合用药治疗转移性结直肠癌(mCRC)的开放、多中心Ib II期临床试验申请已获得国家药品监...
2026-08-04 10:22
资讯 药明康德半年业绩超预期,大幅上调全年业绩指引
预计2026年公司整体收入由人民币513-530亿元上调至人民币585-605亿元,上调幅度约14%,持续经营业务收入同比增速由18%-22%上调至35%-39%。药明康德计划向全体股东每10股派发现金红利5 1元(含税)。
2026-08-03 20:46
资讯 国家医保局召开全国深化医保基金管理突出问题专项整治工作中期推进会
7月31日,国家医保局会同最高人民法院、最高人民检察院、公安部、财政部、国家卫生健康委、税务总局、市场监管总局、国家中医药局、国家药监局,10部门联合召开全国深化医保基金...
2026-08-03 10:40
资讯 第12批国采,哪家企业中选品种最多?
本次集采65个品种全部采购成功,全国共4 5万家医药机构报量,327家企业的521个产品获得拟中选资格,覆盖抗感染、抗肿瘤、抗血栓、降血糖、降血压、降血脂、风湿免疫、消炎镇痛...
2026-08-02 19:58
资讯 雷海潮:推动健康中国建设取得决定性进展
健康中国建设是一项系统工程,涉及面广,必须充分发挥党总揽全局、协调各方的领导核心作用。
文/雷海潮 国家卫生健康委员会党组书记、主任 2026-08-01 22:28
资讯 华恒生物实控人被批准逮捕
8月1日,华恒生物发布《关于重大事项进展的公告》,公司于2026年7月31日收到公司实际控制人郭恒华家属通知,郭恒华因涉嫌非法吸收公众存款罪被检察机关批准逮捕。
2026-08-01 17:47
资讯 国务院常务会议:研究健康优先发展战略实施有关工作
要牢固树立健康优先导向,深化医药卫生体制改革,健全公共卫生、医疗服务和医疗保障体系,推动医药科技创新,加快形成有利于健康的生产生活方式。
2026-08-01 10:25
资讯 总计最高4.235亿欧元付款,英派药业与Pharmanovia达成授权合作
7月30日,南京英派药业公告称,公司已与Pharmanovia订立独家合作,授予其在66个国家制造、开发及商业化塞纳帕利的独家权利。公司有望获总计最高达4 235亿欧元付款,包括首付款...
2026-07-31 16:12
资讯 凯莱英、高瓴12.397亿元增资大分子CDMO业务
7月30日晚间,凯莱英公布公告,该公司、目标公司上海凯莱英生物技术发展有限公司、凯莱英生物技术、高瓴祈睿、珠海岱恆、Hao Hong博士、凯莱同心及海河凯莱英基金订立增资协...
2026-07-31 14:23









