淘宝大数据分析平台有哪些方法?企业目前实现大数据分析平台的方法主要有

动态 未结 置顶 精帖
用户
悬赏:60飞吻

搭建大数据分析平台的工作是循序渐进的,不同公司要根据自身所处阶段选择合适的平台形态,没有必要过分追求平台的分析深度和服务属性,关键是能解决当下的问题。

如果说用户行为分析平台是互联网行业等线上业务特有的数据分析产品,那么大数据分析平台就是适用于全行业的数据分析产品。任何行业的公司发展和精进都离不开数据分析,而大数据分析平台就是实现数据分析,为业务人员提供分析能力的基础产品。如果没有该数据分析平台,企业则不得不招聘专业的数据分析师完成全部的数据分析工作。

一方面数据分析师的招聘门槛更高,一方面数据分析师对实际业务的了解程度也并不如运营、市场等业务方人员。

所以更合理的做法是为业务人员提供易用的数据分析产品,配合特定的数据分析培训,以使业务同事可自行完成绝大部分数据分析需求。同时辅以数名数据分析师完成更专业的数据分析任务,产出数据报告或决策等关键信息。

大数据分析平台是对大数据时代的数据分析产品(或称作模块)的泛称,诸如业务报表、OLAP应用、BI工具等都属于大数据分析平台的范畴。与用户行为分析平台相比,其分析维度更集中在核心业务数据,特别是对于一些非纯线上业务的领域,例如线上电商、线下零售、物流、金融等行业。而用户行为分析平台会更集中分析与用户及用户行为相关的数据。

企业目前实现大数据分析平台的方法主要有三种:

(1)采购第三方相关数据产品

例如Tableau、GrowinIO、神策等。此类产品能帮助企业迅速搭建数据分析环境,不少第三方厂商还会提供专业的技术支持团队。但选择此方法,在统计数据的广度、深度和准确性上可能都有所局限。例如某些主打无埋点技术的产品,只能统计到页面上的一些通用数据。

随着企业数据化运营程度的加深,这类产品可能会力不从心。该方案适合缺少研发资源、数据运营初中期的企业。一般一些创业公司、小微企业可能会选择此方案。

(2)利用开源产品搭建大数据分析平台

笔者曾经待过的一家公司就是采用该方案搭建的OLAP应用。对于有一定开发能力的团队,可以采用该方式快速且低成本地搭建起可用的大数据分析平台。该方案的关键是对开源产品的选择,选择正确的框架,在后续的扩展过程中会逐步体现出优势。而如果需要根据业务做一些自定义的开发,最后还是绕不过对源码的修改。

(3)完全自建大数据分析平台

对于中大型公司,在具备足够研发实力的情况下,通常还是会自己开发相关的数据产品。自建平台的优势是不言而喻的,企业可以完全根据自身业务需要定制开发,能够对业务需求进行最大化的满足。

对于平台型业务,开发此类产品也可以进行对外的商业化,为平台上的B端客户服务。例如淘宝官方推出的生意参谋就是这样一款成熟的商用数据分析产品,且与淘宝业务和平台优势有非常强的结合。

接下来,本篇将重点介绍几种不同阶段的大数据分析平台产品形态。

报表分析平台

提到数据分析,很多人的第一反应应该都是报表。确实报表应该就是最基础的数据分析工具,因此不少公司在搭建数据分析平台时,也是先从满足报表需求起步的。

在平台搭建初期,优先实现重要的固化报表没有任何问题,但随着业务的发展,对数据分析的需求会成倍增加,不可能一直靠业务新增查询需求,数据团队对前后端进行开发改动这种低效的方式来实现。

因此我们可以在报表平台上开发一套扩展工具,用于完成对取数需求的条件配置。本质上是将日常业务查询的SQL语句进行了产品化,并罗列了可支持的数据指标、维度、时间等信息。

至此,报表平台便拥有了直接新增报表的功能,业务人员可根据自身需求在平台上配置所需的报表,而不用每次由研发团队单独开发。例如下图是生意参谋中的新建报表功能,商家可以通过一系列的条件选择完成报表的配置。

生意参谋-新建报表

除去简单的报表生成,我们还可以扩展图表模块,对报表进行可视化。可以选择常见的图表样式,例如折线图、柱状图、饼图等。

不过受限于产品形态,所有的配置操作都是在既定的框架下完成的,研发人员需要事先在页面上规定可选的维度、时间周期、指标的信息。若遇到对当前页面还不支持的指标或维度的分析需求(在实际使用时会经常发生),仍需要进行开发,升级平台。为了满足更定制化的查询需求,该平台也可以做到支持书写SQL完成查询。

某种程度上来看,其实该阶段的分析平台对业务人员还不够友好,可能更多时候是数据产品经理和数据分析师在进行使用,以满足自身分析需求或承接业务的数据需求。为了真正让业务人员直接具备查询、分析数据的能力,我们需要进入下一个阶段。

自助分析平台

如果说扩展后的报表平台能很大程度的释放研发生产力的话,搭建自助分析平台将可以解放数据分析师的大量工作。自助分析平台已经基本能满足业务人员的全部数据查询和分析需求了。当然,在平台上线后还是需要组织适当的培训,提供友好的产品说明文档。

自助分析平台是进一步将我们的数据查询、分析语言产品化。与报表平台相比,自助分析平台至少有了以下进步:

  1. 可以选择数据源,可以在权限允许范围内访问数据源内全量的数据,并读取数据源的数据结构,用于后续的查询配置。例如定位到具体的数据仓库。
  2. 可以自由选择数据指标和维度,构建Cube。即可以自由地选择不同主题下的维度,作为表格的行和列。行和列都支持维度的嵌套,构建层次化的索引。
  3. 支持丰富的指标计算方式。与用户行为分析平台类似,自助分析平台也支持通过表达式对基础指标进行计算,构建新的指标。在输出结果时,也可以制定对指标的聚合方式,包括求和(SUM)、求平均(AVG)、累计求和(CUMSUM)、计数(COUNT)、求最大值(MAX)、求最小值(MIN)等常见的计算方式。
  4. 支持丰富的条件筛选。包括了最常用的时间段筛选,以及可在各个维度下通过一系列关键字组合设置筛选条件,例如大于(>)、等于(=)、小于(<)、不等于(!=)
回帖
  • 消灭零回复
[打开调试信息]