加入收藏 | 设为首页 | 会员中心 | 我要投稿 源码网 (https://www.900php.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 创业 > 点评 > 正文

基于某生鲜APP业务的数据仓库搭建过程(一)

发布时间:2020-06-23 19:02:45 所属栏目:点评 来源:做站长
导读:副标题#e# 生鲜app搭建数据仓库是非常必要的,它需要提升供应链管理能力和数据的计算的准确性和时效性。那么,要怎么去进行一个数据仓库的搭建呢?本文给大家分享一下搭建的过程~ 某生鲜APP搭建数据仓库的必要性分析 (1)供应链能力是生鲜电商致胜的关键,

大客户分析:

  • 大客户来源?
  • 大客户订单规模(100人、200人)?
  • 大客户单位性质、行业分布?(国企、私企、互联网)
  • 大客户地域分布?
  • 大客户购买频率?
  • 大客户复购率?

购物车分析:

  • 购物车产品数量?
  • 购物车产品分类?
  • 购物车商品关联度?
  • 购物车转为订单的比率?

售后分析:

  • 售后渠道接单量分布?
  • 售后类型(物流、商品质量、支付问题)?
  • 售后回复效率、时间?
  • 售后满意度?
  • 售后处理方式(退款?赔偿?发送优惠券?)分布?

供应链分析:

  • 哪些供应商的产品比较受欢迎?
  • 哪些供应商产品比较全?
  • 哪些供应商的配货速度比较快?
  • 各品类商品供应商配货时间集中度是什么时候?
  • 供应商的分布?

微仓分析:

  • 微仓的分布?
  • 微仓的规模?
  • 哪些微仓效益比较好?
  • 哪些微仓评价比较好?
  • 微仓配货分拣时间分布?
  • 微仓收入是怎么样的分布?
  • 微仓面积与产品囤货量分析?

2.3 抽取公共维度,构建数据集市

确定细分的分析主题后,需要对上述所有的主题进行切片,抽取公共维度。公共维度的抽取非常重要,如果没有维度的切片,那么所有分析数据只能从业务源数据中抽取,这样会极大降低数据的处理速度,甚至会导致计算系统的崩溃。这一步也为接下来的数据建模提供基础。

以用户分析为例,与用户有关的维度有下单时间、下单日期、所在地区、购买的产品、用户订单、支付方式、折扣方式、年龄、购买频率、售后等等。

以此类推,逐个分析每一个主题,然后抽取公共维度,构建总线矩阵表,如下所示:

基于某生鲜APP业务的数据仓库搭建过程(一)

2.4 根据常用建模方法,设计维度表和事实表

一般来说,数据仓库由维度表和事实表2种表组成,保存度量值的详细值或事实的表称为“事实表”;用来描述事物维度和属性的表称为维度表。一般来说,一个事实数据表都要和一个或多个维度表相关联。

在这一步骤中,我们需要把OLTP模型中的数据转化为关系模型。建模方法常用的有星形模型、雪花模型。

以下订单事实表为例,基于星型模型将OLTP中的数据转化为关系模型,定义层次结构,在这一步基本完成物理数据库的设计。

如下图所示:

基于某生鲜APP业务的数据仓库搭建过程(一)

3. 配置数据源

OLTP中的数据类型非常多,来源也很多。既有结构化数据,也有半结构化、非结构化数据;既有mysql、oracle等关系型数据数据,也有日志文件、ngix服务器、埋点数据,甚至还有DOC文件数据。

在这一步就需要梳理所有数据来源,包括来源总数、数据类型、存储方式、数据量级、更新频度、增量量级等等。

另外需要注意到,结构化数据可以直接通过ETL方式进行提取;结构化和半结构化数据则需要通过一定的算法处理后再入库。

未完待续……

 

本文素材来自互联网

(编辑:源码网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读