首页 > 其他 > 详细

企业数仓实践

时间:2019-10-14 10:14:05      阅读:69      评论:0      收藏:0      [点我收藏+]

1.痛点:

  技术分享图片

 2)分层

  技术分享图片

 各层说明:

  技术分享图片

 

 各行业各公司都有不同的分层,基本上可以统称为三层:

    1.接入层:通常叫为ODS层,操作数据层,通常是贴源设计

    2.中间层:阿里的说法叫做公共层,通常是DWD操作明细层(清洗转换,纬度转换),DWS轻度汇总层,DIM纬度,DWM集市层(多业务场景的,多指标聚合)

    3.应用层:通常叫ADS层

  各层和技术选型可以和大数据之路相辅相成:https://www.cnblogs.com/jiangbei/p/9364605.html

    尽量避免同层调用

    禁止数据逆向调用

3)规范

  1.表命名规范

    技术分享图片

   基本上是仓库分层_所属域_业务描述_周期后缀(周期:年y月m日d)

  参考https://www.cnblogs.com/jiangbei/p/8484434.html,在ODS层面,可以使用ODS_域_原业务系统表名(如按部门归集,则是ODS_部门简称_表名)

   2.字段命名规范

    1.使用汉语拼音简写

     2.使用对应单词——使用词素分析进行规范

     3.分区字段一般是ds,通过时间分区

  3.开发规范

    其实基本上数据岗位都是开发兼测试,比较少会有专职数据测试

    使用大数据平台ODPS,推荐参考阿里提出的规范:https://help.aliyun.com/document_detail/117439.html?spm=a2c4g.11174283.6.916.4d5d590e8p15iO

企业数仓实践

原文:https://www.cnblogs.com/jiangbei/p/11669441.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!