1.痛点:
2)分层
各层说明:
各行业各公司都有不同的分层,基本上可以统称为三层:
1.接入层:通常叫为ODS层,操作数据层,通常是贴源设计
2.中间层:阿里的说法叫做公共层,通常是DWD操作明细层(清洗转换,纬度转换),DWS轻度汇总层,DIM纬度,DWM集市层(多业务场景的,多指标聚合)
3.应用层:通常叫ADS层
各层和技术选型可以和大数据之路相辅相成:https://www.cnblogs.com/jiangbei/p/9364605.html
尽量避免同层调用
禁止数据逆向调用
3)规范
1.表命名规范
基本上是仓库分层_所属域_业务描述_周期后缀(周期:年y月m日d)
参考https://www.cnblogs.com/jiangbei/p/8484434.html,在ODS层面,可以使用ODS_域_原业务系统表名(如按部门归集,则是ODS_部门简称_表名)
2.字段命名规范
1.使用汉语拼音简写
2.使用对应单词——使用词素分析进行规范
3.分区字段一般是ds,通过时间分区
3.开发规范
其实基本上数据岗位都是开发兼测试,比较少会有专职数据测试
使用大数据平台ODPS,推荐参考阿里提出的规范:https://help.aliyun.com/document_detail/117439.html?spm=a2c4g.11174283.6.916.4d5d590e8p15iO
原文:https://www.cnblogs.com/jiangbei/p/11669441.html