由于数据经常会出现重复现象，数据去重是数据分析中常用操作之一，而distinct，group by， partition by三者都可以实现去重功能，实践中需要根据不同的场景需求来选取相应的语法。
distinct: 只需要去除重复数据，保留无重复数据
group by：可以根据需要查看哪些数据是重复的
partition by：功能最为强大，可以给重复数据排序，结合外层嵌套语句，可实现按需过滤不需要的数据。
重复数据分析的三个常用语法distinct, group by, partition by
原文：http://www.cnblogs.com/davablog/p/4889714.html