首页 > 数据库技术 > 详细

mssql sqlserver 三种数据表数据去重方法分享

时间:2019-02-27 10:47:26      阅读:257      评论:0      收藏:0      [点我收藏+]

摘要:

下文将分享三种不同的数据去重方法
数据去重:需根据某一字段来界定,当此字段出现大于一行记录时,我们就界定为此行数据存在重复。



数据去重方法1:

当表中最在最大流水号时候,我们可以通过关联的方式为每条重复的记录获取唯一值

数据去重方法2:
为表中记录,按照指定字段进行群组,并获取最大流水号,然后再进行去重操作
 
数据去重方法3:
采用分组后,重复数据组内排名,如果排名大于1代表是重复数据行数据
 
三种去重方法效率对比:
方法3 > 方法2 > 方法1
 

create table test(keyId int identity,sort varchar(10),
info varchar(20))
go

---方法1 
truncate table test ;

insert into test(sort,info)values(A,maomao365.com)--1
insert into test(sort,info)values(A,猫猫小屋) --2
insert into test(sort,info)values(B,mssql_blog) --3
insert into test(sort,info)values(B,优秀的sql——blog) --4
insert into test(sort,info)values(B,maomao365) --5
insert into test(sort,info)values(C,sql优化blog) --6
go

delete from test where test.keyId = (select max(b.keyId) from test b where test.sort=b.sort);
select * from test 
---方法2:
truncate table test ; 
insert into test(sort,info)values(A,maomao365.com)
insert into test(sort,info)values(A,猫猫小屋)
insert into test(sort,info)values(B,mssql_blog)
insert into test(sort,info)values(B,优秀的sql——blog)
insert into test(sort,info)values(B,maomao365)
insert into test(sort,info)values(C,sql优化blog)
go
delete from test 
where keyid not in(select min(keyId) from test group by sort having count(sort)>=1);
select * from test 
---方法3:
truncate table test ; 
insert into test(sort,info)values(A,maomao365.com)
insert into test(sort,info)values(A,猫猫小屋)
insert into test(sort,info)values(B,mssql_blog)
insert into test(sort,info)values(B,优秀的sql——blog)
insert into test(sort,info)values(B,maomao365)
insert into test(sort,info)values(C,sql优化blog)
go
delete A2 from (
select row_Number() over(partition by sort order by keyid) as keyId_e,* from test 
) as A2 where A2.keyId_e >1

select * from test 
go
drop table test 

 

<img src="http://www.maomao365.com/wp-content/uploads/2018/07/mssql_sqlserver_数据表数据去重的三种方法分享.png" alt="mssql_sqlserver_数据表数据去重的三种方法分享" width="813" height="749" class="size-full wp-image-6767" />

 

转自:http://www.maomao365.com/?p=6766

mssql sqlserver 三种数据表数据去重方法分享

原文:https://www.cnblogs.com/lairui1232000/p/10441616.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!