在python中，有两种方法进行去重：
1）对于list数据，去重方式如下：
a)原列表list_origin的内容如下：
list_origin = ["aaa", "ccc", "bbb", "aaa", "ddd", "bbb"]
b)进行去重，获得新的列表new_list：
new_list = list(set(list_origin))
这里的new_list=[‘aaa‘, ‘bbb‘, ‘ccc‘, ‘ddd‘]
c)对新的列表进行排序，这里采用原来列表中的顺序对新列表进行排序：
new_list.sort(key = mailto.index)
这里的new_list=[‘aaa‘, ‘ccc‘, ‘bbb‘, ‘ddd‘]
2)第二种方法，可以借用dictionary中不能有重复出现的key的思想即可完成去重的功能：
a)原列表list_origin的内容如下：
list_origin = ["aaa", "ccc", "bbb", "aaa", "ddd", "bbb"]
b)将列表内容添加到字典中：
定义空字典：dict_tmp = {}
for single_value in list_origin:
dict_tmp[single_value] = ""
此时得到的字典的key即为去重后的内容。
Notes：
哎，楼主当年没好好学，竟然用第二种方法搞了好多项目中的去重工作……
原文：http://www.cnblogs.com/renyuanjun/p/5562084.html