EXCEL筛选重复数据的问题(200分)

Question

共三个问题!禁网抄

表中有40列,50000行数据.其中许多行是重复的.我想把重复行找出来,剩下不重复的.
我采用的第一个方法:全选数据--筛选--高级筛选--选择不重复记录--将筛选结果复制到其他位置--确定,结果是其中有几列的数据完全消失.其他一些列中的单元格内容也不见了.
如果上述操作是选择在原有区域显示结果,结果是这样的:有的时候没找全,比如我明白50000条数据中有10000条是重复的.而有时确选出的重复来数据又感觉比较小!
怎样可以通过这种方法筛选出来正确的数据呢?

另外我想采用另一种办法:
1、在空白列如F列输入=A1&B1&C1...把要识别的单元格连接起来；
2、在空白列如G列输入=COUNTIF(F:F,F1)；
3、向下复制这2个公式；
G列值>1的为重复。
但是第二个公式也就是G列计算的结果全是#NAME?.
这又是怎么回事呢?
我到底应该怎样来实现我的目的呢----找出第1行到第50000行不重复的数据?

多谢!

Answer 1

重复数据筛选，我现在会2种办法：
1.公式
单一列判断（假设A列,A1为标题）的公式就是：=if(countif(A2:$A$2,A2)=1,"","重复") 这样出来的，筛选重复就行了

“在空白列如G列输入=COUNTIF(F:F,F1)；”这样输入公式，如果数据重复1次，返回2，这2条数据都会被筛选掉了。 改成“=COUNTIF(F1:$F$1,F1)”然后筛选“>1”的就行。

多列就：=if(and(countif(A2:$A$2,A2)=1,countif(B2:$B$2,B2)=1)"","重复")

全部列列判断就“&&&”，不过40列有点太多了。

2.高级筛选
单一列判断 条件区域（假设放在F列）：F1空，F2输入：＝if(countif(A2:$A$2,A2)=1，ture，false） 条件区域：F1：F2 筛选即可。

多列判断，不知道怎么办：F3输入:＝if(countif(B2:$B$2,B2)=1，ture，false）条件区域：F1：F3 筛选得到的会少掉一些数据。

全部列判断：条件区域空，“筛选不重复的数据”：这个筛出来的数据重复的行只留下1行，如果其中有1列不同，就会2行都留下的。

高级筛选不应该把数据筛掉的阿，如上面的高手回答的首先对数据稍微处理1下，#NAME?这个是在不太清楚，先看看公式有没有打错……

在百度知道搜索“excel 重复”可以得到很多答案，可以相互对比一下，找到最适合自己的办法。

Answer 2

表中有40列,50000行数据.其中许多行是重复的.我想把重复行找出来,剩下不重复的.
第一个方法:全选数据--筛选--高级筛选--选择不重复记录+“建立一个没有筛选条件的条件区域（只包含标题栏）”--将筛选结果复制到其他位置--确定

————这样应该不会漏掉个别列（另外在运行时，最好关掉一些不相关程序，因数据量太大）

你的第二个方法，其实就是把所有数据当作一列进行处理；碰巧我这儿有一个52000多行的数据，我做了一些，没问题，但太慢；

另外：提醒一下，去除重复数据，特别是多列的，一定要保证相同数据的每行的内容、格式完全相同；如果是手工输入或多表合并的一般很难保证，这要做预处理；所以你觉得筛选出数据不对，可能有这方面原因。

祝你成功

Answer 3

感谢楼主特地留消息邀请我来回答此问题,经过思考,我作出如下回答,希望你满意(注:用我的方法所得到的答案中,若某项记录有N个重复记录(N>1),则只留下一个记录,而其他的N-1个记录被排除掉了):
我假设你的数据区域中无字段行,并且数据存放于A1:AN50000的区域中,然后你可按如下的次序进行操作:
1.在第1行第41列AO1中输入如下公式:=A1
2.在第1行第42列AP1中输入如下公式:=AO1&" "&B1
3.选中AP1单元格,利用右下角的填充柄向右边的38个单元格复制公式,一直复制到CB1单元格为止
4.选中AO1:CB1区域,并利用CB1右边的填充柄向下面所有有数据的行复制公式
5.选中A1:CB50000的区域,并进行排序,排序的条件是:以CB列为关键字进行排序
6.在CC2单元格中输入如下公式=IF(CB1=CB2,"重复","")
7.选中CC2单元格,然后利用CC2右边的填充柄向下面所有有数据的行复制公式
8.利用筛选命令筛选出CC列中值是空的所有行,这些就是你所要的无
重复的记录.
另外,有别人说可用分类的方法来解决此问题,只是一个EXCEL表中最多只允许有65536行,只怕这个行数限制无法完成分类的需要(因为楼主的数据有50000行,分类时会增加许多行),但如果只有几千行数据应该可以用分类来解决.

Answer 4

以你需要筛选的关键字那列排序——全选——数据——数据透视表和数据透视图向导——什么都不动，直接点下一步——下一步——布局——将要筛选的关键字那列的列名拖到“数据”那个大方框内，然后其他啊你需要的列的列名按你需要的顺序放在左边“行”的里面排排好——确定——选择新建工作表——完成
然后把每列带“汇总”的行都筛选删除，把最后统计出的数量那列也删除（如果想看各数据有多少重复的，也可保留），剩下的就是你要的了，挺简单，还不明白就加我Q387915739，说明来意哦，否则不加的。

Answer 5

你的2个方法应该没错.
检查过你的数据是否包含不可见字符吗?如空格之类.
可以这样检查:
你的第二种方法"F列输入=A1&B1&C1..."
把F列选择性(数值)粘贴到另一个表的A列里,排序,
在B2输入=EXACT(A1,A2)
向下复制公式,相等的为TRUE,
看看你认为重复的数据是否真的重复.

会用VLOOKUP函数吗?可以用它把检查结果对照回原表.