淘寶神器之重復數據過濾神器，支持字符串過濾，也支持對.txt文本文件、.csv文件直接過濾；支持多線程過濾，支持多文件批量過濾，支持多文件合并過濾，支持顯示過濾進度、過濾報告，支持按重復次數再次篩選保存數據。

假如你采集了很多郵箱、淘寶買家帳號、QQ帳號，或其它類似的帳號、ID等信息，但里面有很多重復的數據，手工去除那太慢太煩容易出錯，那么你應該用重復數據過濾神器來過濾重復的數據（只保留一次）。

功能說明：

1、支持多文件批量過濾，支持多線程過濾，以列表方式友好顯示每個文件各自的過濾進度。
2、支持多文件合并過濾，如果你將數據保存在了多個文件中，不必合并，可以直接對這幾個文件進行合并及去重復過濾，最后保存為一個無重復數據的文件。
3、每個文件過濾都會提供過濾報告，記錄各個數據的重復次數，你可以再次按重復次數來篩選數據（比如在提取的淘寶交易訂單信息中，如果某個買家帳號出現的重復次數高于某個值，我們可以認為它可能是刷信譽的買家而非真買家從而再次去除等）。

過濾說明：

一、字符串過濾
去除重復字串（只保留一次），過濾時一行一個字符串（字符串如帳號、ID等）。
二、csv文件數據過濾
直接去除csv數據中的重復數據。要對csv進行過濾時，需要先指定以哪一個列作為過濾基準，即，如果不同行中的該列數據一樣時，表示二個行是相同的，那么將只保留最前面的那一行，后面的行將被忽略。設置好后，選擇過濾后產生的新文件要保存的位置，點擊“開始過濾”即可完成csv文件的數據過濾。

官方網站：http://www.taobaoshenqi.com/

相關搜索：重復數據 重復內容