最近我的手机经常提示存储空间不足，主要是微信和 *** 群里接收的文件太多了，平时也没怎么整理。我把这些文件从手机里拷出来，打算整理一下，把该删的文件都删掉，把要备份的文件分门别类存到电脑或网盘上。我突然发现个问题，就是手机里有很多重复文件，文件名不一样，但是内容完全相同。这就搞得我很头疼，手动一个一个文件去对比，再删掉重复的文件会累死的。
于是就有了个想法，用Python写一个小工具，把重复文件都给我列出来，我直接批量勾选删除就行了。
这个小工具是用Python3.8.10和wxPython4.2.0开发的，主要解决这几个问题就能实现了：
遍历指定文件夹中的所有文件生成所有文件的MD5哈希值并保存在字典里，字典的key是哈希值，value是一个列表，列表存放所有哈希值一样的文件路径。为了不让界面卡死，在文件处理过程中，需要使用单独的线程。设计GUI，这里我是纯手工写的GUI代码。wxPython官方的示例很齐全，很多控件示例拷过来改改就可以了。调用系统函数打开文件、打开文件所在位置、删除文件。下面贴几个段关键代码：
遍历文件
# 遍历文件，将所有文件的路径放入一个列表里 def disk_walk(Filepath): path_collection = [] for dirpath, dirnames, filenames in os.walk(filepath): for file in filenames: fullpath = os.path.join(dirpath, file) path_collection.append(fullpath) return path_collection
生成文件MD5哈希值
# 生成文件的MD5值，通过比较文件的MD5值，就可以判定两个文件是否一致 def make_hash(file_path): try: md5 = hashlib.md5() # 创建一个md5算法对象 with open(file_path, 'rb') as f: # 打开一个文件，必须是'rb'模式打开 while 1: data = f.read(1024) # 由于是一个文件，每次只读取固定字节 if data: # 当读取内容不为空时对读取内容进行update md5.update(data) else: # 当整个文件读完之后停止update break ret = md5.hexdigest() # 获取这个文件的MD5值 except OSError: print('Permission denied: %s' % file_path) return None return ret
文件大小格式化输出
# 文件大小格式化输出 def FormatFileSize(size): for x in ['B', 'KB', 'MB', 'GB', 'TB', 'PB']: if size < 1024.0: return "%3.2f %s" % (size, x) size /= 1024.0
单独线程处理遍历文件和生成MD5哈希值的任务
def PopulateList(self, path, info): self.info = info self.list.DeleteAllItems() self.record.clear() _thread.start_new_thread(self.Run, (path,)) def Run(self, filepath): # wx.BeginBusyCursor() files = disk_walk(filepath) count = len(files) self.gauge.SetRange(count) for idx, f in enumerate(files): hash_value = make_hash(f) if hash_value is None: continue if hash_value in self.record: df = self.record[hash_value] df.append(f) else: df = [f] self.record[hash_value] = df wx.PostEvent(self.list, UpdateListEvent(file=f, total=count, index=idx + 1)) # wx.EndBusyCursor()
打开文件
# 打开文件 def OnOpenFile(self, event): index = self.list.GetFirstSelected() filepath = self.getColumnText(index, 3) os.startfile(filepath)
打开文件位置
# 打开文件所在位置 def OnOpenFileLocation(self, event): index = self.list.GetFirstSelected() filepath = self.getColumnText(index, 3) os.system(f'explorer /select, {filepath}')
删除勾选的文件
# 删除勾选的文件 def OnDeleteFile(self, event): itemcount = self.list.GetItemCount() itemschecked = [i for i in range(itemcount) if self.list.IsItemChecked(item=i)] if len(itemschecked) == 0: wx.MessageBox('请勾选需要删除的文件', '消息', wx.OK | wx.ICON_INFORMATION) else: rs = wx.MessageBox('确定要删除选中的文件吗?', '确认', wx.YES_NO | wx.ICON_WARNING) if rs == wx.YES: itemschecked.reverse() # 列表反转，从后往前删，避免因ListCtrl的Item索引变化而删除失败 for index in itemschecked: try: file_path = self.getColumnText(index, 3) os.remove(file_path) self.list.DeleteItem(index) except OSError: print('Permission denied: %s' % file_path)
wxPython有个自定义事件处理机制
先定义事件
# This creates a new Event class and a EVT binder function (UpdateListEvent, EVT_UPDATE_BARGRAPH) = wx.lib.newevent.NewEvent()
绑定事件到UI控件上
self.list.Bind(EVT_UPDATE_BARGRAPH, self.OnUpdate)
事件处理 ***
def OnUpdate(self, event): self.info.SetLabel(event.file) self.gauge.SetValue(event.index) if event.index == event.total: self.info.SetLabel('已完成扫描') ......
在独立线程中每处理完一个文件就触发事件，通知UI控件更新
wx.PostEvent(self.list, UpdateListEvent(file=f, total=count, index=idx + 1))
