Python 读取某个目录下所有的文件实例
作者:嘎里给给 发布时间:2022-08-27 20:04:13
标签:python,读取,文件
在处理数据的时候,因为没有及时的去重,所以需要重新对生成txt进行去重。
可是一个文件夹下有很多txt,总不可能一个一个去操作,这样效率太低了。这里我们需要用到 os 这个包
关键的代码
<span style="font-size:14px;"># coding=utf-8
#出现了中文乱码的问题,于是我无脑utf-8 。希望后期的学习可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')
#这里放着你要操作的文件夹名称
path = 'E:\\get_key\\'
#把e:\get_key\目录下的文件名全部获取保存在files中
files = os.listdir(path.decode('utf-8'))
#用set可以很好的去重,在数据处理的时候经常会被使用到。这里做初始化
datas = set()
for file in files :
#准确获取一个txt的位置,利用字符串的拼接
txt_path = 'E:\\get_key\\'+file.decode('utf-8')
#把结果保存了在contents中
contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
#datas的数据清空
datas.clear()
#把数据add到datas中,可以去重
for content in contents:
print(content.decode('utf-8'))
datas.add(content.decode('utf-8'))
#去重后新的文件保存的路径
new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')
#把datas里的数据输出到新生成的txt中
for data in datas:
unique_keywords.write(data+"\n")
#释放资源
unique_keywords.close()</span>
来源:https://blog.csdn.net/MakeContral/article/details/71544107
0
投稿
猜你喜欢
- CAS 全称集中式认证服务(Central Authentication Service),是实现单点登录(SSO)的一中手段。CAS 的通
- 用ASP判断一个字符串中只包含字母和数字要怎么做啊? for s=1 to len(trim(use
- 1.设置phpMyAdmin Language:Chinese simplified (zh-utf-8)MySQL 字符集:UTF-8 U
- 如果是在Oracle10g之前,删除一个表空间中的数据文件后,其文件在数据库数据字典中会仍然存在,除非你删除表空间,否则文件信息不会清除。但
- 代码如下:'===================================== '获取内容中所有图片 '==
- 此文章主要向大家讲述的是SQL Server数据库的分布式数据库系统的实际目标,通俗的讲就是研制分布式数据库系统的目的、动机,其中主要包括的
- 年前接到QCon的邀请,颇感意外。在我的印象里,QCon大会是后端开发工程师和架构师的技术大会。后来去QCon大会的官网搜索了下,发现原来Q
- List>>> [chr(i) for i in range(97,123)]['a', 'b
- 阅读上一篇:什么是名字空间<meta http-equiv="Content-Type" co
- 简介ORA-10458: standby database requires recoveryORA-01196: 文件 1 由于介质恢复会
- 最近我因为要安装 Firebug 1.4 导致我不得不安装了 Firefox 3.5 ,所以很不小心地接触到了Wordpress后台那漂亮的
- 分页设计我们经常会见到,这里有30个分页设计,以供大家欣赏欣赏借鉴。
- OL定义有序列表的时候,除非指定list-style-position:inside;,否则文字和前导符是有缩进的。但有的时候,OL定义的列
- 近日无事,想起以前曾打算过要做一个定时重启或关机的工具,便花了一点时间以hta的形式写了个,名为"Windows Timer&qu
- 这篇文章主要介绍了微信小程序wxml列表渲染原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友
- 为了防止某些别有用心的人从外部访问数据库,盗取数据库中的用户姓名、密码、信用卡号等其他重要信息,在我们创建数据库驱动的解决方案时,我们首先需
- 本文实例讲述了python日期相关操作。分享给大家供大家参考,具体如下:用 Python 做项目时,经常会遇到与日期转换相关,日期计算相关的
- MySQL数据库配置技巧用root用户启动远程服务一直是安全大忌,因为如果服务程序出现问题,远程攻击者极有可能获得主机的完全控制权。MySQ
- 很多组织机构慢慢的在不同的服务器和地点部署SQL Server数据库——为各种应用和目的&m
- 您可以使用 ObjectContext 对象提交或放弃一项由 Microsoft Transaction Server (MTS) 管理的事