用Python读取几十万行文本数据
作者：accumulate_zhang 发布时间：2023-10-13 21:56:04
标签：python,读取,数据
我在使用python读取几十万行的文件中的数据，并构造字典，列表等数据结构时，再访问字典，列表时，一般都会出现内存不够的问题，然后只能循环读取几百行或者一定数量的行数来循环操作。
keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
for line in content[300*i:300*(i+1)]:
line=line.strip().split(' ')
if line[0] in keyword_list:
wordvec=' '.join(line)
print wordvec
f2.write(wordvec)
#print line
i+=1
我是这样读取的
应该还有很多好的方法，比如多线程等等。
做此记录只为了学习
来源：https://blog.csdn.net/accumulate_zhang/article/details/52705382
0
投稿猜你喜欢
- 简介:外部连接和自联接inner join(等值连接) 只返回两个表中联结字段相等的行left join(左联接) 返回包括左表中的所有记录
- 如何使用mailto？1）基本用法<a href=mailto:sample@163.com>send em
- 这是一个非常简单的解决方案，柱状图中每一条柱都是一个 div，数据的大小呈现在 div 的宽或高上。 查看演示 例子下载实现的原理
- 写在前面的话:此篇还是asp相关的,相信玩ASP的都有这个感觉,当数据有5万多条时-------just like音乐网,要调用最新的10条
- qqbot 是一个用 python 实现的、基于腾讯 SmartQQ 协议的 QQ 机器人框架，可运行在 Linux 、 Windows 和
到2019年初,Python3已经更新到了Python- CREATE OR REPLACE PROCEDURE PROCSENDEMAIL(P_TXT &
- 本文研究的主要是python+matplotlib实现动态绘制图片（交互式绘图）的相关内容，具体介绍和实现代码如下所示。最近在研究动态障碍物
- 此代码适合你做网站用，普通朋友可以不用理这个东西！ASP:<％dim objXMLHTTP, qq, pwd qq = &
- 今天发现sympy依赖的库mpmath里也有很多数学函数，其中也有在复平面绘制二维图的函数cplot，具体例子如下from mpmath i
- 直接上代码图片就使用我家爽妹子的吧如果没有安装pil模块的话先cmd安装下输入：pip install pillow# -*- coding
- 一、读者指引读者指引帮助你掌握本文的梗概。以免你看了大半才明白这编文章不适合你，给你造成视觉污染。如果你正在用ASP+XML写一些程序，或者
- <％'使用说明'Dim a'Set a=new CreateExce
- 模版基本介绍模板是一个文本，用于分离文档的表现形式和内容。 模板定义了占位符以及各种用于规范文档该如何显示的各部分基本逻辑（模板标签）。 模
- 表单验证做网站程序多多少少都会碰到，其中emai地址的合法性验证也算是一个典型的例子，网页表单的验证我们一般是先在客户端使用javascri
- asp如何显示全部的环境变量？<％@Language="VBScript"％><％dim H
- 客户的一台服务器出现Raid故障，经过我们的努力，数据基本恢复成功，但是其中的一个SQL Server日志文件（扩展名LDF）损坏严重，基本
- 分享给大家一篇文章，教你怎样用Python画了一棵圣诞树，快来学习。如何用Python画一个圣诞树呢？最简单：height = 5stars
- aspjpeg版本:v1.801 将pic.jpg打上logo.png,可根据图片大小对水印图做适当调整 &
- ASP调用WEBSERVICE----INDEX----1. soap请求方式2. post请求方式3.&
