pymysql 插入数据 转义处理方式
作者:匿名姐姐 发布时间:2024-01-23 08:43:29
标签:pymysql,插入,数据,转义
最近用pymysql把一些质量不是很高的数据源导入mysql数据库的时候遇到一点问题,主要是遇到像 \ 这样的具有特殊意义的字符时比较难处理。这里有一个解决方案
基本环境
python3
pymysql
linux
问题描述
插入(查询)数据时遇到一些特殊字符会使得程序中断。操作失败。比如 \这样的转义字符
解决方案
插入(查询)之前用 connection.escape(str)处理一下即可
代码示例
import pymongo
sql_pattern = "select * from my_collection where name = %s" #注意,这里直接用%s,不要给%s加引号,因为后面转移过后会自动加引号
name = "xxx\xxx"
name = connection.escape(name)
sql = sql_pattern%name
print(sql) # select * from my_collection where name = 'xxx\\xxx'
with connection.cursor() as cursor:
try:
cursor.execute(sql)
except:
print(sql)
pass
for r in cursor:
print(r)
补充拓展:利用 pymysql 往数据库插入百万条数据
思路:
先创建一个自定义的数据库表;
生成一个列表,列表中的数据应该和数据库表中的每一列对应;
利用cursor.executemany 批量插入列表中的数据。
注意点:
批量添加数据时,数据格式必须list[tuple(),tuple(),tuple()] 或者tuple(tuple(),tuple(),tuple())
代码解析:
# -*- coding: utf-8 -*-
# Author:benjamin
import pymysql
# 创建连接
conn = pymysql.connect(host='192.168.214.128', port=3306, user='root', passwd='ben123', db='db2')
# 创建游标
cursor = conn.cursor()
def createTable():
'''
创建数据库表
:return:
'''
try:
sql = '''
create table mytable (
nid int not null auto_increment primary key,
name varchar(255) not null,
email varchar(255) not null,
extra text
)engine=innodb default charset=utf8
'''
cursor.execute(sql)
conn.commit()
print('create table ok!')
except Exception as e:
print(e)
def myList(value):
'''
生成一个列表,[('admin1', 'admin1qq.com', 'hahaadmin1'),...]
:param value: 自定义的数据量
:return: new_list
'''
new_list = [] # 新建一个空列表用来存储元组数据
for i in range(1, value + 1):
name = 'admin'+ str(i)
email = name + '@qq.com'
extra = 'I am '+ name
tup = (name,email,extra) # 构造元组
new_list.append(tup) # [(),(),()...]
print("*"*5+"generate list ok"+"*"*5)
return new_list
def myInsert(newList):
'''
数据库插入
:param newList: 传入的列表数据
:return:
'''
try:
sql = "insert into mytable(name,email,extra) values(%s,%s,%s)" # 要插入的数据
cursor.executemany(sql,newList) # 执行插入数据
conn.commit()
cursor.close()
conn.close()
print('insert ok')
except Exception as e:
print(e)
if __name__ == '__main__':
# 创建数据表
createTable()
# 选择要插入的数据量
value = 1000000 # 定义数据量
newList = myList(value)
myInsert(newList)
来源:https://blog.csdn.net/u013075468/article/details/51455745
0
投稿
猜你喜欢
- 前言可能很多小伙伴会因为pycharm全是英文而烦恼吧,本博主呢也是一个英语刚过四级的小白,深知大家的难处,所以会奉上最详细的修改中文的教程
- MS SQL性能是很不错的,但是数据库用了一段时间之后,数据库却变得很大,实际的数据量不大。一般都是数据库日志引起的!数据库日志的
- python中注释在python中的注释一般分为单行注释、多行注释以及文档注释。注释描述在实际开发过程中,有效的代码注释不仅可以提升个人的工
- 本文实例讲述了Python实现新浪博客备份的方法。分享给大家供大家参考,具体如下:Python2.7.2版本实现,推荐在IDE中运行。# -
- 如下所示:"""提取文档数超过10000的数据按照某个字段的值具有唯一性进行升序,按照@timestamp进行
- 一、Python 的 IDE —— PyCharm1.1 集成开发环境(IDE)集成开发环境(IDE,Integrated Developm
- 在最近的一个项目需要实现在MySQL单表多关键字模糊查询,但这数个关键字并不一定都存在于某个字段。例如现有table表,其中有title,t
- 使用 str.split() 方法将字符串转换为数组,例如 array = string.split(',')。 str.s
- 感谢XP提供的代码!
- * address - 地址 * blockquote - 块引用 * center - 举中对齐块 * di
- Go文档中展示了多种方式实现外部资源嵌入,包括文本文件、图片、ios文件等:文本文件package mainimport _ "e
- 今天看了篇关于Web Form Design的成功案例,虽然讲的事情很简单,但总结了一些方法,翻译过来做个原始积累吧,以后写东西举例子时也好
- sys 模块提供了许多函数和变量来处理 Python 运行时环境的不同部分.处理命令行参数在解释器启动后, argv 列表包含了传递给脚本的
- 1 Pytorch以ONNX方式保存模型 def saveONNX(model, filepath): ''
- css usage是一个基于firebug的firefox扩展,可以用来查看页面中的CSS的使用情况,可以清楚的查看css文件中所有的规则在
- 听说firefox是史上最好用的浏览器,便下载下来体验一番,将体验感受与大家分享一下,并和我一直使用的the world浏览器做一个对比!首
- 实例如下:/** * 数字格式转换成千分位 *@param{Object}num */function commafy(num){ &nbs
- 前言每一个孩子都像星空中的一颗星星,散发着自己所特有的光芒照亮着整个夜空。今天就带大家用27行Python代码绘制一幅满天星吧。全局设置在绘
- 假设我们有一个非常简单的Post模型,它将是一个图像及其描述,from django.db import modelsclass Post(
- 一般来说,使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里,让它来执行. 另一种是直接从Thread继