Mysql使用存储过程快速添加百万数据的示例代码
作者:jeremylai 发布时间:2024-01-19 21:51:26
标签:Mysql,数据,存储过程
前言
为了体现不加索引和添加索引的区别,需要使用百万级的数据,但是百万数据的表,如果使用一条条添加,特别繁琐又麻烦,这里使用存储过程快速添加数据,用时大概4个小时。
创建一个用户表
CREATE TABLE `t_sales` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(32) COLLATE utf8_bin DEFAULT NULL COMMENT '用户名',
`password` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '密码 MD5存储',
`register_time` timestamp NULL DEFAULT NULL COMMENT '注册时间',
`type` int(1) DEFAULT NULL COMMENT '用户类型 1,2,3,4 随机',
PRIMARY KEY (`id`),
KEY `idx_username` (`username`) USING BTREE
)
然后创建存储过程,批量添加数据。
用户名以常量和数字拼接
密码是MD5密码
注册时间是当前时间随机往前推几天
type是取1-4随机范围值
create procedure salesAdd()
begin
declare i int default 11;
while i <= 4000000 do
insert into blog.t_sales
(`username`,`password`,`register_time`,type) values
(concat("jack",i),MD5(concat("psswe",i)),from_unixtime(unix_timestamp(now()) - floor(rand() * 800000)),floor(1 + rand() * 4));
set i = i + 1;
end while;
end
然后调用存储过程
call salesAdd()
改进版
虽然使用存储过程添加数据相对一个个添加更加便捷,快速,但是添加几百万数据要花几个小时时间也是很久的,后面在网上找到不少资料,发现mysql每次执行一条语句都默认自动提交,这个操作非常耗时,所以在在添加去掉自动提交。设置 SET AUTOCOMMIT = 0;
create procedure salesAdd()
begin
declare i int default 1;
set autocommit = 0;
while i <= 4000000 do
insert into blog.t_sales
(`username`,`password`,`register_time`,type) values
(concat("jack",i),MD5(concat("psswe",i)),from_unixtime(unix_timestamp(now()) - floor(rand() * 800000)),floor(1 + rand() * 4));
set i = i + 1;
end while;
set autocommit = 1;
end
执行时间387秒,约为六分钟,其中还有一半时间用于md5、随机数的计算。
[SQL]
call salesAdd();
受影响的行: 0
时间: 387.691s
来源:https://www.cnblogs.com/jeremylai7/p/15174617.html
0
投稿
猜你喜欢
- 一:图形界面安装 1、打开Anconda2、点击Environment3、将Installed点击为Not installed4、搜索dja
- 使用Python的pillow模块 random 模块随机生成验证码图片,并应用到Django项目中安装pillow$ pip3 insta
- 产生batch数据输入data中每个样本可以有多个特征,和一个标签,最好都是numpy.array格式。datas = [data1, da
- python十进制转二进制python中十进制转二进制使用 bin() 函数。bin() 返回一个整数 int 或者长整数 long int
- 此次遇到的是一个函数使用不熟练造成的问题,但有了分析工具后可以很快定位到问题(此处推荐一个非常棒的抓包工具fiddler) 正文如
- 本人最近在学习python,在看了一些教程后,用python写了一个简单的云音乐播放器,下面把主要代码贴上来,其中用到了github上他人写
- 前言在上一篇教程当中呢,小编向大家展示了如何通过一键点击实现将头像变成动漫风的实践,无非是在制作的UI界面当中,在用户上传了照片之后,后端的
- 对于二维数组,img_mask[[ 0 0 0 ..., 7 7 7] [ 0 0 0 ..., 7 7 7] [ 0 0 0 ..., 7
- 用python实现五子棋简单人机模式的练习过程,供大家参考,具体内容如下第一次写博客,我尽力把它写好。最近在初学python,今天就用自己的
- 0. dockerfile命令FROM # 基础镜像,一切从这里开始构建MAINTAINER # 镜像是谁写的,姓名+邮箱RUN# 镜像构建
- python高级特性1、集合的推导式•列表推导式,使用一句表达式构造一个新列表,可包含过滤、转换等操作。语法:[exp for item i
- 记录一下关于geemap的安装步骤,geemap是基于GEE由吴秋生老师二次开发的一个包,geemap主要使用python来进行实现相关功能
- 一、什么是Perl Hash哈希是一种数据结构,和数组类似,可以将值存放到其中,或者从中取回值。但是,和数组不同的是,其索引不是数字,而是名
- 本文实例讲述了python使用reportlab实现图片转换成pdf的方法。分享给大家供大家参考。具体实现方法如下:#!/usr/bin/e
- 在最开始的时候所有的斐波那契代码都是使用递归的方式来写的,递归有很多的缺点,执行效率低下,浪费资源,还有可能会造成栈溢出,而递归的程序的优点
- 引用PyMongo>>> import pymongo创建连接Connection>>> import
- 导言:到目前为止,我们的教程围绕的是text数据。然而,很多应用程序既需要处理text数据,也需要处理二进制数据。比如招聘网站可能需要用户上
- 1. 文件注释File -> settings -> Editor -> File and Code Templates
- 所谓取模运算,就是计算两个数相除之后的余数,符号是%。如a % b就是计算a除以b的余数。用数学语言来描述,就是如果存在整数n和m,其中0
- 为了建设班级主页,买了个空间,支持SA FileUp组件。鼓弄了一天,终于有了大致的了解,下面是我的实例,希望对大家有所帮助。大家可以根据自