mysql高效导数据的方法讲解
发布时间：2024-01-28 08:42:50
标签：mysql,高效导数据
数据：一个db，2000个表格，2000张表格数据，每条记录30个column，平均每张表格4.3w条记录，总共86388670条记录。
机器：linux 64bit 8G内存 4核IntelX3320@2.5GHz
基本思路：
mysql -utest -pxxxx -s -e "source xxxx.sql"
将load语句放在xxxx.sql中
load语法：
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行导入数据，会很慢，考虑并行，但可能有冲突，解决办法：
load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore关键字。
0
投稿猜你喜欢
- 线程Threading用于提供线程相关的操作。线程是应用程序中工作的最小单元，它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程
- 无论安装以下哪种库，强烈建议在新环境下安装，之前在base环境下安装各种报错！！！如何在新环境下安装可参见我之前的总结或网上其他文章。不推荐
打开pycharm，程序某一行序号出出现书签bookmark，编号为9如果想要删除bookmark，将光标移至bookmark所在行，按快捷- python纵向合并任意多个图片，files是要拼接的文件list# -*- coding:utf-8 -*-def mergeReport
- 由于笔者最近在做一个跨数据库操作的测试，开始做IBatisNet （IBatis.DataMapper.1.6.2/IBatis.DataA
- 本文实例讲述了php中正则替换函数ereg_replace用法。分享给大家供大家参考。具体如下：下面的实例是利用php 正则替换函数 ere
- 本文实例讲述了python在windows下创建隐藏窗口子进程的方法。分享给大家供大家参考。具体实现方法如下：import subproce
- 一、前言在之前找工作过程中，面试时经常被问到会不会python，懂不懂正则表达式。心里想：软件的东西和芯片设计有什么关系？咱也不知道因为啥用
- 前言Matplotlib 可能是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。
- 前言判断文件是否存在在实际应用中用的非常多，下面我们来归纳一下检查文件、文件夹是否存在的各种操作一.检查文件夹/文件是否存在1. os.pa
- 都知道最近ChatGPT聊天机器人爆火，我也想方设法注册了账号，据说后面要收费了。ChatGPT是一种基于大语言模型的生成式AI，换句话说它
- 我们经常见到很多网站留言系统的显示访客的IP地址都是隐藏了一部分，以达到隐蔽访客真实地理位置的功能。如：111.222.333.*，当然在系
- 上文我们总结过了Python多继承的相关知识,没看过的小伙伴们也可以去看看，今天给大家介绍Python类的单继承相关知识。一、类的继承面向对
- 当需要远程办公时，使用pycharm远程连接服务器时必要的。PyCharm提供两种远程调试(Remote Debugging)的方式:配置远
- 有。试试下面这个程序：saveip.asp<％Server.Scripttimeout = 1000On
- TF（Term Frequency）词频，在文章中出现次数最多的词，然而文章中出现次数较多的词并不一定就是关键词，比如常见的对文章本身并没有
- Python lxml安装失败针对windows系统LXML安装失败而且pip升级也失败解决方案原因可能是pip没有安装到python我们需
- 1、首先介绍简单的try......except尝试运行的放例如下面的图和代码来简单介绍下：def test(x,y): pri
- 本文实例讲述了Python实现二分查找算法的方法。分享给大家供大家参考。具体实现方法如下：#!/usr/bin/env pythonimpo
- 这篇文章主要介绍了Python爬虫解析网页的4种方式实例及原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价
