mysql大批量数据插入技巧

 时间:2024-10-14 06:23:25

1、首先我是简单的写了一个mysql的循环插入数据的SP,具体如下:

mysql大批量数据插入技巧

3、而我创建的是Innodb类型的表,分了128个分区。而我依照以上的方法,设置如下:

mysql大批量数据插入技巧

5、可以看到时间差不多是1200s左右,因为字段加长了,可能也有影响插入的速度。为了具体验证,就按千万行插入,字段的长度为1000字节,来查看结果,具体的SP和结果如下:

mysql大批量数据插入技巧

7、再次升级插入的数据量,提升10倍,看插入的时间及占用的内存,字段的字节同样为1000,具体的SP和结果如下:

mysql大批量数据插入技巧

9、因为创建了索引,在查百万级的数据量时,时间是1秒左右,在数据量上升到千万时,查询1亿5百万时,时间为3Min 30S,再插入1亿数据,查询数据量,时间达到27min 43s,可见,不是线性关系,是几何级增加的。现在描述集群环境的测试集群:32G内存 ,500G硬盘,3台虚拟机也就是3个节点:188.188.2.181(主节点,数据节点和SQL节点)、188.188.2.182(数据节点和SQL节点)和188.188.2.183(数据节点和SQL节点)。/root目录分区磁盘空间200G(原先默认的是50G)、插入的数据量为8000KW,所占磁盘空间为下图

mysql大批量数据插入技巧
  • 如何处理生活中琐碎麻烦的物品
  • 在OFFICE 2010中添加VBA工具选项
  • 新版《冰封王座3》斧王(Axe)出装攻略
  • 关于PPAP(TS16949)----程序篇
  • SAP FSCM如何定义释放流程的冻结付款
  • 热门搜索
    暨南大学深圳旅游学院 旅游招聘 杭州千岛湖旅游攻略 厦门旅游年卡 浙江安吉旅游景点 泉州旅游攻略 江门旅游景点 厦门旅游地图 德天瀑布旅游攻略 盈科旅游