java大数据量分批处理怎么实现

java大数据量分批处理怎么实现

读取数据估计是没办法了，重点可以放在写入的操作上，粗略的认为，你使用框架进行数据库写入操作还不如用使用java原生的jdbc进行操作然后使用jdbc 的原生的批处理，我觉得肯定比框架快。我记得我当时插入10w条数据，只用了3秒，不过用的是oracle数据库。进行边读取边插入，这样占用的内存也相对小一些

import java.util.arraylist;   import java.util.list;   public class fenduan {              public static void main(string[] args) {           //1.总记录数           list oldlist = new arraylist();           for (int i = 0; i < 1045; i++) {               oldlist.add((i+1)+"");           }           //2.分页数据信息           int totalsize = oldlist.size(); //总记录数           int pagesize = 10; //每页n条           int totalpage = totalsize/pagesize; //共n页           if (totalsize % pagesize != 0) {                 totalpage += 1;                 if (totalsize < pagesize) {                     pagesize = oldlist.size();                }             }             system.out.println("循环保存的次数："+totalpage);//循环多少次             for (int pagenum = 1; pagenum < totalpage+1; pagenum++) {               int starnum = (pagenum-1)*pagesize;               int endnum = pagenum*pagesize>totalsize?(totalsize):pagenum*pagesize;               system.out.println("起始："+starnum+"-"+endnum);               string str = "";               for (int i = starnum; i < endnum; i++) {                   str += oldlist.get(i) +"   ";               }               system.out.println("第"+pagenum+"批：" +str);           }       }   }这个只是一个思路