|
阅读：4738回复：0
大数据文件导出下载
在气象搜索业务的时候，常常需要根据客户需求搜索导出大数据量的文件。比如单次超过一百万条数据等情况，此时不论查询还是输出数据到文件中都对系统产生极大负荷，现整理一些常用办法，以便后续使用时候查看。
1. 优化SQL语句。由于查询的原表中可能会有几亿的数据量，此时若采用不考虑性能的SQL语句则会导致查询时间在半小时以上，影响用户体验。方法包括使用建立了索引的列进行查询，减少使用“in”，“*”此类关键字，会导致数据库全表扫描。 2. 分批量查询。列中有连续的字段时候可以采用分批查询插入的方式。例如时间，可以分成一个月一个月的查询插入，减少一次性插入内存的数据过多。 3. 若数据量过大，则可使用定时器将生成文件的过程放到晚上，使白天用户的正常使用不受影响。 4. 使用的文件格式。老版的xls格式（操作类为HSSFWorkbook）的最大数据量为65535行，超过则会报错。新版的xlsx格式（操作类为SXSSFSXSSFWorkbook）的最大数据量为1048576行。若数据量超过上述的两种数据格式外，可使用CSV格式文件。 |
|
