Java实现解析JSON大文件JsonReader工具详解
作者:李奈 发布时间:2023-08-21 21:13:14
一,使用背景
之前遇到一个需求,是需要将一个json文件解析存储到数据库中。一开始测试的时候,json文件的大小都在几兆以内,所以直接将json文件转化为字符串,再转化成JSONObject对象进行处理时不会出现问题,如下所示:
File file = new File("")
try(FileInputStream fileInputStream = new FileInputStream(file)) {
int size = fileInputStream.available();
byte[] buffer = new byte[size];
fileInputStream.read(buffer);
String jsonString = new String(buffer, StandardCharsets.UTF_8);
jsonString.replaceAll("\n", "");
jsonString.replaceAll("\r", "");
JSONObject json = JSON.parseObject(jsonString);
}
但是,当出现几十兆文件的时候,这时候就会报出内存溢出的错误
java.lang.OutOfMemoryError: Java heap space
虽然稍微大一点的文件,可以通过调整JVM参数来解决,如下所示
-Xms512m -Xmx2048m
但是这毕竟不是最合理的方法,因为当文件大到一定程度后,字节数组和字符串类型都存在接收不了的情况。因此,只能选择另外的方式,此时,Google的JsonReader是一个不错的解决方案。
二,JsonReader的使用
maven依赖如下:
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.8.6</version>
</dependency>
JsonReader读取 JSON (RFC 7159) 编码值作为令牌流。 此流包括文字 值(字符串、数字、布尔值和空值)以及开始和 对象和数组的结束分隔符。 令牌被遍历 深度优先顺序,与它们在 JSON 文档中出现的顺序相同。 在 JSON 对象中,名称/值对由单个标记表示。
解析json
创建递归下降解析器 JSON ,首先创建 创建一个入口点方法 JsonReader
.
每个对象类型和每个数组类型都需要一个方法。
在 数组处理 方法中,首先调用 beginArray()消耗数组的左括号。 然后创建一个累积值的while循环,在何时终止 hasNext()为false。 最后,通过调用读取数组的右括号 endArray()
在 对象处理 方法中,首先调用 beginObject()消耗对象的左大括号。 然后创建一个while循环根据局部变量的名称为其赋值。 这个循环应该在什么时候终止 hasNext()为false。 最后,通过调用读取对象的右括号 endObject().
当遇到嵌套对象或数组时,委托给对应的处理方法。
当遇到未知名称时,严格的解析器应该失败并返回。 但宽松的解析器应该调用 skipValue()递归地 跳过值的嵌套标记,否则可能会发生冲突。
如果一个值可能为空,应该首先检查使用 peek(). 空字面量可以使用 nextNull()或者 skipValue().
例如,我之前要解析的json文件格式如下:
{
"INFO": {
"NAME": "",
"Result": "",
"Config": "",
...
},
"ATTR": {
"key01": "val01",
"key02": "val02",
...
},
"Parms": [
{
"k": "",
"v": "",
"p": "",
"m": "",
"l": ""
},
{
"k": "",
"v": "",
"p": "",
"m": "",
"l": ""
},
...
],
"List": ["xxx", "xxxx", ...]
}
那按照JsonReader解析的思路,我应该先消费整体对象的{,再逐个对INFO,ATTR,Parms,List进行处理,总而言之,就是
String fileName = "";
FileReader in = new FileReader(fileName);
JsonReader reader = new JsonReader(in);
reader.beginObject();
String rootName = null;
while (reader.hasNext()) {
rootName = reader.nextName();
if("INFO".equals(rootName)) {
reader.beginObject();
while (reader.hasNext()) {
System.out.println(reader.nextName() + ":" + reader.nextString())
}
reader.endObject();
}else if("ATTR".equals(rootName)) {
reader.beginObject();
while (reader.hasNext()) {
System.out.println(reader.nextName() + ":" + reader.nextString())
}
reader.endObject();
}else if("Parms".equals(rootName)) {
reader.beginArray();
while (reader.hasNext()) {
reader.beginObject();
String k = null;
while (reader.hasNext()) {
k = reader.nextName();
switch (k) {
case "k":
xxx;
break;
case "v":
xxx;
break;
case "p":
xxx;
break;
case "m":
xxx;
break;
case "l":
xxx;
break;
default:
reader.nextString();
break;
}
}
reader.endObject();
}
reader.endArray();
}else if("List".equals(rootName)) {
reader.beginArray();
while (reader.hasNext()) {
System.out.println(reader.nextString());
}
reader.endArray();
}else {
reader.skipValue();
}
}
常用方法如下所示:
方法名 | 返回值 | 描述 |
---|---|---|
beginArray() | void | 使用JSON流中的下一个令牌,并断言它是新数组的开始。 |
endArray() | void | 使用JSON流中的下一个令牌,并断言它是当前数组的结尾。 |
beginObject() | void | 使用JSON流中的下一个令牌,并断言它是新对象的开始。 |
endObject() | void | 使用JSON流中的下一个令牌,并断言它是当前对象的结尾。 |
close() | void | 关闭此 JSON阅读器 和底层 Reader. |
getPath() | String | 返回JSON值中当前位置的JsonPath。 |
hasNext() | Boolean | 如果当前数组或对象有其他元素,则返回true。 |
isLenient() | Boolean | 如果此解析器在接受的内容上是宽松的,则返回true。 |
setLenient(boolean lenient) | void | 将此解析器配置为在其接受的内容上宽松。 |
nextBoolean() | boolean | 返回boolean下一个令牌的值,并使用它。 |
nextDouble() | double | 返回double下一个令牌的值,并使用它。 |
nextInt() | int | 返回int下一个令牌的值,并使用它。 |
nextLong() | long | 返回long下一个令牌的值,并使用它。 |
nextName() | String | 返回下一个标记,即属性名,并使用它。 |
nextNull() | void | 使用JSON流中的下一个令牌,并断言它是文本null。 |
nextString() | String | 返回使用下一个标记的字符串值。 |
peek() | JsonToken | 返回下一个令牌的类型,而不使用它 |
skipValue() | void | 递归跳过下一个值。 |
通过使用JsonReader,现在我解析几十兆的文件基本没有问题(上百兆的还没尝试过),一个44.5M的JSON文件在4秒就能够处理完。
来源:https://blog.csdn.net/lmchhh/article/details/124613300
猜你喜欢
- 前言MyBatis 是一款优秀的持久层框架,它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手
- 用C#想写一个直接将数据库查询得到的datatable,直接导出为csv格式的文件,拷贝到导出的操作类后,一直catch到的错误提示是对路径
- FFmpeg是一个开源免费跨平台的视频和音频流方案,属于自由软件,采用LGPL或GPL许可证(依据你选择的组件)。它提供了录制、转换以及流化
- 项目开发中对于一些数据的处理需要用到多线程,比如文件的批量上传,数据库的分批写入,大文件的分段下载等。 通常会使用spring自带的线程池处
- 1.什么是mybatis动态sql看到动态,我们就应该想到,这是一个可以变化的sql语句MyBatis的动态SQL是基于OGNL表达式的,它
- 1. 概述官方JavaDocsApi: javax.swing.JPanelJPanel,面板。JPanel 是在开发中使用频率非常高的一般
- 详解Kotlin的空指针处理Kotlin的空指针处理相比于java有着极大的提高,可以说是不用担心出现NullPointerExceptio
- 我们主要介绍一下:java中如何通过最简单的方式实现链式创建json对象,解决创建json代码臃肿的问题。1、假设我们要创建一个json对象
- 自定义log4j日志文件命名规则项目中的日志需要采用一致的命名规范和文件规范,命名规则为:项目模块标识_index_日期时间_日志级别.lo
- 以下总结是2016/3/23在做一个网站时遇到的一个功能模块,现在将总结从为知笔记上搬家到CSDN,与大家共享,欢迎指正。0.准备工作 0.
- 很多学习Android程序设计的人都会发现每个人对代码的写法都有不同的偏好,比较明显的就是对控件响应事件的写法的不同。因此本文就把这些写法总
- 堆排序是一种树形选择排序方法,它的特点是:在排序的过程中,将array[0,...,n-1]看成是一颗完全二叉树的顺序存储结构,利用完全二叉
- SessionSession对象用于获取与数据库的物理连接。 Session对象是重量轻,设计了一个互动是需要与数据库每次被实例化。持久化对
- 一、实现流程1.注册2.登录3.登录保持【状态续签】二、实现方法项目结构1.引入依赖<!-- spring-web --><
- 文档更新说明2018年09月24日 v1.0 初稿代理在生活中很常见,比如说婚介网站,其实就是找对象的代理;还有社保代理、人事代理;还有找黄
- 下面就来分享工具类的内容:使用范围:JavaBean类对象的属性不能是数组、List、Set、Mappublic class MapBean
- 加坐标可以使用https://mvnrepository.com/来查找先加以下坐标:使用的数据库介绍:配置连接数据库:spring: &n
- 下载工具我想没有几个人不会用的吧,前段时间比较无聊,花了点时间用java写了个简单的http多线程下载程序,纯粹是无聊才写的,只实现了几个简
- 前言今天介绍的是关于Spring的数据库连接以及Jdbc模板的相关API方法,虽然在学习了hibernate之后,会知道实现数据库连接一般都
- Java Benchmark 基准测试的实例详解import java.util.Arrays; import java.util.conc