前言
在之前实现的 JSON 解析器中当时只实现了将一个 JSON 字符串转换为一个 JSONObject,并没有将其映射为一个具体的 struct;如果想要获取值就需要先做断言将其转换为 map 或者是切片再来获,会比较麻烦。
decode, err := gjson.Decode(`{"glossary":{"title":"example glossary","age":1}}`)
assert.Nil(t, err)
glossary := v["glossary"].(map[string]interface{})
assert.Equal(t, glossary["title"], "example glossary")
assert.Equal(t, glossary["age"], 1)
- 1.
- 2.
- 3.
- 4.
- 5.
但其实转念一想,部分场景我们甚至我们只需要拿到 JSON 中的某个字段的值,这样还需要先声明一个 struct 会略显麻烦。
经过查询发现已经有了一个类似的库来解决该问题,https://github.com/tidwall/gjson 并且 star 数还很多(甚至名字都是一样的😂),说明这样的需求大家还是很强烈的。
于是我也打算增加类似的功能,使用方式如下:
最后还加上了一个四则运算的功能。
面向对象的方式操作 JSON
因为功能类似,所以我参考了 tidwall 的 API 但去掉一些我觉得暂时用不上的特性,并调整了一点语法。
当前这个版本只能通过确定的 key 加上 . 点符号访问数据,如果是数组则用 [index] 的方式访问下标。[] 符号访问数组我觉得要更符合直觉一些。
以下是一个包含多重嵌套 JSON 的访问示例:
str := `
{
"name": "bob",
"age": 20,
"skill": {
"lang": [
{
"go": {
"feature": [
"goroutine",
"channel",
"simple",
true
]
}
}
]
}
}`
name := gjson.Get(str, "name")
assert.Equal(t, name.String(), "bob")
age := gjson.Get(str, "age")
assert.Equal(t, age.Int(), 20)
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[0]").String(), "goroutine")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[1]").String(), "channel")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[2]").String(), "simple")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[3]").Bool(), true)
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
这样的语法使用个人觉得还是满符合直觉的,相信对使用者来说也比较简单。
返回值参考了 tidwall 使用了一个 Result 对象,它提供了多种方法可以方便的获取各种类型的数据
func (r Result) String() string
func (r Result) Bool() bool
func (r Result) Int() int
func (r Result) Float() float64
func (r Result) Map() map[string]interface{}
func (r Result) Array() *[]interface{}
func (r Result) Exists() bool
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
比如使用 Map()/Array() 这两个函数可以将 JSON 数据映射到 map 和切片中,当然前提是传入的语法返回的是一个合法 JSONObject 或数组。
实现原理
在实现之前需要先定义一个基本语法,主要支持以下四种用法:
- 单个key 的查询:Get(json,"name")
- 嵌套查询:Get(json,"obj1.obj2.obj3.name")
- 数组查询:Get(json,"obj.array[0]")
- 数组嵌套查询:Get(json,"obj.array[0].obj2.obj3[1].name")
语法很简单,符合我们日常接触到语法规则,这样便可以访问到 JSON 数据中的任何一个值。
其实实现过程也不复杂,我们已经在上一文中实现将 JSON 字符串转换为一个 JSONObject 了。
这次只是额外再解析刚才定义的语法为 token,然后解析该 token 的同时再从生成好的 JSONObject 中获取数据。
最后在解析完 token 时拿到的 JSONObject 数据返回即可。
我们以这段查询代码为例:
首先第一步是对查询语法做词法分析,最终得到下图的 token。
在词法分析过程中也可以做简单的语法校验;比如如果包含数组查询,并不是以 ] 符号结尾时就抛出语法错误。
接着我们遍历语法的 token。如下图所示:
每当遍历到 token 类型为 Key 时便从当前的 JSONObject 对象中获取数据,并用获取到的值替覆盖为当前的 JSONObject。
其中每当遇到 . [ ] 这样的 token 时便消耗掉,直到我们将 token 遍历完毕,这时将当前 JSONObject 返回即可。
在遍历过程中当遇到非法格式时,比如 obj_list[1.] 便会返回一个空的 JSONObject。
语法校验这点其实也很容易办到,因为根据我们的语法规则,Array 中的 index 后一定紧接的是一个 EndArray,只要不是一个 EndArray 便能知道语法不合法了。
有兴趣的可以看下解析过程的源码:
https://github.com/crossoverJie/gjson/blob/cfbca51cc9bc0c77e6cb9c9ad3f964b2054b3826/json.go#L46
对 JSON 做四则运算
str := `{"name":"bob", "age":10,"magic":10.1, "score":{"math":[1,2]}}`
result := GetWithArithmetic(str, "(age+age)*age+magic")
assert.Equal(t, result.Float(), 210.1)
result = GetWithArithmetic(str, "(age+age)*age")
assert.Equal(t, result.Int(), 200)
result = GetWithArithmetic(str, "(age+age) * age + score.math[0]")
assert.Equal(t, result.Int(), 201)
result = GetWithArithmetic(str, "(age+age) * age - score.math[0]")
assert.Equal(t, result.Int(), 199)
result = GetWithArithmetic(str, "score.math[1] / score.math[0]")
assert.Equal(t, result.Int(), 2)
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
最后我还扩展了一下语法,可以支持对 JSON 数据中的整形(int、float)做四则运算,虽然这是一个小众需求,但做完我觉得还挺有意思的,目前在市面上我还没发现有类似功能的库,可能和小众需求有关。
其中核心的四则运算逻辑是由之前写的脚本解释器提供的:
https://github.com/crossoverJie/gscript
单独提供了一个函数,传入一个四则运算表达式返回计算结果。
由于上一版本还不支持 float,所以这次专门适配了一下。
限于篇幅,更多关于这个四则运算的实现逻辑会在后面继续分享。
总结
至此算是我第一次利用编译原理的知识解决了一点特定领域问题,在大学以及工作这些年一直觉得编译原理比较高深,所以内心一直是抗拒的,但经过这段时间的学习和实践慢慢的也掌握到了一点门道。
不过目前也只是冰山一角,后面的编译原理后端更是要涉及到计算机底层知识,所以依然任重而道远。
已上都是题外话,针对于这个库我也会长期维护;为了能达到生产的使用要求,尽量提高了单测覆盖率,目前是98%。