深圳幻海软件技术有限公司 欢迎您!

用面向对象的方式操作 JSON 甚至还能做四则运算 JSON 库

2023-02-28

前言在之前实现的 JSON 解析器​中当时只实现了将一个JSON字符串转换为一个 JSONObject​,并没有将其映射为一个具体的 struct​;如果想要获取值就需要先做断言将其转换为 map 或者是切片再来获,会比较麻烦。复制deco

前言

在之前实现的 JSON 解析器​中当时只实现了将一个 JSON 字符串转换为一个 JSONObject​,并没有将其映射为一个具体的 struct​;如果想要获取值就需要先做断言将其转换为 map 或者是切片再来获,会比较麻烦。

decode, err := gjson.Decode(`{"glossary":{"title":"example glossary","age":1}}`)
 assert.Nil(t, err)
 glossary := v["glossary"].(map[string]interface{})
 assert.Equal(t, glossary["title"], "example glossary")
 assert.Equal(t, glossary["age"], 1)
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.

但其实转念一想,部分场景我们甚至我们只需要拿到 JSON​ 中的某个字段的值,这样还需要先声明一个 struct 会略显麻烦。

经过查询发现已经有了一个类似的库来解决该问题,https://github.com/tidwall/gjson 并且 star 数还很多(甚至名字都是一样的😂),说明这样的需求大家还是很强烈的。

于是我也打算增加类似的功能,使用方式如下:

最后还加上了一个四则运算的功能。

面向对象的方式操作 JSON

因为功能类似,所以我参考了 tidwall​ 的 API 但去掉一些我觉得暂时用不上的特性,并调整了一点语法。

当前这个版本只能通过确定的 key​ 加上 .​ 点符号访问数据,如果是数组则用 [index]​ 的方式访问下标。[] 符号访问数组我觉得要更符合直觉一些。

以下是一个包含多重嵌套 JSON 的访问示例:

str := `
{
"name": "bob",
"age": 20,
"skill": {
    "lang": [
        {
            "go": {
                "feature": [
                    "goroutine",
                    "channel",
                    "simple",
                    true
                ]
            }
        }
    ]
}
}`

name := gjson.Get(str, "name")
assert.Equal(t, name.String(), "bob")

age := gjson.Get(str, "age")
assert.Equal(t, age.Int(), 20)

assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[0]").String(), "goroutine")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[1]").String(), "channel")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[2]").String(), "simple")
assert.Equal(t, gjson.Get(str,"skill.lang[0].go.feature[3]").Bool(), true)
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.

这样的语法使用个人觉得还是满符合直觉的,相信对使用者来说也比较简单。

返回值参考了 tidwall​ 使用了一个 Result 对象,它提供了多种方法可以方便的获取各种类型的数据

func (r Result) String() string
func (r Result) Bool() bool
func (r Result) Int() int
func (r Result) Float() float64
func (r Result) Map() map[string]interface{}
func (r Result) Array() *[]interface{}
func (r Result) Exists() bool
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.

比如使用 Map()/Array()​ 这两个函数可以将 JSON​ 数据映射到 map​ 和切片中,当然前提是传入的语法返回的是一个合法 JSONObject 或数组。

实现原理

在实现之前需要先定义一个基本语法,主要支持以下四种用法:

  • 单个key​ 的查询:Get(json,"name")
  • 嵌套查询:Get(json,"obj1.obj2.obj3.name")
  • 数组查询:Get(json,"obj.array[0]")
  • 数组嵌套查询:Get(json,"obj.array[0].obj2.obj3[1].name")

语法很简单,符合我们日常接触到语法规则,这样便可以访问到 JSON 数据中的任何一个值。

其实实现过程也不复杂,我们已经在上一文中实现将 JSON​ 字符串转换为一个 JSONObject 了。

这次只是额外再解析刚才定义的语法为 token​,然后解析该 token​ 的同时再从生成好的 JSONObject 中获取数据。

最后在解析完 token​ 时拿到的 JSONObject 数据返回即可。


我们以这段查询代码为例:

首先第一步是对查询语法做词法分析,最终得到下图的 token。

在词法分析过程中也可以做简单的语法校验;比如如果包含数组查询,并不是以 ] 符号结尾时就抛出语法错误。

接着我们遍历语法的 token。如下图所示:

每当遍历到 token​ 类型为 Key 时便从当前的 JSONObject 对象中获取数据,并用获取到的值替覆盖为当前的 JSONObject。

其中每当遇到 . [ ]​ 这样的 token 时便消耗掉,直到我们将 token 遍历完毕,这时将当前 JSONObject 返回即可。

在遍历过程中当遇到非法格式时,比如 obj_list[1.]​ 便会返回一个空的 JSONObject。

语法校验这点其实也很容易办到,因为根据我们的语法规则,Array​ 中的 index​ 后一定紧接的是一个 EndArray​,只要不是一个 EndArray 便能知道语法不合法了。

有兴趣的可以看下解析过程的源码:

https://github.com/crossoverJie/gjson/blob/cfbca51cc9bc0c77e6cb9c9ad3f964b2054b3826/json.go#L46

对 JSON 做四则运算

str := `{"name":"bob", "age":10,"magic":10.1, "score":{"math":[1,2]}}`
 result := GetWithArithmetic(str, "(age+age)*age+magic")
 assert.Equal(t, result.Float(), 210.1)
 result = GetWithArithmetic(str, "(age+age)*age")
 assert.Equal(t, result.Int(), 200)

 result = GetWithArithmetic(str, "(age+age) * age + score.math[0]")
 assert.Equal(t, result.Int(), 201)

 result = GetWithArithmetic(str, "(age+age) * age - score.math[0]")
 assert.Equal(t, result.Int(), 199)

 result = GetWithArithmetic(str, "score.math[1] / score.math[0]")
 assert.Equal(t, result.Int(), 2)
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.

最后我还扩展了一下语法,可以支持对 JSON​ 数据中的整形(int、float)做四则运算,虽然这是一个小众需求,但做完我觉得还挺有意思的,目前在市面上我还没发现有类似功能的库,可能和小众需求有关。

其中核心的四则运算逻辑是由之前写的脚本解释器提供的:

‍https://github.com/crossoverJie/gscript‍

单独提供了一个函数,传入一个四则运算表达式返回计算结果。

由于上一版本还不支持 float,所以这次专门适配了一下。

限于篇幅,更多关于这个四则运算的实现逻辑会在后面继续分享。

总结

至此算是我第一次利用编译原理的知识解决了一点特定领域问题,在大学以及工作这些年一直觉得编译原理比较高深,所以内心一直是抗拒的,但经过这段时间的学习和实践慢慢的也掌握到了一点门道。

不过目前也只是冰山一角,后面的编译原理后端更是要涉及到计算机底层知识,所以依然任重而道远。

已上都是题外话,针对于这个库我也会长期维护;为了能达到生产的使用要求,尽量提高了单测覆盖率,目前是98%。