百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

如何用 SQL Server 玩转 JSON 数据解析:一场性能与可靠性的较量

yuyutoo 2025-02-09 14:52 3 浏览 0 评论

需求描述

公司老系统设计接口请求的响应结果放到了一个表里的一个字段中,是一个 json 格式的数据,需要解析里面的某个字段的值,如:

{
  "Content": {
    "prePactNo": "20191217003209329291",
    "dealSts": "1",
    "dealDesc": "自动审批通过"
  },
  "IsSuccess": true,
  "Message": null,
  "RespCode": "0000",
  "RespDesc": "通信成功"
}

ResponseJson 存储的就是上面说的 json 格式的数据,需要解析出 dealDesc 的值。

可以随便用一种程序语言来写一个程序来解析,比如 java、c# 等,但是如果只能用 sql 实现呢?

实现方案一

可以使用 SQL Server 内置的函数 JSON_VALUE ,直接提取 JSON 数据中的标量值。

SELECT top 10 ResponseJson,
    JSON_VALUE(ResponseJson, '$.Content.dealDesc') AS dealDesc
FROM
    business.RequestLog
WHERE ResponseJson IS NOT NULL
ORDER BY Id DESC;

$.Content.dealDesc 是 JSON 路径,表示提取 Content 对象中的 dealDesc 属性值。

实现方案二

使用 OPENJSON 可以将 JSON 数据展开为表格格式,适合复杂的 JSON 结构。

SELECT
    ResponseJson,
    dealDesc
FROM
    business.RequestLog
CROSS APPLY
    OPENJSON(ResponseJson, '$.Content')
    WITH (
        dealDesc NVARCHAR(100) '$.dealDesc'
    ) AS ParsedContent
WHERE ResponseJson IS NOT NULL

实现方案三

使用字符串操作,这种情况适合 SQL Server 版本较旧,不支持 JSON 函数的情况,但是这种方式不推荐,效率低且不够优雅。

SELECT
    ResponseJson,
    dealDesc
FROM
    business.RequestLog
CROSS APPLY
    OPENJSON(ResponseJson, '$.Content')
    WITH (
        dealDesc NVARCHAR(100) '$.dealDesc'
    ) AS ParsedContent
WHERE
  ResponseJson IS NOT NULL

其中 CHARINDEX 用于查找字段 dealDesc 的位置,SUBSTRING 提取指定位置的值。

实现方案四

使用基于字符串操作的解决方案,能够实现解析 JSON 字段值的功能,但在性能、可维护性和可靠性方面存在一些问题和需要改进的地方。

这种方式不推荐。

实现 SQL 如下:

SELECT TOP 10 w.ResponseJson,
       SUBSTRING(w.ResponseJson, p1.number + 13, p2.number-p1.number-13) AS Resul,p1.number,p2.number
FROM business.RequestLog w WITH (NOLOCK)
    JOIN
    (
        SELECT number
        FROM master.dbo.spt_values
        WHERE type = 'P'
              AND number > 0
    ) p1
        ON CHARINDEX(',"dealDesc":"', w.ResponseJson) = p1.number
		 JOIN
    (
        SELECT number
        FROM master.dbo.spt_values
        WHERE type = 'P'
              AND number > 0
    ) p2
        ON CHARINDEX('"},"IsSuccess":', w.ResponseJson) = p2.number
WHERE  InterfaceName = 'SinglePreAduit'
ORDER BY w.Id DESC;

得到的【Resul】就是需要的值。有了这个思路,还可以解析更多的值。

上面的 sql 用到了系统里的一个表【master.dbo.spt_values】,这是一个数字辅助表,使用了其 type 和 number 两个字段,取出的是 【type = 'P' AND number > 0】的数据,在数据库中执行下:

其 number 就是从1到2047连续的数字,因为一个 josn 格式是固定的,结合这个特性,再利用这个数字(即字符串的位置)我们就能建立表连接,然后取相对位置,就能取出 json 格式里的任何字段的数据了,但是缺陷是只能取到2047。

这个表就是一个辅助表,不光有我们用到了数字(type='P'),还有 bool(type='B'),有兴趣的可以去研究研究。

这种使用有性能问题,原因如下:

  • 使用 CHARINDEX 和 SUBSTRING 解析字符串需要对每一行进行多次字符串操作,性能较差,尤其是在大数据量的表上。
  • master.dbo.spt_values 表本身并不是为这种用途设计的,频繁 JOIN 会增加计算复杂度。

可靠性也差,原因如下:

  • 硬编码的偏移量:假设了 JSON 格式固定(如 "dealDesc": 后的固定偏移量为 13),一旦数据格式发生变化(如字段名称长度变化或多余的空格),结果可能会出错。
  • 边界问题:如果数据不包含 ,"dealDesc":""},"IsSuccess":,查询会失败或者结果不准确,缺少对异常情况的处理。

可读性和可维护性很差:

  • SQL 过于复杂,包含多个嵌套字符串操作和硬编码,理解和维护难度较高。
  • JOIN master.dbo.spt_values 表引入了额外的复杂性,对于后续的扩展或调试不够直观。

还有 master.dbo.spt_values 是 SQL Server 内置的系统表,通常不推荐直接在业务逻辑中使用,因为未来的版本可能会修改或移除。

实现方案五

可以封装一个存储过程或用户自定义函数来简化多次使用的场景。

CREATE FUNCTION dbo.GetDealDesc(@json NVARCHAR(MAX))
RETURNS NVARCHAR(MAX)
AS
BEGIN
    RETURN JSON_VALUE(@json, '$.Content.dealDesc');
END;
GO

调用:

SELECT 
    dbo.GetDealDesc(ResponseJson) AS dealDesc
FROM 
    business.RequestLog;

相关推荐

微软Win10/Win11版Copilot上线:支持OpenAI o3推理模型

IT之家4月3日消息,科技媒体WindowsLatest昨日(4月2日)发布博文,报道称Windows10、Windows11新版Copilot应用已摘掉Beta帽...

WinForm 双屏幕应用开发:原理、实现与优化

在当今的软件开发领域,多屏幕显示技术的应用越来越广泛。对于WinForm应用程序来说,能够支持双屏幕显示不仅可以提升用户体验,还能满足一些特定场景下的业务需求,比如在演示、监控或者多任务处理等场景...

推荐一个使用 C# 开发的 Windows10 磁贴美化小工具

...

OpenJDK 8 安装(openjdk 8 windows)

通常OpenJDK8和11都能互相编译和通用。我们建议使用11,但是如果你使用JDK8的话也是没有问题的。建议配置使用OpenJDK,不建议使用OracleJDK,主要是因为版...

基于 Linux 快速部署 OpenConnect VPN 服务(ocserv 实战指南)

一、前言在如今远程办公和内网穿透需求日益增长的背景下,搭建一套安全、稳定、高效的VPN系统显得尤为重要。OpenConnectServer(ocserv)是一个开源、高性能的VPN服务端软件...

巧妙设置让Edge浏览器更好用(edge怎么设置好用)

虽然现在新版本的Edge浏览器已经推出,但是毕竟还处于测试的状态中。而Win10系统里面自带的老版Edge浏览器,却越来越不被人重视。其实我们只需要根据实际情况对老版本的Edge浏览器进行一些简单的设...

WPF做一个漂亮的登录界面(wpf页面设计)

...

微软开源博客工具Open Live Writer更新:多项Bug修复

OpenLiveWriter前身是WindowsLiveWriter,是微软WindowsLive系列软件之一,曾经是博主们非常喜爱的一款所见即所得博文编辑工具,支持离线保存,还支持图像编辑...

基于OpenVINO的在线设计和虚拟试穿 | OPENAIGC大赛企业组优秀作品

在第二届拯救者杯OPENAIGC开发者大赛中,涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到,我们特意开设了优秀作品报道专栏,旨在展示其独特之处和开发者的精彩故事。...

C#开源免费的Windows右键菜单管理工具

...

Windows10或11中隐藏的功能,用它再也不用担心电脑中病毒!

...

Python open函数详解(python open函数源码)

演示环境,操作系统:Win1021H2(64bit);Python解释器:3.8.10。open是Python的一个内置函数,一般用于本地文件的读写操作。用法如下。my_file=open(fi...

Windows 11 安装 Docker Desktop(Windows 11 安装助手 Windows 易升 关系)

...

Windows 11 新版发布:屏幕亮度自适应控制,小组件界面重新设计!

...

世界上最好用的Linux发行版之一,OpenSUSE安装及简单体验

背景之前无意在论坛里看到openSUSE的Linux发行版,被称为世界上最好用的Linux发行版之一(阔怕),一直想体验一下,于是这期做一个安装和简单体验教程吧。...

取消回复欢迎 发表评论: