从抓到包到还原文件:QQ Media Wireshark 插件开发实战

记录 QQ Media 插件从协议分析、Lua 解析、跨 TCP 连接分块重组到一键文件恢复的实现过程,并通过真实抓包说明文件完整性、服务端回包与 GQUIC 加密通道的边界。

从抓到包到还原文件:QQ Media Wireshark 插件开发实战

课程实验最初提出的需求很直观:用 QQ 给另一位同学发送图片,开发一个 Wireshark 插件,找到对应数据包并还原图片。

真正开始分析后,问题分成了几层:数据是否经过当前网卡?图片是否直接传给对方?载荷有没有加密?一个文件是否分散在多个连接中?即使服务端返回成功,抓包中是否真的包含整份文件?

这篇文章记录 QQ Media 插件的实现过程。实验使用 QQ 9.9.36-53644(64 位)和 Wireshark 4.4.17。文中的字段对应关系来自本次样本验证,不代表所有 QQ 版本和传输场景都采用相同格式。

一、先分清抓包、解析和恢复

Wireshark 能看到 TCP 或 UDP 数据包,并不意味着已经知道它们属于哪个应用;知道它们属于 QQ,也不意味着能读到图片内容。

层次 要回答的问题 本项目的处理方式
采集 数据包有没有被抓到? 使用现有 Npcap、dumpcap 和 Wireshark
协议识别 哪些数据符合已验证的 QQ 媒体协议? Lua 插件联合检查请求路径和报文结构
内容恢复 分块是否齐全、数据是否正确? Python 重组、检查缺口并验证 MD5
加密处理 当前是否具备明文或解密条件? 明确记录通道证据,说明尚未支持的情况

项目没有重新开发网卡抓包驱动。插件的输入是 Wireshark 已采集并解析的数据,重点在应用层识别和文件恢复。

1. 为什么只过滤对方 IP 找不到图片

最初尝试使用同学的局域网 IP 过滤,但在对应样本中,没有找到与该地址直接通信的 IPv4 数据包。随后却在公网 IPv6 连接上发现媒体上传请求。

因此,聊天对象与网络连接对端不能直接画等号。至少在这些样本中,客户端先与服务端交互,接收端再通过自己的链路获得资源。仅按聊天对象的 IP 过滤,会漏掉实际传输。

二、从 HTTP 请求定位媒体上传协议

在可恢复的样本中,观察到了以下 HTTP POST 路径:

1
2
/cgi-bin/httpconn?htcmd=0x6ff0082&…
/cgi-bin/httpconn?htcmd=0x6ff0087&…

前者在样本中承担控制或探测用途,后者承载文件上传数据。但路径和端口只能提供线索,不能单独作为可靠识别条件。

插件继续检查消息体中的封装:

1
2
3
4
5
6
7
8
9
偏移        长度       内容
0           1          0x28
1           4          协议头长度 H,大端序
5           4          数据块长度 D,大端序
9           H          Protobuf 协议头
9 + H       D          文件数据块
9 + H + D   1          0x29

消息体总长度 = 10 + H + D

只有长度关系、边界标记与 Protobuf 结构符合要求,才继续解释内部字段。对于越界、截断和异常整数,停止解析并给出提示。

1. 文件分块需要哪些字段

当前样本中,顶层 Protobuf 字段 2 包含分块头。经过实际长度和哈希核对,确认了以下对应关系:

分块头字段号 样本对应含义
2 文件总大小
3 文件中的分块偏移
4 分块长度
8 分块 MD5,16 字节
9 完整文件 MD5,16 字节

有了这些信息,恢复目标就从“在字节流中搜索图片文件头”变成了“按文件标识关联数据,按偏移重组,最后验证完整性”。未确认的字段保留在原始协议头中,不为它们强行赋予业务含义。

三、Lua 与 Python 如何分工

插件由四个运行文件和一个安装脚本组成:

1
2
3
4
5
6
7
plugins/
    qqmedia.lua         协议解析与通道标记
    qqmedia_ui.lua      Wireshark 菜单、覆盖概览、当前抓包快照
tools/
    recover.py          分块校验、文件重组、内容类型识别
    export_gui.py       后台任务与恢复结果窗口
install-plugin.ps1      安装和生成本机启动配置

数据经过下面的流程:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
抓包文件或当前捕获
        ↓
Wireshark 内置 TCP / HTTP 重组
        ↓
Lua 解析完整消息体,生成 qqmedia 字段
        ↓
TShark 字段导出 / 当前抓包分块快照
        ↓
Python 按文件标识与偏移重组
        ↓
校验通过的完整文件 / 标明缺口的片段 / 无法恢复的原因

Lua 采用 postdissector,读取已有的 HTTP 字段,复用 Wireshark 的流重组能力;Python 负责磁盘上的文件状态和校验。这样,图形界面和命令行共用同一套恢复后端。

当前实现对一个帧内无法明确配对的多个请求或消息体采取跳过策略。这是兼容性边界,后续可以继续扩展,不能把它描述为支持任意 HTTP 报文排列。

1. 方便定位的显示过滤器

1
qqmedia

查看文件上传分块:

1
qqmedia.kind == "upload"

检查首块或解析错误:

1
qqmedia.chunk_offset == 0
1
qqmedia.error

文件大小、偏移、长度和 MD5 会显示在协议树中。相关字段通常出现在完成 HTTP 重组的帧上,而不是每一个 TCP 分段上。

四、真正的难点:文件可能跨多个 TCP 连接

第一份图片样本分布在 TCP 流 12 和 22 中:

TCP 流 文件偏移 数据长度
12 0 524,288
12 524,288 524,288
12 1,048,576 524,288
22 1,572,864 524,288
12 2,097,152 28,728

最后一块在某个连接中先出现,并不代表它应当紧接该连接的上一块写入。直接按抓包顺序拼接,或者只导出一个 TCP 流,都会产生错误。

恢复工具使用:

1
完整文件 MD5 + 文件总大小

作为内容分组依据,再按分块偏移写入临时文件。其处理规则包括:

  1. 检查偏移、长度和文件边界。
  2. 验证分块 MD5,再接纳数据。
  3. 去重重复内容,检查重叠区间是否一致。
  4. 维护覆盖区间,找出未取得的字节范围。
  5. 只有完整覆盖且整文件 MD5 一致,才导出为完整文件。

相同内容的重复上传会合并为一份内容,因此这套逻辑不适合直接统计独立发送次数。MD5 在这里用于核对协议声明与实际字节,不证明发送者身份,也不是抵抗恶意碰撞的身份认证机制。

五、服务端成功,不等于本地已经获得完整文件

开发过程中最有代表性的异常是:一个 PDF 总大小为 1,059,852 字节,抓包却只取得两个 512 KiB 分块。

1
2
3
已取得:1,048,576 字节
缺少:     11,276 字节
覆盖率:      98.94%

界面中的“98.94%”并非四舍五入造成的显示问题,而是明确缺少了尾部数据。

在后续 docx-pdf.pcapng 中,PDF 的上传块位于 TCP 流 13、帧 731 和 1274。服务端分别在帧 819、1430 回包,协议错误码为 0;该连接随后正常 FIN 关闭,也未观察到该流的缺段提示。

这些证据说明,需要分别记录两类状态:

  • 服务端回包状态:服务端返回了哪些错误码和原始标记。
  • 本地内容完整性:当前抓包究竟包含哪些已经验证的数据。

反复出现同一个文件 MD5、每个大文件仅上传前 1 MiB 的现象,可能涉及缓存或快速上传校验。但这是待验证的解释,不能把它写成已经确认的 QQ 内部机制。

1. 如何处理不完整文件

工具会保留校验通过的连续前缀,文件名明确带 .partial。不会补零伪造完整文件,也不会拿此前恢复的同 MD5 文件冒充本次抓包的结果。

报告记录覆盖范围、缺失字节、片段哈希和服务端响应。片段能够保留证据,但不能保证正常打开;即使应用勉强打开,也不代表整文件一致性验证已经通过。

另一个实际修复点是响应方向判断:Wireshark 可能给 HTTP 回包附带原请求 URI。后来改为结合 response code 和请求方法判断,并检查响应中的媒体命令,避免将回包错误当成上传内容。

六、从手工导出走到一键还原

最初的入口只应用过滤器并打开覆盖概览。它方便定位,却没有完成用户真正需要的整条操作链。

最终的一键流程变成:

1
2
3
4
5
6
7
8
9
点击“一键识别并还原”
        ↓
扫描当前抓包,提取已经解析的文件块与响应记录
        ↓
生成独立任务快照
        ↓
自动启动恢复窗口并运行后端
        ↓
展示完整文件、片段及原因,打开结果目录

这样无需重新选择同一个抓包,也无需再点击一次“开始”。每个任务使用独立输出目录,避免误读上一次报告。结果表中选中文件,可以查看来源 TCP 流和分块包号。

临时任务通过重命名进行独占领取,正常关闭结果窗口后清理本任务快照。恢复文件与抓包快照分开管理,方便保留结果。

实测还发现,当前 Wireshark 构建没有按预期将带斜杠的名称展开为子菜单,最初给出的“分析”菜单位置也与实际界面不一致。最终统一使用“统计”菜单下的独立中文入口,并在实际窗口验证点击和恢复流程。

七、安装与实际使用

准备 Wireshark(包含 TShark、Lua 支持)和 Python 3.10+(包含 tkinter),将发布包解压到普通目录,例如 D:\QQMediaPlugin。不要求放进 Wireshark.exe 所在文件夹。

在 CMD 执行:

1
2
cd /d D:\QQMediaPlugin
powershell -NoProfile -ExecutionPolicy Bypass -File .\install-plugin.ps1

安装器将 Lua、Python 后端和结果窗口复制到当前用户的个人插件目录,并生成本机启动配置:

1
2
3
4
5
6
%APPDATA%\Wireshark\plugins\
    qqmedia.lua
    qqmedia_ui.lua
    qqmedia.config
    qqmedia-tools\
    qqmedia-jobs\

安装后的运行文件不依赖原项目目录,但仍依赖配置指向的 Python 解释器。换电脑时重新运行安装器,避免沿用另一台机器的路径。

重启 Wireshark 或重新载入 Lua 插件后,打开抓包,点击:

统计 → QQ Media - 一键识别并还原

程序优先使用已存在的 D:\dowload\1,否则使用当前用户的 QQMedia-Recovered,并为每次运行创建独立子目录。

也可以通过命令行调用:

1
python .\tools\recover.py --input .\sample.pcapng --output D:\recovered

八、六份抓包的恢复验证

为了验证流程,使用当前解析插件和正式后端重新处理六份抓包,得到七个完整文件。没有使用旧文件补齐。

抓包 完整恢复内容 字节数
pdfpdf.pcapng PDF 182,378
zipzip.pcapng ZIP 3,202,297
jpjp.pcapng JPEG 1 10,062
jpjp.pcapng JPEG 2 1,024,476
py.pcapng Python 源码 1,780
txt.pcapng 文本 27
docx.pcapng Word 文档 17,354

七个文件均重新读取磁盘内容,核对大小及 MD5。ZIP/DOCX 额外通过内部 CRC 校验,两张 JPEG 完成了像素解码。PDF 检查了文件头和末尾标记,没有做逐页视觉验收。

其中,3,202,297 字节 ZIP 分为 7 个块,跨 TCP 流 66、69、70 恢复,是验证跨连接重组的重要样本。PDF 的 MD5 为 474b85b2f8e2b45b1c76f24d5294e10f,也说明此前“某份 PDF 无法完整恢复”应按具体传输内容诊断,而不能简单归因于扩展名。

恢复的是线上实际传输内容。文件类型根据内容识别,TXT/PY 属于启发式判断;发送前的 PNG 也可能在传输中成为 JPEG。未提供原文件哈希时,不能进一步声称恢复内容与发送前原图、原始质量完全一致。

九、GQUIC 样本揭示的能力边界

在另一份 jp.pcapng 中,主要媒体流量不再是上述 HTTP 上传,而是 GQUIC Q043、UDP/443。握手域名为 multimedia.nt.qq.com.cn,主要 UDP 会话有 4,845 个包,链路字节数约 6.17 MB。

这份抓包包含明确的媒体通道证据,但当前插件没有取得可恢复的媒体明文。

后来新增了 encrypted_gquic 标记和 transport_evidence,让结果窗口明确区分“没有匹配的内容”和“已观察到 QQ 媒体加密通道”。协议识别没有变成载荷解密;链路字节数也不是图片文件大小。

1
qqmedia.kind == "encrypted_gquic"

项目曾尝试外部密钥驱动的 AES-GCM 认证解密适配器,并使用合成数据测试错误密钥和篡改拒绝。但没有取得真实 QQ 会话秘密,也没有接通 Q043 密钥派生及解密后的媒体重组,因此实验性脚本没有作为基础插件的自动解密功能发布。

对于当前插件,应准确描述为:可恢复已验证、可解析且数据完整的媒体上传;能提示部分加密通道

comments powered by Disqus
Wishing you good luck and happiness every day!今天小雨,愿每一次阅读都带给你温暖与收获
使用 Hugo 构建
主题 Stack 由 Jimmy 设计