简介
概览
ForensicHub 是一个模块化、可配置、面向多任务图像篡改检测与定位(FIDL)场景的深度学习工具包,基于 PyTorch 开发。它支持以下功能:
- 统一复现四大任务(Deepfake、IMDL、AIGC、Document)中的 SoTA 模型
- 快速构建自己的图像取证模型 pipeline
- 自由组合多种不同领域数据集、模型、预处理与评估器,进行跨任务、跨域实验
设计理念与优势
ForensicHub 的设计理念是:提供科研级自由度 + 工程级规范性 + 多任务融合能力。在此理念指导下,ForensicHub 具备以下关键优势:
🚀 易于上手
- 模块设计清晰:通过四种组件解耦流程,注册各组件实现快速调用
- 轻代码配置:仅需配置 YAML 文件,即可完成数据加载、模型调用、评估流程
⚡ 高效运行
- GPU 加速评估指标:包含图像级与像素级 AUC、F1、IoU 等评价指标
- 自动代码生成器:提供 CLI 工具辅助构建定制 pipeline,极大加快实验搭建速度
- 支持并行评估与多卡训练,提升大规模实验效率
🔧 功能全面
- 支持四大图像取证任务,涵盖 23 个主流数据集,42 种 SoTA 模型,6 个视觉 Backbone
- 支持多种预处理变换,覆盖各领域不同预处理方式和数据增强
- 内置多种特征提取器(Sobel、BayarConv、DCT、FPH 等),可用于与任意视觉Backbones或领域种SoTA结合测试
- 提供 IFF-Protocol 融合训练协议,支持在混合任务上统一训练与评估
- 集成常用分析工具:参数统计、FLOPs、Grad-CAM、Tensorboard 可视化等
- 与 DeepfakeBench 和 IMDLBenCo 完全兼容,具备强扩展性
动机
虚假图像检测与定位领域长期存在以下问题:
- 统一领域分解为不同任务,不同任务使用孤立的 pipeline、数据集与评估指标,难以公平比较,并导致了各领域孤立发展,重复工作
- 许多 SoTA 方法未公开模型或训练代码,或缺乏复现指南
- 不同任务间迁移性研究缺失,难以发展通用检测模型
为了解决以上问题,ForensicHub 诞生于以下目标:
- 统一评估标准,规范研究流程:推动跨任务通用基准构建
- 降低复现门槛,鼓励开源共享:通过规范接口与模块设计简化开源工作
- 探索融合学习,推动 FIDL 发展:提供跨域模型训练与分析能力,助力发现泛化性强的新范式
我们相信,ForensicHub 将成为图像取证领域的重要基础设施,推动学术界与工业界迈向更公平、更健康、更协同的研究生态。