data-hunters/metadata-digger
📦 开源项目data-hunters
一款用于自动化元数据提取、深度学习增强及大数据分析的可扩展工具。
Metadata-digger 是一款专门为高吞吐量元数据提取和增强而设计的工具。它采用 Scala 编写，利用 Apache Spark 的强大功能处理海量文件，非常适合大数据流水线。该工具擅长解析图像及其他媒体中的 Exif 数据，其模块化架构允许在数据处理流程中直接集成深度学习模型，以执行图像分类或目标检测等高级增强任务。核心功能包括对 CSV、JSON 和带有 GPS 标签的媒体格式的支持，并能与 Solr 等搜索引擎无缝集成以进行索引和分析。通过将传统元数据提取与现代 AI 驱动的增强技术相结合，它为需要将原始文件转变为结构化、可搜索情报的组织提供了全面的解决方案。
💡核心亮点
- ├─基于 Spark 的可扩展处理能力
- ├─深度学习驱动的元数据增强
- └─支持 Exif、GPS 及 JSON 格式
🎯适用人群
- ├─数据工程师
- ├─OSINT 研究人员
- └─AI/ML 从业者