
Mohith-akash/Global-News-Intel-Platform
📦 开源项目Mohith-akash
一款 AI 驱动的地缘政治情报平台,每日处理超 10 万条事件,且数据工程栈零成本。
Global-News-Intel-Platform 是一个精密的端到端数据流水线,旨在将原始的地缘政治事件数据转化为可操作的情报。该系统的核心在于自动化摄入海量的 GDELT 数据集,确保每日 10 万条以上的事件得到高效的处理、清洗和存储。其架构依赖于 Dagster 进行强大的工作流编排,确保数据传输和转换的可靠性。
存储方面采用了 MotherDuck,提供无服务器的 DuckDB 体验,在性能与成本效益之间取得了完美平衡。该项目的一大亮点是集成的 AI 聊天界面,利用 Text-to-SQL 逻辑弥合了复杂数据库模式与终端用户查询之间的鸿沟。这使得分析师无需编写手动 SQL 查询即可对全球事件进行深度研究。该项目基于现代 Python 技术栈构建,融合了 CI/CD 最佳实践和用于交互式仪表盘的 Streamlit,是开发者构建高性价比、AI 增强型数据分析平台的理想参考架构。
💡核心亮点
- ├─每日摄入 10 万条以上事件
- ├─无服务器 Text-to-SQL 交互界面
- └─基于 Dagster 的流水线编排
🎯适用人群
- ├─数据工程师
- ├─AI 开发者
- └─地缘政治分析师