Mohith-akash/Global-News-Intel-Platform
📦 Open Source ProjectMohith-akash
Платформа геополитической аналитики на базе ИИ, обрабатывающая 100 000+ событий ежедневно с нулевыми затратами на инфраструктуру.
Global-News-Intel-Platform — это комплексный конвейер обработки данных, предназначенный для превращения сырых геополитических сведений в аналитическую информацию. Система автоматизирует сбор огромных массивов данных из GDELT, обеспечивая эффективную очистку и хранение более 100 000 событий в день. Архитектура опирается на Dagster для надежной оркестрации рабочих процессов и трансформации данных.
Хранение данных реализовано через MotherDuck, что обеспечивает работу с DuckDB в бессерверном режиме, сочетая высокую производительность с экономичностью. Ключевой особенностью является ИИ-чат, использующий логику Text-to-SQL для упрощения взаимодействия с базой данных. Это позволяет аналитикам проводить глубокие исследования без написания SQL-запросов вручную. Проект построен на современном стеке Python с использованием практик CI/CD и Streamlit для визуализации, что делает его идеальным примером архитектуры для создания экономичных аналитических платформ с поддержкой ИИ.
💡Основное
- ├─Обработка 100К+ событий в день
- ├─Бессерверный интерфейс Text-to-SQL
- └─Оркестрация пайплайнов через Dagster
🎯Для
- ├─Инженеры данных
- ├─AI-разработчики
- └─Геополитические аналитики