Mohith-akash/Global-News-Intel-Platform
📦 오픈 소스 프로젝트Mohith-akash
매일 10만 건 이상의 이벤트를 처리하는 비용 효율적인 AI 기반 지정학적 뉴스 인텔리전스 플랫폼입니다.
Global-News-Intel-Platform은 원시 지정학적 이벤트 데이터를 실행 가능한 인텔리전스로 변환하도록 설계된 정교한 엔드투엔드 데이터 파이프라인입니다. 이 시스템은 GDELT의 방대한 데이터셋을 자동으로 수집하여 매일 10만 건 이상의 이벤트를 처리, 정제 및 저장합니다. 아키텍처는 Dagster를 기반으로 강력한 워크플로우 오케스트레이션을 수행하여 데이터 이동과 변환의 안정성을 보장합니다.
저장소는 서버리스 DuckDB 환경인 MotherDuck을 사용하여 성능과 비용 효율성을 모두 잡았습니다. 핵심 기능인 AI 챗 인터페이스는 Text-to-SQL 로직을 통해 복잡한 데이터베이스 스키마와 사용자 질의 사이의 간극을 메워줍니다. 이를 통해 분석가는 SQL을 직접 작성하지 않고도 글로벌 사건에 대한 심층 연구를 수행할 수 있습니다. Python 중심의 현대적 스택과 CI/CD 모범 사례, Streamlit 대시보드를 결합한 이 프로젝트는 비용 효율적인 AI 데이터 분석 플랫폼을 구축하려는 개발자에게 이상적인 참조 모델입니다.
💡하이라이트
- ├─매일 10만 건 이상의 이벤트 수집
- ├─서버리스 Text-to-SQL 인터페이스
- └─Dagster 기반 파이프라인 오케스트레이션
🎯대상
- ├─데이터 엔지니어
- ├─AI 개발자
- └─지정학적 분석가