IsabelleDesle/VirtualGlobeTrotter
📦 オープンソースプロジェクトIsabelleDesle
音声操作で世界を旅する、子供向けの没入型360度AI探索プラットフォーム。
VirtualGlobeTrotterは、支援技術と生成AIの融合を示す革新的なプロジェクトです。自然言語の音声コマンドを没入型視覚環境に変換するモジュール式パイプラインを採用しています。Stable Diffusionで生成された360度画像はReal-ESRGANで精細化され、UnityのスカイボックスとしてVR環境等で表示可能です。バックエンドはFlask APIで構築され、Gemmaがユーザーの意図を解釈するインテリジェントエージェントとして機能します。また、Elasticsearchにより位置情報の高速検索を実現し、完全なセルフホスト環境でプライバシーと制御性を確保しています。Vue.jsによる直感的なフロントエンドは、物理的な移動が困難な子供たちの障壁を下げます。本プロジェクトは、オープンソースAIモデルを連携させることで、コンピュータビジョンと生成メディアを用いて現実世界のアクセシビリティ課題を解決する好例です。
💡ハイライト
- ├─音声操作による360度画像の生成
- ├─SD, Gemma, Real-ESRGANを統合
- └─Unityを用いた没入型スカイボックス表示
🎯対象
- ├─アクセシビリティ開発者
- ├─EdTechエンジニア
- └─生成AI愛好家