arian-askari/ChatGPT-RetrievalQA-CIKM2023
📊 データセットarian-askari
ChatGPTと人間による回答を比較・学習可能な、QA検索モデル評価用データセット。
ChatGPT-RetrievalQA-CIKM2023リポジトリは、大規模言語モデル（LLM）と情報検索の交差点における重要なベンチマークです。開発者がAI生成回答を理解し、ランク付けするための検索モデルを微調整できる構造化データを提供します。ChatGPTの回答と人間が作成した正解データの両方を含んでいるため、回答の品質や関連性の比較分析が可能です。これは、AI特有のニュアンスと人間中心の情報伝達を区別するモデルの学習に特に有効です。リポジトリには評価プロセスをガイドするJupyter Notebookが含まれており、LLM出力を従来のIRパイプラインに統合したい研究者が容易に利用できます。データ拡張戦略をサポートしており、多様なQAシナリオにおけるモデルの汎化性能を向上させるためのトレーニングセットの拡張が可能です。
💡ハイライト
- ├─ChatGPTと人間による回答データセット
- ├─QA検索モデルの学習・評価に最適化
- └─CIKM 2023の研究ベンチマーク
🎯対象
- ├─NLP研究者
- ├─情報検索エンジニア
- └─データサイエンティスト