tomerhakak/agentprobe
🔧 도구tomerhakak
AI 에이전트를 위한 pytest 기반 프레임워크로, 기록, 테스트, 보안 검증 및 프롬프트 인젝션 퍼징을 지원합니다.
AgentProbe는 LLM 기반 애플리케이션에 최적화된 포괄적인 테스트 제품군을 제공하여 AI 에이전트의 신뢰성 문제를 해결합니다. 개발자는 에이전트의 동작을 테스트 가능한 코드로 다룰 수 있으며, 상호작용 기록을 통해 재현 가능한 테스트 케이스를 생성할 수 있습니다. 주요 기술적 특징으로는 에이전트의 출력, 논리, 도구 사용을 검증하는 35개 이상의 전문 어설션 라이브러리가 있습니다.
보안은 핵심 요소로, 배포 전 취약점을 식별하는 통합 프롬프트 인젝션 퍼징 도구를 제공합니다. 또한 토큰 사용량과 지연 시간을 최적화하기 위한 실시간 비용 추적 등 에이전트 운영에 대한 깊은 가시성을 제공합니다. 로컬 우선 철학으로 설계되어 기존 Python 개발 워크플로우에 원활하게 통합되므로, 프로토타입에서 프로덕션 단계로 전환하는 팀에게 필수적인 유틸리티입니다. 복잡한 다단계 에이전트든 간단한 RAG 파이프라인이든, AgentProbe는 일관된 성능과 안전성을 보장하는 인프라를 제공합니다.
💡하이라이트
- ├─35개 이상의 내장 검증 어설션
- ├─자동화된 프롬프트 인젝션 퍼징
- └─실시간 토큰 비용 추적 기능
🎯대상
- ├─AI 엔지니어
- ├─LLM-Ops 전문가
- └─보안 연구원