evals

• evals.models
  • evals.models.anthropic
  • evals.models.bedrock
  • evals.models.litellm
  • evals.models.openai
  • evals.models.mistralai
  • evals.models.vertex
  • evals.models.vertexai
• evals.classify
  • llm_classify
  • run_evals
• evals.default_templates
  • RAG_RELEVANCY_PROMPT_TEMPLATE
  • HALLUCINATION_PROMPT_TEMPLATE
  • TOXICITY_PROMPT_TEMPLATE
  • QA_PROMPT_TEMPLATE
  • SUMMARIZATION_PROMPT_TEMPLATE
  • CODE_READABILITY_PROMPT_TEMPLATE
  • REFERENCE_LINK_CORRECTNESS_PROMPT_TEMPLATE
  • HUMAN_VS_AI_PROMPT_TEMPLATE
  • SQL_GEN_EVAL_PROMPT_TEMPLATE
  • CODE_FUNCTIONALITY_PROMPT_TEMPLATE
  • USER_FRUSTRATION_PROMPT_TEMPLATE
• evals.evaluators
  • HallucinationEvaluator
  • LLMEvaluator
  • QAEvaluator
  • RelevanceEvaluator
  • SQLEvaluator
  • SummarizationEvaluator
  • ToxicityEvaluator
• evals.generate
  • llm_generate
• evals.retrievals
  • compute_precisions_at_k
• evals.span_templates
  • HALLUCINATION_SPAN_PROMPT_TEMPLATE
  • QA_SPAN_PROMPT_TEMPLATE
• evals.templates
  • ClassificationTemplate
  • DotKeyFormatter
  • MultimodalPrompt
  • PromptPart
  • PromptPartContentType
  • PromptPartTemplate
  • PromptTemplate
• evals.utils
  • download_benchmark_dataset
  • get_audio_format_from_base64