pip install deepeval

import os
from deepeval import evaluate
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

# Настройка API ключей
os.environ["OPENAI_API_KEY"] = "your-api-key"

from deepeval import assert_test
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

def test_customer_support_response():
    test_case = LLMTestCase(
        input="Как мне вернуть товар?",
        actual_output="Для возврата товара обратитесь в службу поддержки...",
        retrieval_context=["Политика возврата: товар можно вернуть в течение 14 дней..."]
    )
    
    metric = AnswerRelevancyMetric(threshold=0.8)
    assert_test(test_case, [metric])

from deepeval.metrics import HallucinationMetric

def test_no_hallucination():
    test_case = LLMTestCase(
        input="Какая столица Франции?",
        actual_output="Столица Франции - Париж, город с населением около 2.2 миллиона человек.",
        context=["Париж является столицей Франции."]
    )
    
    metric = HallucinationMetric(threshold=0.1)
    assert_test(test_case, [metric])

from deepeval.metrics import ContextualPrecisionMetric, ContextualRecallMetric
from deepeval.metrics.ragas import RagasMetric

def test_rag_system():
    test_case = LLMTestCase(
        input="Объясни принцип работы транзистора",
        actual_output="Транзистор работает как электронный переключатель...",
        expected_output="Транзистор - полупроводниковый прибор...",
        retrieval_context=[
            "Транзистор состоит из трех слоев полупроводника...",
            "Основные типы транзисторов: биполярные и полевые..."
        ]
    )
    
    metrics = [
        ContextualPrecisionMetric(threshold=0.7),
        ContextualRecallMetric(threshold=0.7),
        RagasMetric()
    ]
    
    assert_test(test_case, metrics)

from deepeval.metrics import ToxicityMetric, BiasMetric

def test_safe_content():
    test_case = LLMTestCase(
        input="Расскажи о различных культурах",
        actual_output="Культурное разнообразие обогащает наш мир..."
    )
    
    metrics = [
        ToxicityMetric(threshold=0.1),
        BiasMetric(threshold=0.1)
    ]
    
    assert_test(test_case, metrics)

# Пример многоуровневой системы метрик для e-commerce
class ECommerceMetricsSuite:
    def __init__(self):
        # Базовые метрики качества
        self.basic_metrics = [
            AnswerRelevancyMetric(threshold=0.8),
            FaithfulnessMetric(threshold=0.85)
        ]
        
        # Специализированные бизнес-метрики
        self.business_metrics = [
            CustomerSatisfactionMetric(threshold=0.7),
            SalesIntentDetectionMetric(),
            EmotionalToneMetric()
        ]
        
        # Метрики безопасности
        self.safety_metrics = [
            ToxicityMetric(threshold=0.05),
            BiasMetric(threshold=0.1),
            PrivacyLeakageMetric()
        ]

# Пример A/B тестирования промптов
def compare_prompts(original_prompt, modified_prompt, test_cases):
    """Сравнение эффективности двух версий промпта"""
    
    original_results = evaluate_prompt(original_prompt, test_cases)
    modified_results = evaluate_prompt(modified_prompt, test_cases)
    
    # Статистический анализ различий
    improvement = calculate_statistical_significance(
        original_results, modified_results
    )
    
    return {
        'significant_improvement': improvement.p_value < 0.05,
        'effect_size': improvement.effect_size,
        'recommendation': generate_recommendation(improvement)
    }

# Концептуальный пример самообучающейся системы оценки
class AdaptiveEvaluationSystem:
    def __init__(self):
        self.metric_performance_tracker = MetricPerformanceTracker()
        self.human_feedback_analyzer = HumanFeedbackAnalyzer()
        self.metric_optimizer = MetricOptimizer()
    
    def evolve_metrics(self, evaluation_results, human_feedback):
        """Эволюция метрик на основе обратной связи"""
        
        # Анализ расхождений между оценками и человеческим мнением
        discrepancies = self.analyze_discrepancies(
            evaluation_results, human_feedback
        )
        
        # Автоматическая корректировка весов метрик
        new_weights = self.metric_optimizer.optimize_weights(discrepancies)
        
        # Предложение новых метрик для проблемных областей
        suggested_metrics = self.suggest_new_metrics(discrepancies)
        
        return new_weights, suggested_metrics