mamonov.ep
dab1953888
Изменено: - services/ai_service.py - автоматическое использование Cloudflare Gateway - config/settings.py - настройки CLOUDFLARE_ACCOUNT_ID и CLOUDFLARE_GATEWAY_ID - .env.example - добавлены переменные Cloudflare - README.md - секция о Cloudflare AI Gateway Создано: - docs/CLOUDFLARE_GATEWAY.md - подробная документация Преимущества: 🚀 Кэширование запросов - экономия до 99% на повторных запросах 📊 Аналитика - детальная статистика использования AI 💰 Контроль расходов - мониторинг стоимости 🛡️ Безопасность - защита API ключей и rate limiting Использование: 1. Создать Gateway на dash.cloudflare.com 2. Добавить CLOUDFLARE_ACCOUNT_ID в .env 3. Все запросы автоматически пойдут через Cloudflare Для отключения оставьте CLOUDFLARE_ACCOUNT_ID пустым. 🤖 Generated with [Claude Code](https://claude.com/claude-code) Co-Authored-By: Claude <noreply@anthropic.com>
4.9 KiB
4.9 KiB
Cloudflare AI Gateway
Что это?
Cloudflare AI Gateway — это прокси-сервис между вашим приложением и AI провайдерами (OpenAI, Anthropic и др.), который предоставляет:
Преимущества
1. 🚀 Кэширование запросов
- Автоматическое кэширование одинаковых запросов к AI
- Экономия на повторных запросах
- Мгновенные ответы для закэшированных запросов
2. 📊 Аналитика и мониторинг
- Детальная статистика использования API
- Отслеживание стоимости запросов
- Анализ производительности
3. 💰 Экономия средств
- Снижение количества запросов к OpenAI через кэш
- Контроль расходов
- Rate limiting для предотвращения перерасхода
4. 🛡️ Безопасность
- Защита API ключей
- Rate limiting
- Логирование всех запросов
5. 🔄 Резервные варианты
- Поддержка нескольких AI провайдеров
- Автоматическое переключение при сбоях
Настройка
1. Создание Gateway в Cloudflare
- Перейдите на Cloudflare Dashboard
- Откройте раздел AI → AI Gateway
- Нажмите Create Gateway
- Введите имя для Gateway (например:
gpt) - Скопируйте Account ID и Gateway ID
2. Настройка в проекте
Добавьте в .env файл:
# Cloudflare AI Gateway
CLOUDFLARE_ACCOUNT_ID=ваш_account_id
CLOUDFLARE_GATEWAY_ID=gpt
3. Проверка работы
После настройки все запросы к OpenAI будут проходить через Cloudflare Gateway.
Проверить можно в дашборде Cloudflare: AI → AI Gateway → выбрать ваш Gateway
Как это работает
Без Cloudflare Gateway:
Бот → OpenAI API → Ответ
С Cloudflare Gateway:
Бот → Cloudflare Gateway → OpenAI API → Ответ
↓
(кэш + аналитика)
При повторном запросе:
Бот → Cloudflare Gateway → Ответ из кэша (мгновенно!)
Примеры экономии
Без кэширования:
- Запрос перевода слова "hello" → $0.002
- 10 пользователей запрашивают "hello" → $0.02
- 100 пользователей → $0.20
С кэшированием:
- Первый запрос "hello" → $0.002
- Последующие 99 запросов → $0 (из кэша)
- Экономия: 99%
Настройка кэширования
В дашборде Cloudflare Gateway можно настроить:
- TTL кэша - время жизни закэшированных ответов
- Правила кэширования - что кэшировать, а что нет
- Invalidation - очистка кэша
Рекомендации для нашего бота:
Кэшировать:
- Переводы слов (TTL: 30 дней)
- Проверка ответов с одинаковыми параметрами (TTL: 1 день)
Не кэшировать:
- Диалоги с пользователями (уникальный контекст)
Мониторинг
В дашборде Cloudflare Gateway доступны метрики:
- Requests - общее количество запросов
- Cache hit rate - процент попаданий в кэш
- Cost - стоимость запросов
- Latency - задержка ответов
- Errors - ошибки
Отключение
Чтобы отключить Cloudflare Gateway и использовать прямое подключение к OpenAI:
- Удалите или закомментируйте в
.env:
# CLOUDFLARE_ACCOUNT_ID=...
# CLOUDFLARE_GATEWAY_ID=...
- Или оставьте
CLOUDFLARE_ACCOUNT_IDпустым:
CLOUDFLARE_ACCOUNT_ID=
Поддержка других AI провайдеров
Cloudflare AI Gateway также поддерживает:
- Anthropic (Claude)
- Google AI
- Hugging Face
- Azure OpenAI
Для переключения достаточно изменить base URL в коде.