# Файл llms.txt для сайта www.poolsshop.ru
# Назначение: Указания для crawler'ов больших языковых моделей (LLM)
# Версия: 1.0
# Дата: 2024-06-20

User-agent: CCBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: anthropic-ai
User-agent: OAI-Spider
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /

# ===== СТРОГО ЗАПРЕЩЕНО: Конфиденциальные данные и функционал =====
Disallow: /admin/
Disallow: /administrator/
Disallow: /cp/
Disallow: /control/
Disallow: /manager/
Disallow: /user/
Disallow: /users/
Disallow: /cabinet/
Disallow: /personal/
Disallow: /account/
Disallow: /profile/
Disallow: /login/
Disallow: /auth/
Disallow: /register/
Disallow: /registration/

# ===== ЗАПРЕТ торговой и транзакционной информации =====
Disallow: /cart/
Disallow: /basket/
Disallow: /checkout/
Disallow: /order/
Disallow: /payment/
Disallow: /success/
Disallow: /fail/
Disallow: /invoice/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /favorite/

# ===== ЗАПРЕТ API и служебных endpoints =====
Disallow: /api/
Disallow: /ajax/
Disallow: /service/
Disallow: /webservice/
Disallow: /export/
Disallow: /import/

# ===== ЗАПРЕТ параметров фильтрации и поиска =====
Disallow: /*?filter=*
Disallow: /*&filter=*
Disallow: /*?sort=*
Disallow: /*&sort=*
Disallow: /*?order=*
Disallow: /*&order=*
Disallow: /*?search=*
Disallow: /*&search=*
Disallow: /*?q=*
Disallow: /*&q=*
Disallow: /*?page=*
Disallow: /*&page=*
Disallow: /*?query=*
Disallow: /*?list=*

# ===== ЗАПРЕТ технических файлов =====
Disallow: /*.pdf$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.zip$
Disallow: /*.rar$

# ===== РАЗРЕШЕНО: Основной контент для обучения =====
# Разрешаем сканирование основных категорий товаров
Allow: /catalog/
Allow: /category/
Allow: /product/
Allow: /goods/

# Разрешаем информационные разделы
Allow: /about/
Allow: /company/
Allow: /contacts/
Allow: /delivery/
Allow: /payment-methods/
Allow: /warranty/
Allow: /service/

# Разрешаем статьи и полезную информацию (очень ценно для LLM)
Allow: /articles/
Allow: /blog/
Allow: /news/
Allow: /reviews/
Allow: /help/
Allow: /faq/
Allow: /advice/
Allow: /sovety/

# Разрешаем страницы брендов
Allow: /brands/
Allow: /manufacturers/

# ===== ЯВНОЕ РАЗРЕШЕНИЕ ключевых страниц =====
Allow: /$
Allow: /catalog/$
Allow: /category/$
Allow: /articles/$
Allow: /blog/$
Allow: /about/$
Allow: /kontakty/$
Allow: /product/$
Allow: /remont-nasosov/$
Allow: /montazh-oborudovaniya-bassejna/$
Allow: /dostavka/$

# Правило по умолчанию: сканирование разрешено, кроме явно запрещенных выше
Allow: /