# ============================================
# reyhanesans.com robots.txt
# AEO/GEO: Tum AI botlarina ACIK (maksimum gorunurluk)
# ============================================

# --- Genel (tum botlar) ---
User-agent: *
Allow: /

# Backend / API uclari (icerik degil)
# NOT: blog.php, api_lib.php, cark_api.php, uye_api.php BILEREK Disallow DEGIL.
# Bunlar .htaccess'te "X-Robots-Tag: noindex, nofollow" basligi aliyor.
# Disallow konursa Google ucu cekemez, noindex basligini goremez ve
# "Robots.txt ile engelleniyor olsa da dizine eklendi" uyarisi olusur
# (blog.php'de tam olarak bu oldu — 2026-07-28 duzeltildi).
# Ayni mantik admin.html/bakim.html icin asagida da uygulaniyor.
Disallow: /upload.php

# --- /data/ : varsayilan KAPALI, beyaz liste ACIK (2026-09-09) ---
# data/.htaccess su dosyalari BILEREK herkese aciyor. robots.txt onlari
# engelleyince Google kendi verimizi cekemiyordu:
#  - merchant_feed.xml : Merchant Center feed'i alamiyor (sessiz red)
#  - urunler.json      : index.html "One cikan urunler" bolumu JS ile bunu
#                        okuyor; bloklaninca Googlebot urunleri goremiyor ve
#                        bolum tamamen gizleniyor (ana sayfa urunsuz gorunuyor)
#  - haberler/yorumlar : blog icerigi ayni sekilde gorunmez oluyor
# toptan_fiyatlar.json BILEREK Allow DEGIL - toptan fiyat katalogu,
# arama sonuclarinda cikmamali.
Disallow: /data/
Allow: /data/urunler.json
Allow: /data/merchant_feed.xml
Allow: /data/haberler.json
Allow: /data/yorumlar.json
Allow: /data/hac-menasik.json

# urunler.php ve google_reviews.php BILEREK ACIK:
# magaza.html urun kartlarini urunler.php'den JS ile cekiyor. Engellenirse
# Googlebot sayfayi render ederken urunleri goremez -> magaza bos gorunur.
Allow: /urunler.php
Allow: /google_reviews.php

# NOT: admin.html, bakim.html, hikmet_pelerinli.html ve hesabim.html
# BILEREK burada Disallow DEGIL. Bu sayfalarda <meta name="robots" content="noindex">
# var; Google noindex'i gorebilmek icin sayfayi TARAYABILMELI.
# Disallow konursa Google sayfayi cekemez, noindex'i goremez ve
# "Robots.txt ile engelleniyor olsa da dizine eklendi" uyarisi olusur.
# Erisim guvenligi robots.txt ile degil, sunucu tarafi kimlik dogrulama ile saglanir.
Disallow: /*.backup-*
Disallow: /img/_BACKUP_RENAME_*/
# NOT: /2_turkish/ kurali kaldirildi (2026-07-28) — boyle bir klasor YOK,
# Turkce icerik kokte. Adres 301 ile / adresine gidiyor; Disallow kalirsa
# Google yonlendirmeyi izleyemez, "Yonlendirmeli sayfa" uyarisi surer.

# Tum dil ve blog acilsin
Allow: /1_english/
Allow: /2_arabic/
Allow: /3_french/
Allow: /4_spanish/
Allow: /5_russian/
Allow: /6_urdu/
Allow: /7_malay/
Allow: /8_indonesian/
Allow: /blog/

# ============================================
# AI / LLM BOTLARI - HEPSINE ACIK
# (kullanici karari: maksimum gorunurluk)
# ============================================

# OpenAI (ChatGPT)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /

# Google AI (Gemini / AI Overviews)
User-agent: Google-Extended
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Common Crawl (bircok AI bunu kullanir)
User-agent: CCBot
Allow: /

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# Microsoft Copilot / Bing AI
User-agent: bingbot
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /
User-agent: FacebookBot
Allow: /

# Amazon
User-agent: Amazonbot
Allow: /

# Diger arama motorlari
User-agent: YandexBot
Allow: /
User-agent: DuckDuckBot
Allow: /

# ============================================
# Sitemap & crawl
# ============================================
Sitemap: https://reyhanesans.com/sitemap.xml
Sitemap: https://reyhanesans.com/sitemap-blog.xml
Crawl-delay: 1