GPTBot, ClaudeBot, PerplexityBot — לאפשר או לחסום?

הדילמה

יותר מ-100 אתרי תוכן (NYT, Reuters, BBC) חוסמים GPTBot. במקביל, מותגים B2B מתחננים שיציינו אותם. מי צודק?

זה תלוי במודל העסקי שלכם.

מתי לחסום

• אתר תוכן עם paywall: אם לקוחות משלמים על תוכן, אל תיתנו אותו חינם ל-AI
• חדשות במונטיזציה גבוהה: הציטוט גוזל clicks ומפסיד הכנסות מודעות
• תוכן ייחודי שאסור לשכפל: מחקרים, נתונים סודיים

מתי לאפשר (ולעודד!)

• B2B SaaS: כל ציטוט = lead פוטנציאלי
• e-commerce: AI ממליץ על מוצרים שלכם = מכירה
• שירותי ייעוץ: הופעה ב-AI = הוכחת מומחיות
• בלוגים מקצועיים: ציטוטים = backlinks + סמכות

הבוטים החשובים ב-2026

| Bot | מקור | מטרה | |-----|------|------| | GPTBot | OpenAI | ChatGPT search | | OAI-SearchBot | OpenAI | SearchGPT | | ChatGPT-User | OpenAI | תגובות בזמן אמת | | ClaudeBot | Anthropic | Claude AI | | PerplexityBot | Perplexity | Perplexity AI | | Google-Extended | Google | Gemini training | | Bytespider | ByteDance | TikTok / Doubao |

איך להגדיר נכון?

# robots.txt — דוגמה למודל "אפשר הכל, סמן מה לא"
User-agent: GPTBot
Allow: /
Disallow: /paid-content/
Disallow: /members-only/

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

פתרון אוטומטי

ב-GEO Foundation של SEOPUSH יש toggle אינטראקטיבי לכל crawler — בוחרים allow/disallow לפי קטגוריה, והמערכת בונה את robots.txt אוטומטית.

הטעות הכי גרועה

חסימה גורפת של כל ה-AI bots. זה השווה לחסימה של Googlebot — אתם בלתי-נראים לעידן החדש.

נכון לסוף 2026, אתרים שחוסמים GPTBot מאבדים בממוצע 18% מהתנועה האורגנית תוך 6 חודשים.