מה זה robots.txt?
קובץ robots.txt הוא קובץ טקסט פשוט שנמצא בתיקיית השורש של האתר (לדוגמה: /robots.txt) ומשמש כדי להנחות בוטים של מנועי חיפוש אילו דפים מותר או אסור להם לסרוק.
- ✅ זהו השער הראשוני לבוטים כמו Googlebot, Bingbot ו־GPTBot
- ✅ הגדרה נכונה מאפשרת לך שליטה מלאה על הנראות
- ✅ טעות בו – עלולה לחסום את כל האתר מתוצאות חיפוש
איך נראה קובץ robots.txt בסיסי תקין?
User-agent: *
Disallow:
Allow: /
Sitemap: https://yourdomain.com/sitemap.xmlהסבר:
User-agent: *➜ מתייחס לכל הבוטיםDisallow:➜ שורה ריקה = כל האתר פתוח לסריקהSitemap:➜ חשוב להוסיף כדי לעזור לבוטים להבין את מבנה האתר
טעויות נפוצות
- ❌ חסימת כל האתר בטעות:
User-agent: *
Disallow: /- ❌ שכחת להוסיף קובץ בכלל
- ❌ חוסר ב־Sitemap
- ❌ אי־הוספת יוצאי דופן (Disallow לדפים פנימיים רגישים כמו /wp-admin/ בלבד)
איך זה משפיע על GPT ו־AI?
בוטים כמו GPTBot (של OpenAI) ו־CCBot סורקים אתרים לפי תנאים שכתובים בקובץ robots.txt. אם אתה חוסם אותם, הם לא יכולים לקרוא את התוכן שלך – ואתה לא תופיע ב־ChatGPT או ב־AI Search.
כדי לאפשר ל־GPT לסרוק אותך, ודא שיש:
User-agent: GPTBot
Allow: /או פשוט:
User-agent: *
Allow: /איך לבדוק שהקובץ שלך תקין?
- גש לכתובת:
https://yourdomain.com/robots.txt - ודא שהקובץ לא חוסם גישה גורפת
- השתמש בכלי הבדיקה של Google Search Console ➜ Robots Testing Tool
רוצה שנבדוק אם הקובץ שלך תקין ופתוח ל־GPT?
שלח הודעה לייעוץ או הפעל את הכלי שלנו וראה אם מופיע "✅ robots.txt קיים ונגיש לבוטים".