קובץ robots.txt: מה זה, מה לשים בו ומה אסור לחסום

קובץ robots.txt הוא אחד הקבצים הקטנים ביותר באתר, ובכל זאת שורה אחת לא נכונה בו יכולה לגרום לגוגל להפסיק לסרוק חלקים שלמים מהאתר. רוב בעלי העסקים לא פתחו אותו אף פעם, וזה בדרך כלל בסדר, עד שמישהו מעתיק "קובץ מומלץ" מאתר אחר, או עד שאתר חדש עולה לאוויר עם הגדרה שנשארה מתקופת הפיתוח.

במדריך הזה אנחנו מסבירים מה הקובץ עושה ומה הוא לא עושה, איך קוראים אותו, מה כדאי לשים בו באתר של עסק קטן, ואיך מטפלים בסורקים של מנועי AI כמו ChatGPT ו-Gemini. זה חלק מהבדיקות הבסיסיות שאנחנו עושים בכל פרויקט SEO טכני, ואת רובן אפשר לעשות גם לבד.

בקצרה: robots.txt הוא קובץ טקסט בשורש הדומיין שאומר לסורקים לאילו כתובות מותר להם לגשת. הוא נועד לנהל סריקה, לא להסתיר עמודים: עמוד שחסום בו עדיין יכול להופיע בגוגל. באתר של עסק קטן הקובץ צריך להיות פשוט, לא לחסום CSS או JavaScript, ולכלול שורה שמצביעה על מפת האתר.

מה זה robots.txt

robots.txt הוא קובץ טקסט רגיל שיושב בכתובת קבועה: הדומיין שלכם ואחריו /robots.txt. לפני שסורק של מנוע חיפוש ניגש לעמודים באתר, הוא קורא את הקובץ הזה ובודק אילו נתיבים מותרים לו ואילו לא. לפי התיעוד של Google Search Central, הקובץ משמש בעיקר כדי לנהל את תעבורת הסורקים ולמנוע עומס על השרת.

כמה כללים בסיסיים שגוגל מפרטת בתיעוד הרשמי:

• שם הקובץ חייב להיות בדיוק robots.txt, ולכל אתר יש רק קובץ אחד כזה.
• הקובץ חייב לשבת בשורש של הדומיין, לא בתיקייה פנימית.
• הוא חל רק על הפרוטוקול, הדומיין והפורט שבהם הוא נמצא. תת דומיין כמו shop.example.co.il צריך קובץ משלו.
• הקובץ חייב להיות בקידוד UTF-8, ולכן כותבים אותו בעורך טקסט פשוט ולא במעבד תמלילים.
• גוגל קוראת עד 500 קילובייט מהקובץ ומתעלמת ממה שמעבר לזה.

כדי לראות את הקובץ של האתר שלכם, פשוט פתחו בדפדפן את הכתובת של האתר עם /robots.txt בסוף. אם מופיע עמוד שגיאה, אין לכם קובץ, וזה אומר שאין הגבלות סריקה בכלל.

מה הקובץ לא עושה: הטעות הנפוצה ביותר

הרבה אנשים חושבים ש-robots.txt הוא הדרך להוציא עמוד מגוגל. זה לא נכון, וגוגל כותבת את זה במפורש: הקובץ אינו מנגנון להרחקת עמוד מתוצאות החיפוש. אם יש קישורים לעמוד חסום מאתרים אחרים, גוגל עדיין יכולה להכניס את הכתובת לאינדקס, רק בלי תיאור, כי היא לא קראה את התוכן.

יש כאן גם מלכודת: אם חוסמים עמוד ב-robots.txt וגם שמים עליו תגית noindex, גוגל לא תראה את התגית, כי אסור לה לסרוק את העמוד. התוצאה עלולה להיות הפוכה ממה שרציתם.

עוד נקודה חשובה: הקובץ הוא בקשה, לא מנעול. גוגל וסורקים מוכרים אחרים מכבדים אותו, אבל גוגל עצמה מציינת שלא כל הסורקים חייבים לציית לו. כל נתיב שכתוב בקובץ גלוי לכל מי שפותח אותו, ולכן לא כדאי לרשום שם כתובות שאתם רוצים שאף אחד לא ידע עליהן.

איך קוראים קובץ robots.txt

הקובץ בנוי מקבוצות. כל קבוצה מתחילה בשורת User-agent שאומרת לאיזה סורק היא מיועדת, ואחריה כללים, כל כלל בשורה נפרדת.

הפקודות העיקריות

• User-agent: שם הסורק. כוכבית (*) פירושה כל הסורקים, חוץ מ-AdsBot של גוגל, שצריך לציין בשמו.
• Disallow: נתיב שאסור לסרוק. הנתיב מתחיל ב-/, ותיקייה מסתיימת ב-/. שורת Disallow ריקה פירושה שהכול מותר.
• Allow: מתיר נתיב מסוים בתוך תיקייה חסומה.
• Sitemap: כתובת מלאה של מפת האתר, כולל https.

דוגמה פשוטה:

User-agent: *
Disallow: /?s=
Disallow: /cart/

Sitemap: https://example.co.il/sitemap_index.xml

כללים שכדאי להכיר

• הכללים רגישים לאותיות גדולות וקטנות: /Folder/ ו-/folder/ הם שני נתיבים שונים.
• כשיש התנגשות בין Allow ל-Disallow, גוגל בוחרת את הכלל הספציפי יותר, כלומר זה עם הנתיב הארוך יותר. אם שניהם באותו אורך, היא בוחרת את הפחות מגביל.
• סורק מציית לקבוצה אחת בלבד, הספציפית ביותר שמתאימה לו. אם יש קבוצה ל-Googlebot וגם קבוצה לכוכבית, Googlebot יקרא רק את שלו.
• הסימן # פותח הערה, ושורות שהסורק לא מכיר פשוט נשמטות.
• גוגל לא תומכת בפקודות כמו crawl-delay או noindex בתוך הקובץ, אז אין טעם לכתוב אותן בשביל גוגל.

מה כדאי לשים בקובץ באתר של עסק קטן

באתר תדמית או אתר שירותים עם כמה עשרות עמודים, התשובה הכנה היא: כמעט כלום. גוגל לא תתקשה לסרוק אתר בגודל כזה, וכל חסימה מיותרת היא עוד מקום לטעות. מה שכן צריך:

1. שורת Sitemap שמצביעה על מפת האתר. זה עוזר לסורקים, כולל של מנועים אחרים, למצוא את כל העמודים.
2. לא לחסום קבצי CSS, JavaScript ותמונות שהעמוד צריך כדי להיראות כמו שצריך. גוגל מזהירה שחסימה של משאבים כאלה עלולה לפגוע ביכולת שלה להבין את העמוד.
3. חסימה של עמודים שאין להם ערך בחיפוש, רק אם יש הרבה כאלה: תוצאות חיפוש פנימי, עגלת קנייה, עמודי סינון שיוצרים אלפי כתובות.

באתרי וורדפרס עם Yoast SEO, למשל, הקובץ שנוצר כברירת מחדל לא חוסם שום דבר ורק מצביע על מפת האתר. זו נקודת פתיחה טובה ברוב המקרים. בחנויות גדולות ובאתרים עם מסננים, שבהם נוצרות אלפי כתובות כפולות, יש יותר הצדקה לכללים מפורטים.

סורקים של מנועי AI: GPTBot, OAI-SearchBot ו-Google-Extended

בשנים האחרונות נוספו לקובץ שאלות חדשות: האם לתת לסורקים של חברות AI לגשת לאתר? כאן חשוב להבין שיש סורקים שונים עם מטרות שונות, ושחסימה גורפת עלולה לעלות לכם בנראות.

המשמעות המעשית לעסק שרוצה שימליצו עליו בצ'אטים: אל תחסמו את OAI-SearchBot. אם יש לכם התנגדות לשימוש בתוכן לאימון מודלים, אפשר לחסום את GPTBot או את Google-Extended בנפרד, בלי לפגוע בהופעה בחיפוש. OpenAI מציינת שלוקח כ-24 שעות עד שהחיפוש שלה מתעדכן אחרי שינוי בקובץ.

robots.txt עונה על השאלה "מי מורשה לגשת". זה שונה מקובץ llms.txt, שמנסה לעזור למודלים להבין מה יש באתר. אלה שני קבצים שונים עם תפקידים שונים.

טעויות שראינו שוב ושוב

Disallow: / שנשאר מתקופת הפיתוח

זו הטעות הכי יקרה. בזמן בניית האתר חוסמים את כל האתר, ואז שוכחים להסיר את החסימה כשהאתר עולה. אם האתר החדש לא מופיע בגוגל אחרי כמה שבועות, זה אחד הדברים הראשונים לבדוק, יחד עם שאר הבדיקות במדריך למה האתר לא מופיע בגוגל.

חסימה של תיקיות שגוגל צריכה

העתקה של קובץ ישן מהאינטרנט יכולה לחסום תיקיות שמכילות קבצי עיצוב וסקריפטים. גוגל רואה אז עמוד שבור ולא את מה שהגולשים רואים.

שימוש בקובץ כדי "למחוק" עמוד

כמו שהסברנו, חסימה לא מוציאה עמוד מהאינדקס. אם רוצים להסיר עמוד, משתמשים ב-noindex, בהפניה או במחיקה.

שגיאת שרת בקובץ עצמו

לפי התיעוד של גוגל, אם הקובץ מחזיר שגיאת שרת (5xx), גוגל מפסיקה לסרוק את האתר ב-12 השעות הראשונות. לעומת זאת, שגיאת 404 נחשבת כמו "אין קובץ", כלומר אין הגבלות.

איך בודקים ומעדכנים את הקובץ

1. פתחו את הקובץ בחלון גלישה בסתר וודאו שהוא נטען ושאין בו Disallow: / תחת User-agent: *.
2. ב-Google Search Console יש דוח robots.txt שמראה איזו גרסה גוגל קראה, מתי, והאם היו שגיאות.
3. אחרי שינוי, זכרו שגוגל שומרת את הקובץ בזיכרון עד 24 שעות בדרך כלל, כך שהשינוי לא נקלט מיד.
4. באתר וורדפרס, אם אין קובץ פיזי בשרת, הקובץ נוצר אוטומטית. תוספים כמו Yoast מאפשרים לערוך אותו מתוך הממשק.
5. בדקו שוב אחרי כל מעבר אתר, החלפת תבנית או התקנת תוסף אבטחה, כי אלה המקרים שבהם הקובץ משתנה בלי שמישהו שם לב.

שאלות נפוצות

האם כל אתר חייב קובץ robots.txt?

לא. אם אין קובץ, גוגל פשוט מניחה שמותר לסרוק הכול. ובכל זאת כדאי שיהיה קובץ פשוט עם שורת Sitemap, כי הוא עוזר לסורקים למצוא את מפת האתר.

אם אחסום עמוד ב-robots.txt, הוא ייעלם מגוגל?

לא בהכרח. גוגל יכולה להמשיך להציג את הכתובת אם יש אליה קישורים, רק בלי תיאור. כדי להוציא עמוד מהתוצאות משתמשים בתגית noindex ומשאירים את העמוד פתוח לסריקה.

האם לחסום את GPTBot?

זו החלטה עסקית. חסימת GPTBot מסמנת ל-OpenAI לא להשתמש בתוכן לאימון מודלים, אבל לא מונעת הופעה בחיפוש של ChatGPT, שתלוי ב-OAI-SearchBot. עסק שרוצה שימליצו עליו בצ'אטים לא צריך לחסום את OAI-SearchBot.

כמה זמן לוקח לגוגל לראות שינוי בקובץ?

לפי גוגל, הסורקים שלה שומרים את הקובץ בדרך כלל עד 24 שעות. אחרי זה הגרסה החדשה נקלטת. בדוח robots.txt ב-Search Console אפשר לראות מתי הקובץ נקרא בפעם האחרונה.

האם robots.txt משפיע ישירות על הדירוג?

הקובץ לא נותן נקודות דירוג. ההשפעה שלו עקיפה: הוא קובע מה גוגל יכולה לסרוק. חסימה שגויה יכולה למנוע מעמודים חשובים להיסרק ולהופיע, וקובץ תקין פשוט לא מפריע.