קובץ robots.txt לאתר: מה כותבים בו ומה לא

קובץ robots.txt לאתר הוא קובץ טקסט קטן שאומר לסורקים של מנועי חיפוש לאילו כתובות באתר מותר להם לגשת. הוא משמש בעיקר כדי לנהל את התנועה של הסורקים, ולא כדי להסתיר עמודים. כשהוא כתוב נכון אף אחד לא שם לב אליו, אבל שורה אחת שגויה בו יכולה לחסום את האתר כולו.

המדריך מסביר מה הקובץ עושה ומה הוא לא עושה, איפה הוא צריך לשבת, איך קוראים את הכללים שבו, ומתי בכלל צריך לשנות אותו. בסוף יש רשימה של טעויות נפוצות ובדיקה קצרה שתוכלו לעשות בעצמכם, גם בלי ידע טכני.

מה זה קובץ robots.txt?

קובץ robots.txt הוא קובץ טקסט שיושב בשורש האתר ומכיל כללים לסורקים. לפי המבוא של גוגל לקובץ robots.txt, הקובץ אומר לסורקים של מנועי חיפוש לאילו כתובות באתר הם יכולים לגשת, והוא משמש בעיקר כדי לא להעמיס על האתר בבקשות. במילים אחרות, הוא שלט בכניסה ולא מנעול.

מי קורא את הקובץ?

סורקים של מנועי חיפוש, ובהם הסורק של גוגל, קוראים אותו לפני שהם סורקים את האתר. גם בוטים של שירותים אחרים קוראים אותו, כל אחד לפי השם שלו.

האם גולש רואה אותו?

גולש רגיל לא נתקל בו. אבל כל אחד יכול לפתוח אותו בדפדפן אם יוסיף robots.txt אחרי כתובת האתר, ולכן לא כותבים בו שום דבר סודי.

האם כל אתר צריך קובץ robots.txt?

לא חובה, אבל ברוב האתרים העסקיים כדאי שיהיה קובץ robots.txt לאתר, גם אם הוא קצר מאוד. אתר בלי קובץ כזה עדיין נסרק. הקובץ שימושי כשיש באתר אזורים שאין סיבה שסורקים יבזבזו עליהם זמן, כמו תוצאות חיפוש פנימיות או עמודי מערכת.

מה יש בקובץ של אתר קטן?

בדרך כלל כמה שורות בלבד: כלל כללי לכל הסורקים, אולי חסימה של תיקיית ניהול, ושורה שמפנה למפת האתר. על המפה עצמה יש הסבר במדריך למפת אתר XML.

מי יוצר את הקובץ?

מי שבונה את האתר. מערכות כמו וורדפרס יוצרות קובץ בסיסי לבד, ובאתר שנבנה בקוד הקובץ נכתב ידנית ומועלה לשרת.

האם robots.txt מסתיר עמוד מגוגל?

לא. גוגל כותב במפורש שהקובץ אינו דרך להשאיר עמוד מחוץ לגוגל. לפי אותו מבוא, כתובת שחסומה בקובץ עדיין יכולה להופיע בתוצאות אם יש אליה קישורים ממקומות אחרים ברשת, ואז ייתכן שתופיע הכתובת עצמה, ולצידה מידע ציבורי כמו טקסט הקישורים אליה.

אז איך משאירים עמוד מחוץ לתוצאות?

לפי גוגל, משתמשים בתג noindex, מגינים על העמוד בסיסמה, או מוחקים אותו. דוגמה טובה היא דף תודה אחרי טופס, שמסומן בדרך כלל ב-noindex. ההסבר המלא נמצא במדריך לדף תודה באתר.

למה לא לחסום וגם לסמן noindex?

כי אם הסורק חסום, הוא לא נכנס לעמוד ולא רואה את התג. לכן עמוד שרוצים להוציא מהתוצאות צריך להיות פתוח לסריקה, כדי שגוגל יוכל לקרוא את ההוראה שבו.

איפה צריך לשבת קובץ robots.txt?

בשורש האתר בלבד, בכתובת כמו example.co.il/robots.txt. לפי המדריך של גוגל ליצירת קובץ robots.txt, לאתר יכול להיות רק קובץ אחד כזה, והוא חייב להיקרא בדיוק robots.txt. קובץ שיושב בתיקייה פנימית לא נחשב, כאילו אין קובץ בכלל.

מה עם תת דומיין?

לפי גוגל, הקובץ חל רק על הפרוטוקול, הדומיין והפורט שבהם הוא יושב. תת דומיין כמו shop.example.co.il צריך קובץ משלו.

באיזה קידוד שומרים אותו?

בקידוד UTF-8. לפי המדריך, גוגל עלול להתעלם מתווים שאינם בטווח הזה, וכך כלל שלם יכול להפסיק לעבוד.

איך קוראים את הכללים בקובץ robots.txt לאתר?

כל קבוצה של כללים מתחילה בשורת User-agent שאומרת למי הכלל מיועד, ואחריה שורות Disallow או Allow. כוכבית בשורת User-agent פירושה כל הסורקים, ולפי גוגל חוץ מסורקי AdsBot שצריך לציין בשמם. Disallow עם נתיב פירושו לא להיכנס לנתיב הזה, ו-Allow פותח חלק מתוך נתיב חסום. מי שקורא את הקובץ בפעם הראשונה צריך בעיקר את שלוש המילים האלה.

מה ההבדל בין Disallow: / לבין Disallow: ריק?

הלוכסן לבדו חוסם את כל האתר. שורת Disallow בלי שום נתיב לא חוסמת כלום. ההבדל הוא תו אחד, ולכן זו הטעות המסוכנת ביותר בקובץ.

האם יש משמעות לאותיות גדולות?

כן. לפי המדריך של גוגל, הכללים רגישים לאותיות גדולות וקטנות, ולכן כלל על /File לא חל על /file.

מה כדאי לחסום ומה לא?

חוסמים רק אזורים שאין להם ערך לגולש בתוצאות החיפוש, ולא חוסמים את מה שהעמודים צריכים כדי להיראות. אזור ניהול, תוצאות חיפוש פנימיות ועגלת קניות הם מועמדים טבעיים. קובצי CSS, סקריפטים ותמונות של העמודים צריכים להישאר פתוחים, כי בלעדיהם הסורק לא רואה את העמוד כמו שגולש רואה אותו.

מה עם עמודים כפולים?

חסימה בקובץ היא לא הפתרון לתוכן כפול, כי היא מונעת מגוגל לראות איזה עמוד הוא המקור. הדרכים הנכונות מוסברות במדריך לתוכן כפול באתר.

ומה עם עמוד שכבר לא קיים?

עמוד שנמחק מחזיר שגיאה 404 או מפנה לעמוד חלופי. אין צורך לחסום אותו בקובץ. איך עמוד 404 טוב נראה מוסבר במדריך לעמוד 404.

מה כותבים בשורת Sitemap?

כותבים את הכתובת המלאה של מפת האתר, כולל https והדומיין. לפי המדריך של גוגל, הכתובת חייבת להיות מלאה, וגוגל לא מנחש לבד גרסאות עם www או בלי. השורה הזו היא דרך פשוטה לעזור לסורקים למצוא את המפה, גם אם הגשתם אותה ב-Search Console.

האם אפשר לכתוב כמה מפות?

כן, שורה לכל מפה. באתר עם מפה נפרדת לבלוג ולחנות, כל אחת מהן מקבלת שורה משלה.

איפה עוד מגישים את המפה?

ב-Search Console, בדוח מפות האתר. איך מחברים את הכלי ומה רואים בו מוסבר במדריך להגדרת Search Console.

האם קובץ robots.txt לאתר משפיע על מנועי AI?

כן, אם הוא חוסם אותם. לשירותי AI רבים יש סורקים עם שם משלהם, וקובץ robots.txt לאתר שחוסם את השם הזה מונע מהסורק לקרוא את העמודים. לכן לפני שמוסיפים חסימה כללית לבוטים של AI, כדאי להבין אילו מהם מביאים את האתר לתשובות שאנשים קוראים.

האם לחסום את כולם ליתר ביטחון?

זו החלטה עסקית ולא טכנית. עסק שרוצה שיצטטו אותו בתשובות של מנועי AI צריך להשאיר את הסורקים שלהם פתוחים. על כך יש פרק במדריך לקידום אתרים במנועי AI.

האם כל בוט מכבד את הקובץ?

לא בהכרח. הקובץ הוא בקשה, ובוטים שלא מכבדים אותה פשוט מתעלמים ממנו. מי שצריך הגנה אמיתית על תוכן משתמש בסיסמה.

אילו טעויות נפוצות יש בקובץ robots.txt לאתר?

הטעות המוכרת ביותר היא Disallow: / שנשאר מאתר בפיתוח ועבר לאתר החי. טעויות נוספות הן חסימה של תיקיות CSS או תמונות, קובץ שיושב בתיקייה הלא נכונה, וניסיון להסתיר עמוד רגיש דרך הקובץ במקום להגן עליו. כל אחת מהן נראית תמימה, ולכן כדאי לבדוק את הקובץ אחרי כל שינוי גדול באתר.

מתי זה קורה בדרך כלל?

בהעלאה של אתר חדש, במעבר בין שרתים ובשינוי מערכת. ברשימת הבדיקות אחרי מעבר כדאי שתהיה שורה על הקובץ, כמו שמוסבר במדריך להעברת אתר לאחסון חדש.

מה עם הגדרה בוורדפרס?

בוורדפרס יש הגדרה שמבקשת ממנועי חיפוש לא לאנדקס את האתר, ולפעמים היא נשארת דלוקה אחרי ההשקה. עוד בדיקות כאלה יש במדריך לקידום אתר וורדפרס בגוגל.

איך בודקים שהקובץ תקין?

הבדיקה הראשונה פשוטה: פותחים חלון גלישה פרטית ומקלידים את כתובת האתר עם robots.txt בסוף. לפי המדריך של גוגל, אם רואים את תוכן הקובץ, הוא נגיש לציבור. אחר כך קוראים את השורות ובודקים שאין Disallow: / תחת כוכבית, ושכתובת מפת האתר נכונה.

איך יודעים אם גוגל נתקל בבעיה?

ב-Search Console יש דוח על קובצי robots.txt שגוגל מצא, ובדוח הדפים אפשר לראות כתובות שנחסמו. עלייה פתאומית בכתובות חסומות היא סימן לבדוק את הקובץ.

כל כמה זמן בודקים?

אחרי כל שינוי מבנה באתר, ופעם ברבעון כחלק מהבדיקה השוטפת. בדיקה כזו כלולה במדריך לתחזוקת אתר.

מה ההבדל בין robots.txt, noindex ו-canonical?

שלושתם מדברים עם גוגל, אבל כל אחד עונה על שאלה אחרת. הקובץ עונה על השאלה לאן מותר לסורק להיכנס. תג noindex בעמוד עונה על השאלה אם להכניס את העמוד לתוצאות. תג canonical עונה על השאלה איזו גרסה היא המקור כשיש כמה עמודים דומים.

איך יודעים במה להשתמש?

שואלים מה הבעיה. עומס של סורקים על אזור חסר ערך פותרים בקובץ. עמוד שלא צריך להופיע בתוצאות מסמנים ב-noindex. שתי גרסאות של אותו עמוד מחברים ב-canonical.

האם אפשר לשלב ביניהם?

כן, בתנאי שהם לא סותרים זה את זה. עמוד עם noindex או canonical צריך להישאר פתוח לסריקה, אחרת גוגל לא יקרא את התג שבו.

מתי כדאי לשנות קובץ robots.txt קיים?

כשמשהו באתר משתנה: אזור חדש שאין טעם לסרוק, מעבר למערכת אחרת, או מפת אתר בכתובת חדשה. אם האתר עובד ומופיע בגוגל כרגיל, אין סיבה לגעת בקובץ. שינוי בלי סיבה ברורה הוא הדרך הקצרה לחסום משהו בטעות.

מי צריך לעשות את השינוי?

מי שמבין את מבנה האתר, ובדרך כלל מי שבנה אותו. לפני כל שינוי שומרים עותק של הקובץ הקודם, כדי שאפשר יהיה לחזור אליו.

מה בודקים אחרי שינוי?

שהקובץ נפתח בדפדפן, שהעמודים החשובים לא נחסמו, ושבימים הבאים אין עלייה בכתובות חסומות ב-Search Console. רשימת בדיקות רחבה יותר יש בצ'קליסט קידום אתרים לעסק קטן.

קובץ robots.txt לאתר הוא שלט שמכוון סורקים, ולא מנעול. הוא יושב בשורש האתר, מכיל כמה כללים פשוטים ושורה למפת האתר, והוא לא מסתיר עמודים מגוגל. מי שמכיר את שלוש המילים User-agent, Disallow ו-Allow ובודק את הקובץ אחרי כל שינוי גדול, נמנע מהטעויות שעולות הכי ביוקר.

אם אתם רוצים שמישהו יבדוק את הקובץ ואת שאר ההגדרות הטכניות באתר, הפרטים בעמוד קידום אתרים.

שאלות נפוצות על קובץ robots.txt