תג noindex באתר: מתי מסתירים עמוד מגוגל ואיך

תג noindex באתר הוא הוראה שאומרת למנועי חיפוש לא להציג עמוד מסוים בתוצאות. כשגוגל סורק עמוד ומוצא בו את ההוראה, הוא מוריד את העמוד מתוצאות החיפוש, גם אם אתרים אחרים מקשרים אליו. זה הכלי הנכון לעמודים שצריכים להתקיים באתר אבל אין סיבה שמישהו יגיע אליהם מגוגל.

המדריך עובר על מה התג עושה, באילו עמודים משתמשים בו ובאילו לא, איך מוסיפים אותו, ההבדל בינו לבין robots.txt, הטעויות שגורמות לו לא לעבוד, ואיך בודקים שגוגל קרא אותו.

מה עושה תג noindex באתר?

תג noindex באתר אומר למנועי חיפוש שתומכים בו לא להכניס את העמוד לאינדקס, ולכן הוא לא יופיע בתוצאות. לפי ההנחיות של גוגל לחסימת אינדוקס עם noindex, כש-Googlebot סורק את העמוד ומחלץ את התג או את הכותרת, גוגל מוריד את העמוד לגמרי מתוצאות החיפוש, בלי קשר לשאלה אם אתרים אחרים מקשרים אליו. העמוד עצמו ממשיך לעבוד כרגיל לכל מי שמגיע אליו בקישור.

האם העמוד נמחק מהאתר?

לא. העמוד נשאר באוויר, הגולשים יכולים לפתוח אותו, והקישורים אליו עובדים. ההוראה משפיעה רק על מה שמנוע החיפוש מציג בתוצאות.

האם כל מנועי החיפוש מכבדים אותו?

גוגל מכבד אותו. גוגל עצמו מזהיר שמנועי חיפוש אחרים עשויים לפרש את ההוראה אחרת, ולכן העמוד עשוי עדיין להופיע אצלם.

באילו עמודים כדאי להשתמש ב-noindex?

בעמודים שצריכים להתקיים אבל לא נועדו להיות נקודת כניסה מגוגל: דף תודה אחרי שליחת טופס, תוצאות חיפוש פנימי באתר, עמודי בדיקה, עמודי התחברות, וגרסאות הדפסה. מה שמשותף להם הוא שגולש שמגיע אליהם ישר מתוצאות החיפוש לא יקבל שום דבר שימושי, ולפעמים אפילו יבלבל את המדידה.

למה דווקא דף תודה?

כי מי שמגיע אליו ישר מגוגל לא שלח טופס, והגעה כזו עלולה להיספר כפנייה. על המבנה והמדידה של דף כזה פירטנו במדריך לדף תודה באתר.

מה עם עמודי סינון בחנות?

בחנות עם הרבה שילובי סינון נוצרות כתובות רבות שכמעט זהות זו לזו. יש כמה דרכים לטפל בהן, ו-noindex הוא רק אחת מהן. פירטנו את האפשרויות במדריך לעמוד קטגוריה בחנות אינטרנט.

באילו עמודים אסור להשתמש ב-noindex?

בכל עמוד שאתם רוצים שלקוחות ימצאו בגוגל: עמוד הבית, עמודי שירות, עמודי מוצר, מאמרים ועמוד צור קשר. נשמע מובן מאליו, אבל הטעות הזאת קורית, בדרך כלל כשהגדרה של אתר בבנייה נשארת דלוקה אחרי העלייה לאוויר, או כשתבנית מעתיקה את התג לכל העמודים.

איך יודעים שזה קרה?

עמודים חשובים נעלמים מהתוצאות, ובדוח האינדוקס של Search Console הם מופיעים כעמודים שהוחרגו בגלל noindex. איך מגדירים את הכלי ומה רואים בו פירטנו במדריך להגדרת Search Console.

מה עם עמודים חלשים או ישנים?

לפני שמסתירים, בודקים אם אפשר לשפר, לאחד עם עמוד אחר או להפנות. הסתרה של עמוד שעונה על חיפוש אמיתי מוותרת על תנועה שהייתה יכולה להגיע.

איך מוסיפים תג noindex לעמוד?

יש שתי דרכים: תגית meta בחלק העליון של קוד העמוד, או כותרת x-robots-tag בתשובה של השרת. גוגל כותב שלשתיהן אותה השפעה, ושבוחרים את מה שנוח יותר לאתר ומתאים לסוג התוכן. בתגית, הנוסח הוא meta עם name="robots" ו-content="noindex", בתוך החלק head של העמוד.

מתי משתמשים בכותרת שרת?

כשהקובץ אינו עמוד HTML, למשל קובץ PDF, וידאו או תמונה. אין לקבצים כאלה מקום לתגית, ולכן ההוראה נשלחת בכותרת של התשובה מהשרת.

ואם האתר בנוי במערכת ניהול תוכן?

גוגל מציין שבמערכות כמו וורדפרס או וויקס אולי אין גישה ישירה לקוד, ושלרוב יש בהן הגדרות מנועי חיפוש שמוסיפות את התגית. בוורדפרס זה בדרך כלל עובר דרך תוסף הקידום, כפי שפירטנו במדריך לקידום אתר וורדפרס בגוגל.

מה ההבדל בין noindex לבין חסימה ב-robots.txt?

קובץ robots.txt שולט בסריקה, ותג noindex באתר שולט בהופעה בתוצאות. חסימה ב-robots.txt אומרת לסורק לא להיכנס, ולא בהכרח מסתירה את העמוד. גוגל כותב שאם העמוד חסום ב-robots.txt, הסורק לעולם לא יראה את תג ה-noindex, והעמוד עדיין יכול להופיע בתוצאות, למשל אם עמודים אחרים מקשרים אליו.

אפשר לכתוב noindex בתוך robots.txt?

לא. גוגל כותב במפורש שהוראת noindex בקובץ robots.txt לא נתמכת אצלו. ההוראה צריכה לשבת בעמוד או בכותרת השרת.

מתי בכל זאת חוסמים ב-robots.txt?

כשהמטרה היא לחסוך סריקה של אזורים שלא צריכים אותה, ולא להסתיר עמוד מהתוצאות. על הכללים בקובץ ועל מה לא לחסום פירטנו במדריך לקובץ robots.txt.

למה עמוד עם noindex עדיין מופיע בגוגל?

בדרך כלל כי גוגל עוד לא סרק את העמוד מאז שהתג נוסף. לפי ההנחיות של גוגל, תלוי בחשיבות העמוד, יכולים לעבור חודשים עד שהסורק חוזר אליו. סיבה שנייה היא חסימה ב-robots.txt שמונעת ממנו לראות את התג, וסיבה שלישית היא תג שלא באמת מגיע לסורק.

איך מזרזים?

גוגל מציין שאפשר לבקש סריקה מחדש בכלי בדיקת כתובת האתר ב-Search Console. כשצריך להוריד עמוד מהתוצאות מהר, יש לגוגל כלי הסרה נפרד.

מה זה תג שלא מגיע לסורק?

למשל גרסה שונה של העמוד שהשרת מחזיר לסורקים, או תג שתלוי בסקריפט שלא רץ כמו שציפיתם. לכן בודקים בכלי של גוגל את ה-HTML שהסורק קיבל בפועל, ולא רק את מה שרואים בדפדפן.

מה המשמעות של nofollow ו-none לצד noindex?

nofollow אומר לגוגל לא לעקוב אחרי הקישורים בעמוד, ו-none שווה ל-noindex ו-nofollow יחד. לפי המפרט של גוגל לתגית robots ולכותרת x-robots-tag, אם לא מציינים nofollow, גוגל עשוי להשתמש בקישורים שבעמוד כדי לגלות את העמודים שהם מובילים אליהם. ברוב המקרים בעמוד עסקי מספיק noindex לבד, כי אין סיבה למנוע מגוגל לגלות עמודים אחרים דרכו.

מה קורה כשיש שתי הוראות סותרות?

המפרט של גוגל קובע שבמקרה של הוראות סותרות, ההוראה המגבילה יותר היא זו שחלה. לכן כשבעמוד יש גם index וגם noindex, למשל מתוסף ומהתבנית, ה-noindex גובר גם אם אף אחד לא התכוון לזה.

האם יש הבדל בין אותיות גדולות לקטנות?

לא. לפי המפרט, גם שם התגית וגם הערכים בה אינם תלויים באותיות גדולות או קטנות.

האם noindex פותר תוכן כפול?

לפעמים, אבל ברוב המקרים יש כלי מתאים יותר. כשיש כמה גרסאות של אותו עמוד, תגית canonical מצביעה על הגרסה המועדפת, והפניה קבועה מאחדת עמודים שאין סיבה שיתקיימו בנפרד. תג noindex באתר מתאים כשהעמוד צריך להתקיים לגולשים, אבל אין סיבה שיופיע בתוצאות.

איך בוחרים בין שלושת הכלים?

עמוד מיותר מפנים לעמוד אחר. כפילות שצריכה להישאר מסמנים ב-canonical. ואם העמוד שימושי רק למי שכבר באתר, מוסיפים noindex. הסבר מלא על הבחירה נמצא במדריך לתוכן כפול ותגית canonical.

ומה עם שני מאמרים על אותו נושא?

זו בעיה של קניבליזציה, ובדרך כלל הפתרון הוא איחוד ולא הסתרה. פירטנו במדריך לקניבליזציה של מילות מפתח.

האם עמוד עם noindex צריך להופיע במפת האתר?

לא. מפת האתר היא רשימת העמודים שאתם מבקשים מגוגל לסרוק ולהכניס לאינדקס, ועמוד עם noindex אומר את ההפך. כשאותו עמוד נמצא בשני המקומות, האתר שולח לגוגל שתי הוראות סותרות. מפת אתר שנוצרת אוטומטית צריכה לדלג על עמודים כאלה בעצמה.

איך בודקים את זה?

משווים את רשימת הכתובות במפה לרשימת העמודים שמסומנים noindex. אם יש חפיפה, מתקנים את המחולל או את ההגדרה בתוסף. על מה צריך להיות במפה פירטנו במדריך למפת אתר XML.

ומה עם קישורים פנימיים?

קישור פנימי לעמוד עם noindex תקין לגמרי, כמו קישור לדף התחברות. התג משפיע על התוצאות, לא על הניווט באתר.

איך בודקים שגוגל ראה את תג ה-noindex?

בודקים בכלי בדיקת כתובת האתר ב-Search Console, שמראה את ה-HTML שגוגל קיבל כשסרק את העמוד. בנוסף, דוח האינדוקס מציג את כל העמודים שבהם גוגל מצא הוראת noindex. גוגל ממליץ על שתי הבדיקות האלה כדי לוודא שהתג מיושם נכון.

מה בודקים בדוח מדי פעם?

שהרשימה כוללת רק עמודים שהתכוונתם להסתיר. עמוד שירות או מאמר ברשימה הזאת הוא תקלה שצריך לתקן מיד.

איך בודקים בלי Search Console?

פותחים את מקור העמוד בדפדפן ומחפשים את המילה noindex. זו בדיקה ראשונה טובה, אבל היא לא מראה כותרות שרת, ולכן הכלי של גוגל מדויק יותר.

אילו טעויות נפוצות יש בשימוש ב-noindex?

הטעויות הנפוצות הן הגדרת אתר בבנייה שנשארה דלוקה אחרי ההשקה, noindex יחד עם חסימה ב-robots.txt, תג שנוסף לתבנית ועבר לכל העמודים, ועמוד מוסתר שעדיין מופיע במפת האתר. לכל אחת מהן אותה תוצאה: האתר אומר לגוגל משהו שונה ממה שבעל העסק חושב. בדיקה קצרה של תג noindex באתר אחרי כל השקה או החלפת תבנית תופסת את רובן.

מה בודקים אחרי השקה של אתר חדש?

שעמוד הבית ועמודי השירות לא מסומנים noindex, שקובץ robots.txt לא חוסם את כל האתר, ושמפת האתר כוללת רק עמודים שמיועדים לתוצאות. שלוש הבדיקות לוקחות כמה דקות.

מה עם תוספים שמוסיפים הוראות לבד?

תוסף קידום יכול לסמן סוגי עמודים שלמים, כמו עמודי תגיות או ארכיונים, בלי שמישהו שם לב. כדאי לעבור על ההגדרות שלו פעם אחת ולהחליט במודע מה מוסתר.

מה עושים אחרי שמסירים noindex מעמוד?

מוודאים שהתג הוסר באמת מכל הגרסאות של העמוד, מבקשים סריקה מחדש בכלי בדיקת הכתובת, ומוסיפים את העמוד למפת האתר. אחר כך נותנים זמן: גוגל צריך לסרוק את העמוד שוב לפני שיחזיר אותו לאינדקס, ואין מועד מובטח לזה.

למה העמוד לא חוזר מיד?

כי הסריקה מתבצעת לפי סדר עדיפויות של גוגל. בקשת סריקה עוזרת, אבל היא לא מבטיחה הכנסה מיידית לאינדקס.

מתי כדאי לבקש עזרה?

כשעמודים חשובים נעלמו ולא ברור למה, או כשיש באתר שילוב של noindex, הפניות ו-canonical שאף אחד כבר לא זוכר למה הוגדר. זה חלק מהבדיקה הטכנית בעבודת קידום אתרים.

תג noindex באתר הוא כלי פשוט עם כלל אחד חשוב: גוגל צריך להיות מסוגל לסרוק את העמוד כדי לראות אותו. משתמשים בו בדפי תודה, בחיפוש פנימי ובעמודים טכניים, לא בעמודים שאמורים להביא לקוחות. אחרי כל שינוי בודקים ב-Search Console שהרשימה של העמודים המוסתרים היא בדיוק מה שהתכוונתם.

אם עמודים נעלמו לכם מגוגל או שאתם לא בטוחים מה מוסתר באתר, פנו אלינו ונבדוק יחד.

שאלות נפוצות על תג noindex באתר