מפת אתר לא עובדת? כך תמצא את הבעיה ותתקן אותה

מפת אתר (sitemap) היא קובץ XML שמרכז את הכתובות שאתה רוצה שגוגל יכיר. אם Search Console מציג שגיאה, אם הכתובת של הקובץ מחזירה 404, או אם העמודים שרשומים בו לא נכנסים לאינדקס, הבעיה נמצאת כמעט תמיד באחד מכמה מקומות קבועים: הכתובת שהגשת, התוסף שמייצר את הקובץ, הגדרה שחוסמת גישה, או התוכן של הקובץ עצמו.

לפני שמתחילים, כדאי לדעת שלפי גוגל הגשה של מפת אתר היא רמז בלבד. היא לא מבטיחה שגוגל יוריד את הקובץ או ישתמש בו לסריקה, ובטח שלא שכל עמוד ברשימה ייכנס לאינדקס. לכן כשמשהו לא עובד, עוברים על הבדיקות שלמטה לפי הסדר, מהפשוטה ועד המורכבת. ואם אתה עובד גם על המבנה הפנימי של האתר, כלי משלים הוא פירורי לחם קידום אתרים, שעוזרים לגוגל להבין את ההיררכיה בין הדפים.

מאז גרסה 5.5 וורדפרס מייצר מפת אתר XML בעצמו, בלי תוסף, בכתובת /wp-sitemap.xml. זה קובץ אינדקס שמפנה לקבצי משנה לפי סוגי תוכן: עמודים, פוסטים, קטגוריות, עמודי כותבים ועוד. תוספי SEO מייצרים קובץ משלהם. ב-Yoast SEO וב-Rank Math הכתובת היא /sitemap_index.xml, ו-Yoast מכבה את הקובץ המובנה של וורדפרס.

כברירת מחדל, הקובץ המובנה של וורדפרס כולל את כל סוגי התוכן והטקסונומיות הציבוריים, את עמודי הכותבים ואת דף הבית. אם יש לך סוג תוכן מותאם שמוגדר כציבורי, הוא ייכנס לרשימה גם אם לא התכוונת לכך, ולכן שווה לבדוק את זה.

הבדיקה הראשונה היא לפתוח בדפדפן את שתי הכתובות על הדומיין שלך. אחת מהן אמורה להציג רשימה של קבצי משנה. אם שתיהן מחזירות 404, עוברים לשלב הבא.

אם אחת מהן עובדת, צריך להחליט איזה קובץ הוא הרשמי ולהגיש ל-Search Console רק אותו. אם מותקן אצלך תוסף SEO שמייצר מפת אתר, מגישים את הקובץ שלו.

יש כמה סיבות מתועדות לכך שהקובץ לא נטען:

• ההגדרה Discourage search engines from indexing this site מסומנת. התיבה נמצאת ב-Settings > Reading. לפי התיעוד של וורדפרס, כשהיא מסומנת, הקובץ המובנה מכובה והכתובת שלו מחזירה 404, ובנוסף מתווספת לכל עמוד תגית noindex. כדי לתקן, מורידים את הסימון ושומרים.
• כללי השכתוב לא מעודכנים. התיעוד של Rank Math ממליץ, כשהכתובת מחזירה 404, להיכנס ל-Settings > Permalinks וללחוץ Save Changes בלי לשנות דבר. הפעולה הזו מרעננת את כללי השכתוב של וורדפרס.
• תוסף מטמון. באותו תיעוד יש המלצה להחריג את כתובת הקובץ מתוסף המטמון, כי קובץ שנשמר במטמון בזמן תקלה ממשיך להיות מוגש שבור גם אחרי שהתקלה תוקנה.
• קובץ פיזי בשרת. אם בתיקייה הראשית של האתר יושב קובץ ישן בשם sitemap.xml או sitemap_index.xml, הוא יכול להתנגש עם הקובץ שהתוסף מייצר. Yoast ממליץ למחוק קבצים כאלה דרך FTP ולכבות תוספי מפות אחרים.
• עמוד ריק לגמרי. לפי Rank Math, כשמקור העמוד ריק, מדובר בדרך כלל בהתנגשות עם תוסף אחר או עם התבנית. כדי למצוא את האשם מכבים תוספים אחד אחד בסביבת בדיקה.

בדוח Sitemaps כל קובץ שהגשת מקבל סטטוס: Success, Has errors או Couldn't fetch. הסטטוס Couldn't fetch אומר שגוגל לא הצליח להוריד את הקובץ. גוגל מונה לזה כמה סיבות אפשריות:

• הקובץ חסום ב-robots.txt.
• יש על האתר פעולה ידנית (Manual action) שלא טופלה.
• הכתובת שהוגשה שגויה ומחזירה 404.
• השרת לא היה זמין.
• ביקוש נמוך לסריקת הקובץ.

קודם בודקים שהכתובת שהגשת זהה לכתובת האמיתית, כולל https, עם או בלי www, ובלי שגיאת כתיב. אחר כך מריצים את כלי בדיקת הכתובות (URL Inspection) על כתובת הקובץ, כמו שגוגל ממליץ לעשות לפני הגשה, ורואים אם Googlebot מצליח לגשת אליו.

אם הכתובת נכונה והקובץ נפתח בדפדפן, אבל גוגל לא מצליח להגיע אליו, בודקים את ה-robots.txt, ואז את כל מה שיושב בין גוגל לשרת: תוסף אבטחה, חומת אש של חברת האחסון, או הגדרות אבטחה ב-Cloudflare אם אתה משתמש בו. מה שמחפשים הוא כלל שחוסם בוטים או את הנתיב של הקובץ.

כשהסטטוס הוא Has errors, גוגל הצליח להוריד את הקובץ אבל מצא בו שגיאה אחת או יותר. לפי גוגל, הכתובות שכן נקראו בלי שגיאה נכנסות לתור הסריקה, כך שזה לא מצב של הכול או כלום. לחיצה על הקובץ בדוח Sitemaps מציגה את פירוט השגיאות.

אחת הסיבות היא גודל. לפי התיעוד של גוגל, קובץ אחד מוגבל ל-50,000 כתובות או ל-50MB לא דחוסים. באתר גדול מזה מפצלים את הרשימה לכמה קבצים ומגישים קובץ אינדקס אחד שמפנה אליהם. וורדפרס עושה את זה אוטומטית, וכל קובץ משנה שלו מוגבל כברירת מחדל ל-2,000 כתובות.

יש גם סיבה נדירה יותר: הקובץ המובנה של וורדפרס דורש את הרחבת ה-PHP בשם SimpleXML, ובלעדיה הכתובת מחזירה קוד 501. אם זה המצב, צריך לפנות לחברת האחסון.

לפעמים מותקנים שני תוספים שכל אחד מהם מייצר מפת אתר, או שהוגשו ל-Search Console גם הקובץ של וורדפרס וגם הקובץ של התוסף. לפי התמיכה של Rank Math, מצב שבו שני הקבצים קיימים במקביל יוצר בעיקר בלבול בדוחות, ולא בעיית SEO. הם מציינים שגוגל מציג רק את המקור שממנו גילה כתובת בפעם הראשונה.

כדי לעשות סדר, משאירים תוסף SEO אחד, מגישים רק את הקובץ שלו, ומסירים מהדוח Sitemaps קבצים ישנים שכבר לא בשימוש. אם אתה רוצה לכבות את הקובץ המובנה של וורדפרס לגמרי, התמיכה של Rank Math מציעה להוסיף לקובץ functions.php של תבנית הבת את השורה הבאה:

זה המצב המתסכל ביותר, ובדרך כלל הבעיה כבר לא בקובץ. כדאי להיכנס לדוח הוספת הדפים לאינדקס (Page indexing) ב-Search Console, לסנן לפי הקובץ שהגשת, ולקרוא את הסיבה שגוגל נותן לכל קבוצת עמודים.

• עמוד שמסומן noindex לא ייכנס לאינדקס, וגם כתובת שמפנה לכתובת אחרת (Page with redirect) לא תיכנס. Yoast מוציא מהקובץ באופן אוטומטי עמודים שמסומנים noindex, כך שאם אתה רואה ברשימה כתובות כאלה, כדאי לבדוק מאיפה הן מגיעות. ואם יש הרבה כתובות כאלה במפת האתר, ייתכן שיש לך גם קישורים שבורים באתר עצמו, ששווה למצוא ולתקן בנפרד.
• אם הסיבה היא Crawled - currently not indexed או Discovered - currently not indexed, הבעיה לרוב בעמוד עצמו או בקישורים הפנימיים אליו. על זה הרחבתי במאמר למה האתר שלי לא מופיע בגוגל.

גוגל גם כותב במפורש שהוא מתעלם מהשדות <priority> ו-<changefreq>, ומשתמש ב-<lastmod> רק כשהוא מדויק באופן עקבי. כך שאין טעם לשנות עדיפויות בקובץ כדי לדחוף עמוד.

יש שתי דרכים להודיע לגוגל על הקובץ, ואפשר להשתמש בשתיהן:

1. בדוח Sitemaps ב-Search Console: מדביקים את הכתובת בשדה Add a new sitemap ולוחצים Submit.
2. בקובץ robots.txt: מוסיפים שורת Sitemap עם כתובת מלאה, כולל פרוטוקול ודומיין. אפשר להוסיף כמה שורות כאלה, וגוגל, Bing ומנועי חיפוש גדולים אחרים תומכים בהן.

לפני ההגשה בדוח, גוגל ממליץ לוודא שהקובץ נגיש, למשל עם URL Inspection. אחרי ההגשה כדאי לחזור לדוח מאוחר יותר ולבדוק את הסטטוס של מפת האתר. Success אומר שהקובץ נקרא בלי שגיאות, וכל סטטוס אחר מחזיר אותך לשלבים 3 ו-4.

אם עברת על כל השלבים והדוח עדיין מציג Couldn't fetch, אם אתה לא בטוח איזה כלל בשרת או בחומת האש חוסם את הגישה, או אם הקובץ נשבר בגלל התנגשות בין תוספים שאתה לא מצליח לאתר, זה המקום לעצור. שינויים בחומת אש, בכללי השרת או בקוד של התבנית יכולים להפיל את האתר, ועדיף שמי שנוגע בהם יודע גם לחזור אחורה. ואם העמודים כבר באינדקס אבל לא מתקדמים, הבעיה כבר לא טכנית, ועל זה כתבתי במאמר איך לשפר דירוג בגוגל מהר. השאלה הבאה אחרי שהעמודים נכנסים היא כמה כניסות הם מביאים בפועל, ועל זה כתבתי מדריך נפרד: כמות כניסות לאתר ואיך קוראים את המספר נכון.

המדריך הרשמי של גוגל ליצירה ולהגשה של הקובץ נמצא באתר Google Search Central. ואם ניסית לבד ולא הצלחת, דבר איתי ואני אטפל בזה.