تحذر Google من استخدام رموز الحالة 403 أو 404 للحد من معدل زحف Googlebot

تحذر Google من استخدام الخطأ 404 وأخطاء حالة خادم العميل 4xx الأخرى ، مثل 403s ، بغرض محاولة تعيين حد معدل الزحف لبرنامج Googlebot. كتب Gary Illyes من فريق Google Search Relations: “من فضلك لا تفعل ذلك”.

لماذا الإشعار. كانت هناك زيادة حديثة في عدد المواقع وشبكات CDN التي تستخدم هذه الأساليب لمحاولة الحد من زحف Googlebot. “خلال الأشهر القليلة الماضية ، لاحظنا ارتفاعًا طفيفًا في مالكي مواقع الويب وبعض شبكات توصيل المحتوى (CDN) التي تحاول استخدام 404 وغيرها 4xx العميل أخطاء (ولكن ليس 429) لمحاولة تقليل معدل زحف Googlebot “، كتب Gary Illyes.

ماذا تفعل بدلا من ذلك. لدى Google مستند تعليمات تفصيلي يتعلق فقط بموضوع تقليل زحف Googlebot إلى موقعك. الطريقة الموصى بها هي استخدام إعدادات معدل الزحف في Google Search Console لضبط معدل الزحف الخاص بك.

أوضح Google ، “لتقليل معدل الزحف بسرعة ، يمكنك تغيير معدل زحف Googlebot في Search Console. تنعكس التغييرات التي تم إجراؤها على هذا الإعداد بشكل عام في غضون أيام. لاستخدام هذا الإعداد ، تحقق أولاً من ملكية موقعك. تأكد من تجنب تعيين معدل الزحف على قيمة منخفضة جدًا لاحتياجات موقعك. تعرف على المزيد حول ما تعنيه ميزانية الزحف لبرنامج Googlebot. إذا كانت إعدادات معدل الزحف غير متاحة لموقعك ، فقم بتقديم طلب خاص لتقليل معدل الزحف. لا يمكنك طلب زيادة في معدل الزحف “.

إذا لم تتمكن من القيام بذلك ، فستقول Google “قلل معدل الزحف لفترة قصيرة من الوقت (على سبيل المثال ، بضع ساعات ، أو يوم أو يومين) ، ثم تعرض صفحة خطأ إعلامية مع 500 أو 503 أو 429 رمز حالة استجابة HTTP “.

لماذا نهتم. إذا لاحظت وجود مشكلات في الزحف ، فربما قام موفر الاستضافة أو CDN بنشر هذه التقنيات مؤخرًا. قد ترغب في إرسال طلب دعم معهم لتظهر لهم مشاركة مدونة Google حول هذا الموضوع للتأكد من أنهم لا يستخدمون أخطاء 404 أو 403 لتقليل معدلات الزحف.