بالفهرسة. لدى الناشرين الذين يعتمدون على
التوجيه noindex الخاص بـ
robots.txt حتى 1 سبتمبر 2019 لإزالته والبدء في استخدام بديل.
ملف الروبوت Noindex غير رسمي
سبب عدم دعم توجيه noindex robots.txt هو أنه ليس توجيهًا رسميًا.
لقد دعمت جوجل في الماضي توجيه ملف
robots.txt ، لكن هذا لن يكون كذلك. خذ إشعارًا مناسبًا وتحكم على نفسك وفقًا لذلك.
جوجل في الغالب تستخدم
لتوجيه
Noindex التوجيه
مقالًا يشير إلى أن غوغل قد التزمت في الغالب بتوجيهات noindex لـ
robots.txt.
استنتاجهم في ذلك الوقت كان:
في نهاية المطاف ، فإن توجيه NoIndex في Robots.txt فعال إلى حد كبير. نجحت في 11 من أصل 12 حالة اختبرناها. قد يصلح لموقعك ، وبسبب كيفية تنفيذه ، يمنحك طريقًا لمنع الزحف إلى الصفحة وإزالته أيضًا من الفهرس.
هذا
مفيد جدا في المفهوم. ومع ذلك ، لم تظهر اختباراتنا
نجاحًا بنسبة 100 في المائة ، لذلك لا يعمل دائمًا.
هذا لم يعد هو الحال. لم يعد
توجيه noindex
robots.txt مدعومًا.
هذه هي تغريدة جوجل الرسمية:
اليوم نقول وداعًا للقواعد غير الموثقة وغير المدعومة في ملف robots.txtإذا كنت تعتمد على هذه القواعد ، فتعرف على خياراتك في منشور المدونة الخاص بنا.
هذا هو الجزء ذات الصلة من الإعلان:
حرصًا على الحفاظ على نظام بيئي صحي والإعداد لإصدارات مستقبلية مفتوحة المصدر محتملة ، فإننا نتقاعد عن جميع الكودات التي تتعامل مع قواعد غير مدعومة وغير منشورة (مثل noindex) في 1 سبتمبر 2019.
كيفية التحكم في الزحف؟
سرد منشور مدونة جوجل الرسمي خمس طرق للتحكم في الفهرسة:
1. Noindex in robots meta tags
2. 404 and 410 HTTP status codes
3.
حماية كلمة المرور
5.
البحث وحدة التحكم إزالة أداة URL
اقرأ الإعلان الرسمي لـ جوجل هنا:
اقرأ تغريدة جوجل الرسمية هنا
