قام Gary Illyes من Google
بتحديث كتابته الأصلية على ميزانية الزحف مع
توضيح حول
عناوين disallowed URL .
يتضمن المستند الآن
المعلومات التالية:
هل تؤثر عناوين disallowed URLالتي أسمح بها
من خلال ملف robots.txt الزحف الخاصة بي
بأي طريقة؟
لا ، لا تؤثر عناوين disallowed URL على ميزانية الزحف.
"
يشير السؤال إلى
"وكيل المستخدم: *
Disallow: /" البروتوكول في ملف
robots.txt الذي يحظر برامج زحف الويب.
يمكن استخدامه إما لمنع
زحف موقع بأكمله ، أو يمكن استخدامه لمنع زحف عناوين URL محددة.
وفقًا للتحديث من Illyes ،
لن يؤثر حظر
عناوين User-agent: * Disallow: /” على الزحف في بقية
الموقع.
لن يتم الزحف إلى
الصفحات بشكل متكرر نتيجة لعدم السماح للصفحات الأخرى على
الموقع بالزحف.
لا يوجد مساوىء في استخدام disallowing URLs عندما يتعلق الأمر بالزحف
إلى الموقع او عدد العناكب.
اليك بعض المقالات الهامه :
