في إعدادات بلوجر خانة صغيرة اسمها «ملف robots.txt مخصص». إن تركتها مطفأة، يكتب بلوجر ملفًا افتراضيًا معقولًا، ولا حاجة إلى أن تلمس شيئًا.
لكن فيه سطرًا يستحق أن تفهمه: Disallow: /search. هذا السطر يمنع جوجل من زحف صفحات البحث داخل المدونة، ويمنع معها صفحات التصنيفات، لأن رابطها يبدأ بـ /search/label/. صفحة مثل «أدوات مجانية» في هذه المدونة رابطها /search/label/أدوات مجانية.
قد يكون هذا ما تريده، وقد لا يكون. المهم أن تعرف قبل أن تعدّل. لذلك صنعت أداة تكتب الملف، ثم تختبر أي رابط عليه.
1. ما هو ملف robots.txt؟
ملف نصي في جذر الموقع، مثل example.com/robots.txt. فيه مجموعات، كل مجموعة تبدأ باسم زاحف (User-agent)، ثم قواعد: Disallow لما يُمنع زحفه، وAllow لما يُسمح به. وفي آخره سطر Sitemap برابط خريطة الموقع.
2. الأداة: جرّبها الآن
القالب الأول في القائمة هو قالب بلوجر. أضف قواعدك تحته إن شئت، ثم اكتب في «اختبر رابطًا» أي مسار من مدونتك.
3. قالب بلوجر، سطرًا سطرًا
- User-agent: Mediapartners-Google ثم Disallow: فارغة: زاحف إعلانات AdSense مسموح له بكل شيء. السطر الفارغ يعني «لا شيء ممنوع».
- Disallow: /search: صفحات البحث والتصنيفات ممنوعة على باقي الزواحف.
- Allow: /: كل ما عداها مسموح، ومنه المقالات والصفحات الثابتة.
جرّب /search/label/أدوات مجانية في الاختبار مع Googlebot. النتيجة: ⛔ ممنوع، والأداة تكتب لك القاعدة التي منعته ورقم سطرها. السبب أن جوجل يطبّق القاعدة الأطول: /search أطول من /.
إن أردت أن يزحف جوجل صفحات التصنيفات، أضف في خانة القواعد: Allow: /search/label/. أعد الاختبار، وسترى ✅ مسموح، لأن القاعدة الجديدة صارت الأطول.
وانتبه إلى المسار العربي: الأداة ترمّز الحروف العربية والمسافات في الرابط وفي القاعدة بالطريقة نفسها قبل المقارنة، فلا يفشل الاختبار لأن أحدهما مرمّز والآخر لا.
4. زواحف الذكاء الاصطناعي
في الأداة خمسة مربعات: GPTBot وClaudeBot وGoogle-Extended وCCBot وApplebot-Extended. كل مربع تختاره يضيف الزاحف إلى مجموعة تمنعه من الموقع كله. هذه الزواحف تجمع النصوص لتدريب نماذج الذكاء الاصطناعي، ومنعها لا يؤثر على ظهورك في بحث جوجل.
والقرار لك: بعض المدونين يريدون أن تصل نصوصهم إلى كل مكان، وبعضهم لا يريد أن يتدرّب نموذج على مقالاته دون إذن.
5. حدودها، بصراحة
- الملف يمنع الزحف، لا الظهور: صفحة ممنوعة قد تظهر في النتائج إن وجد جوجل روابط إليها. لإخفاء صفحة، استعمل noindex.
- الاختبار بقواعد جوجل: القاعدة الأطول تفوز، وعند التساوي تفوز Allow. محركات أخرى قد تقرأ الملف بطريقة مختلفة قليلًا.
- لا تقرأ ملفك الحقيقي من الإنترنت: لتختبره، افتح /robots.txt في مدونتك وانسخه، ثم ضع علامة على «اختبر ملفًا آخر» والصقه.
- الزواحف تختار أن تحترمه: الملف طلب مكتوب، لا قفل.
وحين تنتهي: في بلوجر، الإعدادات ← الزواحف والفهرسة ← ملف robots.txt مخصص، والصق الملف هناك. وفي موقع آخر، نزّل الملف بزر «نزّل» وارفعه إلى جذر الموقع.
💳 السعر والشراء
ملف robots.txt يحدد ما يزحفه جوجل في موقعك أنت. أما إن كنت تبيع خدمات السيو، فالسؤال هو: أي المواقع حولك تحتاج إلى من يصلحها؟ Site Audit يقرأ قائمة مواقع العملاء المستهدفين على حاسوبك بنظام Windows، ويجد نقاط ضعف كل موقع: بدون HTTPS، أو غير مهيأ للهواتف، أو صفحة رئيسية أبطأ من 3 ثوانٍ، أو بدون عنوان أو وصف، أو بدون استمارة أو زر واتساب. ويجد طرق التواصل مع صاحبه: صفحة التواصل والبريد والهاتف وواتساب. ثم يكتب لكل نقطة ضعف جملة جاهزة بالعربية والفرنسية والإنجليزية، تنسخها في رسالتك الأولى.
Site Audit: 29 دولارًا في السنة
سؤال قبل الشراء؟ راسلني على واتساب.
لا تعدّل إعدادًا لا تستطيع أن تختبره.
هل منعت زواحف الذكاء الاصطناعي من مدونتك، أم تركتها؟ ولماذا؟ أخبرني في التعليقات.
وما رأي جوجل في المحتوى الذي يكتبه الذكاء الاصطناعي نفسه؟ كتبت عن ذلك في أثر المحتوى المولّد بالذكاء الاصطناعي على السيو، وكل شهر أداة مجانية جديدة تصل المشتركين في النشرة أولًا.