 |
| إنشاء ملف robots.txt بطريقة صحيحة |
مميزات ملف robot.txt
- تتمثل إحدى الميزات الرئيسية لملف robot.txt في قدرته على حظر عناوين URL معينة من الفهرسة بواسطة محركات البحث مثل Google و Bing. هذا يعني أنه إذا كانت هناك أي صفحات أو منشورات على موقعك لا تريدها أن تظهر في نتائج البحث ، فما عليك سوى إضافة عنوان URL الخاص بها في أمر Disallow داخل ملف robot txt (على سبيل المثال: User-agent: * Disallow: / private /). سيؤدي القيام بذلك إلى ضمان عدم قيام برامج الروبوت بالزحف إلى هذه الصفحات على الرغم من أنه لا يزال من الممكن الوصول إليها عبر الروابط المباشرة أو الإشارات المرجعية المحفوظة بواسطة المستخدمين الذين قاموا بزيارتها مسبقًا قبل حظرها باستخدام robot txt.
- ميزة أخرى مفيدة يتم تقديمها من خلال ملفات robot txt هي السماح بالتوجيهات التي تسمح بأجزاء صفحات معينة فقط أثناء حظر جميع الآخرين غير المحددين ضمن قائمتها (على سبيل المثال: User-agent: * Allow: / important_page /) هذا يسمح لنا بالتأكد من تلك المحددة فقط تظهر الأجزاء علنًا بينما تظل الأجزاء الأخرى مخفية خلف جدراننا حتى نقرر خلاف ذلك! أخيرًا ، يتوفر دعم خرائط المواقع من خلال robots txt أيضًا! إذا قام أحدهم بإنشاء خريطة موقع XML لمدونته ، فإن إضافة موقعه داخل robots txt يعطي لمحركات البحث إرشادات واضحة حول مكان العثور على المحتويات الجديدة وفهرستها بسرعة دون الحاجة إلى الزحف يدويًا إلى الموقع بأكمله في كل مرة. وهذا يضمن عدم ترك أي صفحة أثناء الفهرسة عملية وتحافظ على كل شيء بسلاسة! كما نوقش أعلاه ، يوفر robot txt العديد من الميزات عند استخدامه بشكل صحيح مما يتيح لنا تحكمًا أكبر في ما تتم فهرسته وما لا يجعل تحسين محركات البحث أسهل من أي وقت مضى.
خطوات إضافة ملف robots.txt فى بلوجر
أتبع الخطوات كما هو موضح بالصور:
أولاً: قم بالدخول الى لوحة تحكم بلوجر ومن ثم الدخول للإعدادات.
- قم بالضغط على زر "تفعيل محتوى ملف robots.txt مخصص".
- أضغط على "ملف robots.txt مخصص" كما يشير السهم فى الصورة بالأسفل.
ثالثاً:
- قم بلصق الكود فى المكان الذي يشير اليه السهم.
- بعد الإنتهاء قم بالضغط على حفظ.
⇤ الكود المشار إليه في الشرح ⇥
نسخ الكود
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://www.domain.com/sitemap.xml