Best Custom Robots.txt File for Blogger/Blogspot

ब्लॉगिंग कोई भी कर सकता है — यह मजेदार है! लेकिन अगर आप पेशेवर ब्लॉगिंग में आना चाहते हैं, तो आपको सर्च इंजन ऑप्टिमाइजेशन से संबंधित कुछ तकनीकी विवरणों को सीखना होगा। नए ब्लॉगर अक्सर ब्लॉगर/ब्लॉगस्पॉट पर सामग्री पोस्ट करके अपनी ब्लॉगिंग यात्रा शुरू करते हैं। इन प्लेटफार्मों पर एक कस्टम robots.txt फ़ाइल को सक्षम करना बहुत महत्वपूर्ण है। अक्सर लोग पूछते हैं कि उनके ब्लॉग के लिए सबसे अच्छी कस्टम robots.txt सेटिंग क्या होगी। आइए आज यह सब सीखते हैं!

Robots.txt एक साधारण टेक्स्ट फ़ाइल है जो वेब क्रॉलर को सूचित करती है (जिसे के रूप में भी जाना जाता है) मकड़ियों या बॉट) वेबसाइट या ब्लॉग के किन हिस्सों को क्रॉल करना है और किन हिस्सों को क्रॉल नहीं करना है।

Robots.txt फ़ाइल क्यों महत्वपूर्ण है?

खैर, किसी भी पेशेवर ब्लॉग की सफलता आमतौर पर इस बात पर निर्भर करती है कि Google सर्च इंजन आपके ब्लॉग को कैसे रैंक करता है। हम अपनी वेबसाइट संरचना में कई पोस्ट/पेज/फाइल/निर्देशिका स्टोर करते हैं। अक्सर हम नहीं चाहते कि Google इन सभी घटकों को अनुक्रमित करे। उदाहरण के लिए, आपके पास आंतरिक उपयोग के लिए एक फ़ाइल हो सकती है – और यह खोज इंजन के लिए किसी काम का नहीं है। आप नहीं चाहते कि यह फ़ाइल खोज परिणामों में दिखाई दे। इसलिए, ऐसी फाइलों को सर्च इंजन से छिपाना ही समझदारी है।

robots.txt फ़ाइल इसमें ऐसे निर्देश होते हैं जिनका सभी शीर्ष खोज इंजन सम्मान करते हैं। इन निर्देशों का उपयोग करके आप वेब स्पाइडर को अपनी वेबसाइट/ब्लॉग के कुछ हिस्सों को अनदेखा करने के निर्देश दे सकते हैं।

ब्लॉगर/ब्लॉगस्पॉट के लिए कस्टम Robots.txt

चूंकि ब्लॉगर/ब्लॉगस्पॉट एक निःशुल्क ब्लॉगिंग सेवा है, इसलिए आपके ब्लॉग का robots.txt सीधे आपके नियंत्रण में नहीं था। लेकिन अब ब्लॉगर ने बदलाव करना और प्रत्येक ब्लॉग के लिए कस्टम रोबोट्स.txt बनाना संभव बना दिया है। किसी ब्लॉगर/ब्लॉगस्पॉट ब्लॉग के लिए Robots.txt आमतौर पर इस तरह दिखता है:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: 

ब्लॉगर/ब्लॉगस्पॉट पर कस्टम robots.txt फ़ाइल जोड़ें

• अपने ब्लॉगर डैशबोर्ड पर जाएँ
• खुला हुआ समायोजन > खोज वरीयताएँ > क्रॉलर और अनुक्रमण > कस्टम robots.txt > संपादन करना > हाँ
• यहां आप robots.txt फ़ाइल में बदलाव कर सकते हैं
• परिवर्तन करने के बाद, क्लिक करें परिवर्तनों को सुरक्षित करें बटन

 

मौजूदा कस्टम Robots.txt फ़ाइल देखें

अपने ब्लॉग के लिए मौजूदा कस्टम robots.txt देखने के लिए, निम्न URL पर जाएं:

http://www.आपका ब्लॉग.blogspot.com/robots.txt

कहने की जरूरत नहीं है, कृपया बदलें आपका ब्लॉग आपके ब्लॉग के नाम के साथ।

कस्टम Robots.txt फ़ाइल की व्याख्या

Custom Robots.txt फ़ाइल में कई सरल निर्देश हैं। यहां इन निर्देशों की मूल व्याख्या दी गई है ताकि आप अपनी फ़ाइल में सूचित परिवर्तन कर सकें।

वाइल्डकार्ड

निम्नलिखित वाइल्डकार्ड वर्ण अक्सर robots.txt फ़ाइलों में उपयोग किए जाते हैं।

* मतलब सब, सब कुछ

/ मतलब रूट डायरेक्टरी

उपभोक्ता अभिकर्ता

यह निर्देश उन वेब क्रॉलर को इंगित करता है जिन पर robots.txt की सेटिंग लागू होंगी।

अनुमति न दें

यह वेब क्रॉलर को निर्देशित निर्देशिका या फ़ाइल को क्रॉल नहीं करने का निर्देश देता है। उदाहरण के लिए

अस्वीकार करें: / वेब क्रॉलर को आपके ब्लॉग में कुछ भी क्रॉल न करने के लिए कहेगा (क्योंकि आप रूट निर्देशिका को अस्वीकार कर रहे हैं)।

अस्वीकृत करें: /दिर/* वेब क्रॉलर को किसी भी फ़ाइल को क्रॉल न करने का निर्देश देगा /डीआईआर/ निर्देशिका।

अस्वीकृत करें: /dir/myfile.htm वेब क्रॉलर को क्रॉल न करने का निर्देश देगा myfile.htm नीचे डिर फ़ोल्डर। क्रॉलर अन्य सभी फाइलों को नीचे क्रॉल करेगा डिर निर्देशिका।

अनुमति देना

यह निर्देश विशेष रूप से एक वेब क्रॉलर को किसी विशेष निर्देशिका या फ़ाइल को क्रॉल करने के लिए कहता है। उदाहरण के लिए:

अस्वीकृत करें: /dir/myfile.htm

अनुमति दें: /dir/myfile.htm

उपरोक्त दो पंक्तियों का समग्र अर्थ यह है कि क्रॉलर को क्रॉल करना चाहिए /dir/myfile.htm

पहली पंक्ति क्रॉलर को रोकती है लेकिन दूसरी पंक्ति फिर से क्रॉलर को क्रॉल करने देती है।

साइट मैप

आपकी वेबसाइट/ब्लॉग में साइटमैप एक बहुत ही महत्वपूर्ण फाइल है। इस फ़ाइल में आपकी वेबसाइट की संरचना है। यह वेब क्रॉलर्स को आपके ब्लॉग के माध्यम से अपना रास्ता खोजने में मदद करता है। साइटमैप: निर्देश क्रॉलर को आपकी साइटमैप फ़ाइल का स्थान बताता है। ब्लॉगर/ब्लॉगस्पॉट के मामले में — आप इस लाइन को वैसे ही छोड़ सकते हैं।