Skip to content

Custom robots.txt क्या है? इसे कैसे add करे?

     

    Custom robots.txt kya hai? क्यों जरुरी hai? kaise use kare?

    robots.txt sitemap, robots txt file

    agar आपका koi ब्लॉग ya वेबसाइट hai aur aapko पता nahi hai ki robots.txt kya hai? to जानना बहुत जरुरी hai. इसमें हम aapko अच्छे तरह se robots.txt ke बरे me जानकरी दिए hai.

    robots.txt ke सही जानकारी nahi hone ke कारन हमारे ना चाहते हुए bhi ब्लॉग ki सारे इनफार्मेशन सर्च रिजल्ट me show ho jata hai.

    es पोस्ट me हम इन सभी ke बारे me बिस्तार se जानकारी देने बाले hai ki kaise aap अपनी मर्जी ke अनुसर jo चाहते hai वो hi सर्च रिजल्ट me पोस्ट ke साथ दिखा सकते hai.

    robots.txt ko custom robots.txt bhi कहा jata hai. yeh ek chhota sa text फाइल hota hai jo ब्लॉग par सर्च इंजन ki bots ko बताता hai ki ब्लॉग ki किस जानकारी ko crawl ya index karna hai.

    जैसे ki aap is सेटिंग se apne ब्लॉग ki सिर्फ आर्टिकल show कराना चाहते hai to सिर्फ आर्टिकल hi show करा पाएंगे.

    सर्च इंजन ki bots ya robots ne robots.txt फाइल ko follow karne ke बाद दिखता hai. ऐसे me agar ब्लॉग me txt फाइल add nahi किये hai to वह अपनी मर्जी se jo चाहे वो दिखायेगा.

    robots.txt kya hai?

    custom robots txt content

    सर्च इंजन ka bots ya robots aapke द्वारा ब्लॉग ke robots.txt फाइल me दिया gya command par निर्भर करता hai. ki aap सिर्फ अर्टिक दिखाना चाहते hai ya इसके साथ कुछ aur bhi. aap जिस तरह se robots.txt फाइल me command देंगे उसी ke अनुसार दिखायेगा.

    जैसे ki agar aap ब्लॉग me category ya tags ko index कराना nahi चाहते hai. यानि छुपाना चाहते hai to ऐसा command देकर kar सकते hai. उसके बाद kisi bhi सर्च इंजन जैसे ki google,yahoo,bing par category aur tags nahi दिखेगा.

    aap agar yeh जानना चाहते hai ki किस ब्लॉग ka robots.txt kya hai to kisi bhi browser me aapko उस ब्लॉग ya वेबसाइट ka url address ke बाद /robots.txt टाइप karne होंगे. is तरह se aap apna bhi देख सकते hai. ध्यान रहे ki जिस ब्लॉग me robots.txt add nahi kiya gya hoga उसमे show nahi करेगा.

    robots.txt file ke फायदे?

    custom robots txt

    ब्लॉग me robots.txt file add karne ke बहुत सारे फायदे होते hai.

    robots.txt ki मदद se apne ब्लॉग ke kisi bhi पोस्ट ya कंटेंट ko सर्च इंजन se प्राइवेट पाएंगे.

    kisi bhi टाइप ki डाटा जैसे ki फाइल, फोल्डर, इमेज, pdf आदि ko सर्च इंजन me index /show hone se रोक पाएंगे.

    सर्च इंजन क्रॉलर द्वारा सर्च रिजल्ट me ब्लॉग ki आर्टिकल सिर्फ आर्टिकल ना दिखकर उसी me सब कुछ दिखाने लगता hai. jise aap robots txt ke माध्यम se क्लियर aur क्लीन सिर्फ आर्टिकल देखा पाएंगे.

    robots txt फाइल ke माध्यम se aap sensitive information ko bhi प्राइवेट रख सकेंगे.

    robots txt ke द्वारा ब्लॉग ki sitemap se सर्च इंजन ki bots ko स्पस्ट पता चलता hai. jisse ब्लॉग ko अच्छा इंडेक्स करा पाएँगे.

    apne अनुसार ब्लॉग ke categories, labels, tags, images, document, etc. ko index hone se रोक पाएंगे.

    search engine me index hone se pahle hi ब्लॉग ki duplicate page ko ignore करा kar सर्च रिजल्ट me show hone se pahle hi रोक सकेंगे.

    robots.txt ki syntax kya hai? 

    robots txt ki सेटिंग me काम आने बाले कुछ syntax ke बारे me जानना बहुत जरुरी hai. क्योकि सभी command ki सही जानकारी hone ke बाद hi apne ब्लॉग par अच्छे se command देकर add kar पाएंगे.

    अब एक-एक kar सभी command ke बारे me डिटेल्स me जानेंगे ki kaun se command ka kya मतलब hai.

    allow :- aap robots txt ke text file ke अन्दर जिस तरह ki command देंगे ya allow करेंगे उसी ke अनुसार सर्च इंजन ki bots ब्लॉग ki content ko crawl ya index करेगा. aur सर्च रिजल्ट me show करेगा.

    disallow :- ब्लॉग address ke बाद आया hua unwanted वर्ड ya categories, labels, tags ko search engine me index karne se रोक सकेंगे.

    user-agent:- yeh ek bots ko दिया जाने bala command hota hai जैसे ki google bot, google bot-image, adsbot google, mediapartners-google इत्यादि. is command ko user-agent ke सामने लिखेंगे.

    user-agent : * :- सभी search engine robots ko same command देने ki स्थिति me user-agent ke सामने * चिन्ह ka उपयोग करेंगे.

    user-agent : mediapartner-googleuser :- ब्लॉग par adsense ka ads laga hone par user-agent ke सामने mediapartner-googleuser जैसे command ka प्रयोग करेंगे. इसके प्रयोग se ब्लॉग par ads दीखते समय उसमे ads code nahi दिखेगा.

    sitemap.xml :- yeh xml file hota hai. sitemap.xml ke माध्यम se google ko ब्लॉग ki सभी पोस्ट ko जानकारी होती hai. jisse search engine aapke blog ki posts ko आसानी se index aur रैंक करा sakta hai.

    custom robots.txt file kaise add kare

    custom robots txt generator for blogger

    apne blogger me custom robot.txt add karne ke बारे me हम बताने बाले hai ki किस तरह se apne ब्लॉग ke liye ek robots txt फाइल generate aur add kar पायेगे.

    इसके liye निचे दिए gye सभी steps ko अच्छे se समझे. क्योकि robot.txt file me गलत कोड add karne यानि गलत command se aapke ब्लॉग ke ranking par गलत effect पड़ता hai.

    robots txt फाइल generate karne ke liye कई वेबसाइट उपलब्ध hai. जिसके द्वारा फ्री me generate kar सकते hai.

    aap निचे दिए gye robots.txt फाइल code ko bhi कॉपी करके apne ब्लॉग me add kar सकते hai. add अकरने se pahle इसमें se http://www.example.com ke स्थान par apna blog ka url address रिप्लेस kar de.

    robot.txt file code

    robot.txt example

    generallly सभी लोग निचे दिए gye दो टाइप ki code ka hi प्रयोग करता hai. जिसमे apne अनुसार aur command de सकते hai.

    user-agent: *
    disallow: /search
    allow: /
    sitemap: http://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500.

    या 

    user-agent: *
    disallow: /search
    allow: /
    sitemap: https://www.example.com/sitemap.xml

    agar ब्लॉग par गूगल ads use करते hai to is तरह ki command add ho jayega जैसे ki निचे दिया gya hai.

    user-agent: mediapartners-google
    disallow:
    user-agent: *
    disallow: /search
    allow: /
    sitemap: https://www.example.com/sitemap.xml

    अब is robots.txt text ko apne ब्लॉग par पेस्ट karna hai. yeh kaise aur कहाँ par add karna hai जिसके बारे me हम निचे बताने बाले hai. 

     

    ब्लॉग me robots.txt file ko add karne ki सेटिंग ko जाने.

    add custom robots.txt file in blogger, custom robots.txt for blogger, custom robots txt 

    custom robots.txt, robots.txt generator, robots.txt sitemap, robots.txt no index, custom robots.txt for blogger, robots txt file, txt file, hingme
    custom robots.txt, robots.txt generator, robots.txt sitemap, robots.txt no index, custom robots.txt for blogger, robots txt file, txt file, hingme

     

    • yeh सेटिंग karne ke liye sabse pahle apne ब्लॉग ki dashboard me जाकर सेटिंग par क्लिक करेंगे/
    • उसके बाद पेज ko उपर ki तरफ scroll करके “crawlers and indexing” लिखा hua head सेक्शन me जायेंगे.
    • उसके बाद अब enable custom robots.txt par क्लिक करके usay इनेबल करेंगे.
    • फिर अब custom robots.txt par क्लिक करेंगे.
    • उसके बाद custom robots.txt ko add karne ke liye ek chhota sa पेज open hoga. जिसमे is text ko paste karne hai.
    • अब अंत me save par क्लिक करके usay save kare.
    • अब aapke ब्लॉग me custom robots.txt add ho gya.

     


    हमें आशा hai ki aap बिलकुल hi अच्छे se समझ gye होंगे ki custom robots.txt kya hai. ब्लॉग ke liye क्यों जरुरी hai. aur yeh ब्लॉग me kaise add kiya jata hai. aur apne ब्लॉग me अच्छे se add kar पाएंगे. agar yeh जानकरी अच्छी लगी ho to कृपया ब्लॉग ke liye is useful जानकारी ko सोशल साईट par जरुर शेयर kare.

    close