SEO-फ्रेंडली 'robots.txt' फ़ाइल: Blogger वेबसाइट के लिए एक गाइड

अगर आप अपने Blogger ब्लॉग की SEO को बेहतर बनाना चाहते हैं, तो एक कस्टम robots.txt फ़ाइल महत्वपूर्ण हो सकती है। यह फ़ाइल वेब क्रॉलर्स को यह बताती है कि आपकी साइट के कौन से हिस्से को क्रॉल किया जा सकता है और कौन से हिस्से को नहीं। इस गाइड में हम एक SEO-फ्रेंडली robots.txt फ़ाइल बनाने के बारे में जानेंगे और Blogger वेबसाइट के लिए इसका उपयोग कैसे करें, यह समझेंगे।

'robots.txt' फ़ाइल क्या है?

robots.txt फ़ाइल एक टेक्स्ट फ़ाइल है जो सर्च इंजन क्रॉलर्स को बताती है कि आपकी साइट के कौन से पृष्ठ या अनुभाग को क्रॉल करना चाहिए और कौन से नहीं। यह फ़ाइल साइट के रूट डायरेक्टरी में रखी जाती है और विभिन्न क्रॉलर्स के लिए निर्देश प्रदान करती है।

एक कस्टम 'robots.txt' फ़ाइल क्यों महत्वपूर्ण है?

एक कस्टम robots.txt फ़ाइल आपको अपनी साइट के विशिष्ट हिस्सों को क्रॉल करने से रोकने की अनुमति देती है, जिससे आपकी साइट की सर्च इंजन रैंकिंग बेहतर हो सकती है। उदाहरण के लिए, आप लॉगिन पेज या एंटर किए गए सर्च क्वेरी को क्रॉल से रोक सकते हैं जो सर्च इंजन के लिए महत्वपूर्ण नहीं हैं।

एक SEO-फ्रेंडली 'robots.txt' फ़ाइल कैसे बनाएँ

यहाँ एक उदाहरण है कि कैसे आप अपनी Blogger वेबसाइट के लिए एक कस्टम robots.txt फ़ाइल बना सकते हैं:

# Allow all crawlers access to the entire site
User-agent: *
Disallow:

# Prevent web crawlers from indexing certain folders
Disallow: /search
Disallow: /admin
Disallow: /login
Disallow: /tag

# Disallow specific types of files
Disallow: /*.cgi$
Disallow: /*.php$
Disallow: /*.pl$

# Sitemap URL
Sitemap: https://www.yoursite.com/sitemap.xml

# Block specific bots if needed
User-agent: BadBotName
Disallow: /

# For Googlebot specifically
User-agent: Googlebot
Disallow: /private/

# For Bingbot specifically
User-agent: Bingbot
Disallow: /private/

# Prevent indexing of URLs with parameters
Disallow: /*?*

# Allow Googlebot to access the entire site
User-agent: Googlebot
Disallow:

इस robots.txt फ़ाइल में हमने विभिन्न निर्देश दिए हैं, जैसे कि सभी वेब क्रॉलर्स को पूरी साइट क्रॉल करने की अनुमति देना, कुछ विशेष फ़ोल्डर और फ़ाइल प्रकारों को ब्लॉक करना, और एक साइटमैप URL निर्दिष्ट करना। आप इसे अपनी ज़रूरत के अनुसार अनुकूलित कर सकते हैं।

विवरण:-

**User-agent: ***: सभी वेब क्रॉलर को साइट की पूरी पहुँच दी जाती है।
Disallow:

/search: सर्च पेज को क्रॉल करने से रोकता है।
/admin और /login: प्रशासनिक और लॉगिन पृष्ठों को क्रॉल करने से रोकता है।
/tag: टैग पेजों को क्रॉल करने से रोकता है।

File Types:-

/*.cgi$, /*.php$, /*.pl$: .cgi, .php, और .pl फ़ाइलों को क्रॉल करने से रोकता है।

Sitemap:-

Sitemap: https://www.yoursite.com/sitemap.xml: आपकी साइटमैप की URL प्रदान करता है।

Specific Bots:-

User-agent: BadBotName: विशेष बॉट्स को पूरी तरह से ब्लॉक करता है। (यदि कोई विशिष्ट बॉट है जिसे आप ब्लॉक करना चाहते हैं, तो उसका नाम यहाँ डालें।)

Googlebot और Bingbot:-

Disallow: /private/: Googlebot और Bingbot को कुछ विशेष पृष्ठों को क्रॉल करने से रोकता है।

URLs with Parameters:-

Disallow: /*?*: URL में प्रश्न चिह्न (जैसे कि कैम्पेन के पैरामीटर या ट्रैकिंग) के साथ पृष्ठों को क्रॉल करने से रोकता है।

Googlebot Allowance:-

विशेष रूप से Googlebot के लिए, साइट की पूरी पहुँच दी जाती है, जो कि आमतौर पर इस प्रकार की अनुमति है।

यह robots.txt फ़ाइल आपके ब्लॉग को बेहतर ढंग से प्रबंधित करने में मदद करेगी और यह सुनिश्चित करेगी कि केवल उन पृष्ठों को इंडेक्स किया जाए जो आप चाहते हैं।