आज इस आर्टिकल में मैं आपको बताऊंगा Robots.txt File में Sitemap Add कैसे करें और यह क्यों important है?
दुनिया में हजारों सर्च इंजन हैं और अपनी साइट को प्रत्येक search engines में submit करना संभव नहीं है, लेकिन जब आप अपनी sitemap को Robots.txt File में add करते हैं, तो आपको अपनी साइट सभी सर्च इंजन में सबमिट करने की आवश्यकता नहीं पडती है।
हालांकि, Google और Bing में अपनी साइट को submit करना जरूरी है।
Sitemap and Robots.txt File क्या है
Sitemap आपके website पर सभी URLs की एक list है जो सर्च इंजन को आपकी वेबसाइट पर सभी pages और posts URLs के बारे में बताता है। Sitemap आपकी search ranking improve नहीं करता है, लेकिन यह आपकी वेबसाइट को सर्च इंजन के लिए बेहतर crawl करने की अनुमति देता है।
Robots.txt file सर्च इंजन को समझने में मदद करती है कि आपकी साइट के कौन से हिस्से को index करना है और किस हिस्से को नहीं। जब search engine robots आपकी साइट पर आते हैं, तो वे आपकी साइट पर robots.txt file का पालन करते हैं और उस भाग को index करते हैं जिन्हें आप सर्च इंजन में indexed करवाना चाहते हैं।
Robots.txt file में sitemap add करना आवश्यक है?
यह एक ऐसा सवाल है जिसे सभी ब्लॉगर जानना चाहते हैं कि robots.txt में sitemap adding करना आवश्यक है?
इसका simple answer है – नहीं
फिर भी हम Sitemap को robots.txt file में क्यों add करते हैं?
दुनिया में कई सर्च इंजन हैं और प्रत्येक में साइट को submit करना संभव नहीं है, लेकिन जब आप अपनी sitemap को robots.txt file में add करते हैं, तो सर्च इंजन आसानी से आपके webpage URLs को crawl and index कर सकते हैं।
तो चलिए हम sitemap को robots.txt file में add करना शुरू करते है…
Robots.txt File में Sitemap Add कैसे करें
सबसे पहले, अपनी साइट की root directory में जाएं और robot.txt file को select करें और Edit button पर क्लिक करके अपने sitemap URL को add करें।
Sitemap: http://www.example.com/sitemap.xml
अब आपकी robots.txt file कुछ इस तरह से दिखाई देगी।
Sitemap: http://www.example.com/sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap को robots.txt file में कहीं भी रखा जा सकता है। इससे कोई फर्क नहीं पड़ता कि आप इसे कहाँ रखते हैं।
Robots.txt File में Multiple Sitemap Add कैसे करें
आप नीचे देख सकते हैं,
Sitemap: http://www.example.com/sitemap_index.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
या, आप अपने multiple Sitemap files के लिए अलग-अलग URL add कर सकते हैं,
Sitemap: http://www.example.com/sitemap_host1.xml
Sitemap: http://www.example.com/sitemap_host2.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
इस तरह, आप robots txt file की सहायता से अपने sitemap को manage कर सकते हैं। आप इस लेख से संबंधित किसी भी के लिए कमेंट कर सकते हैं।
अगर यह आर्टिकल आपके लिए helpful साबित हुई है, तो इसे share करना न भूलें!
इसे भी पढ़े:
Hi Aman,
Ye kafi informative blog tha, padhne me bhi maza aaya kyuki ek nayi information mili mjhe ki sitemap ko robots.txt file me add krne se faida hota hai jisse crawling sudharta ahai aur indexing bhi.
Par mera ek question hai aap se. kya sitemap ko rbobots.txt me submit krne se ranking improve hoti hai, ya alexa indexing improve hoti h kya?
plz guide karein!!
thanks in advance…….
Sitemap ko rbobots.txt me add karne se Search eangine aapki site ko acchi trh se crawl kar paate hai. yeh ranking ko improve nahi karti hai.
Thanks for sharing and keep it up!