आज इस आर्टिकल में हम आपको बताएंगे How to add Sitemap to Robots.txt File अर्थात Robots.txt File में Sitemap कैसे Add करें और यह क्यों important है?
दुनिया में हजारों search engines हैं और अपनी साइट को प्रत्येक search engines में submit करना संभव नहीं है, लेकिन जब आप अपनी sitemap को Robots.txt File में add करते हैं, तो आपको अपनी साइट सभी search engines में submit करने की आवश्यकता नहीं पडती है।
हालांकि, Google और Bing में अपनी साइट को submit करना जरूरी है। लेकिन Google और Bing के लिए sitemap को Robots.txt File में add करना जरूरी नहीं है।
Sitemap and Robots.txt File क्या है
Sitemap आपके website पर सभी URLs की एक list है जो search engines को आपकी वेबसाइट पर सभी pages and posts URLs के बारे में बताता है। Sitemap आपकी search ranking improve नहीं करता है, लेकिन यह आपकी वेबसाइट को search engines के लिए बेहतर crawl करने की अनुमति देता है।
Robots.txt file search engine bots को समझने में मदद करती है कि आपकी साइट के कौन से हिस्से को index करना है और किस हिस्से को नहीं। जब search engine spider or web robots आपकी साइट पर आते हैं, तो वे आपकी साइट पर robots configuration file का पालन करते हैं और उस भाग को index करते हैं जिन्हें आप search engines में indexed करवाना चाहते हैं।
Robots.txt file में sitemap add करना आवश्यक है?
यह एक ऐसा सवाल है जिसे सभी bloggers and website owners जानना चाहते हैं कि robots.txt में sitemap adding करना आवश्यक है।
इसका simle answer है – नहीं
फिर भी हम sitemap को robots.txt file में क्यों add करते हैं?
दुनिया में कई search engines हैं और प्रत्येक में साइट को submit करना संभव नहीं है, लेकिन जब आप अपनी sitemap को robots.txt file में add करते हैं, तो search engines आसानी से आपके webpage URLs को crawl and index कर सकते हैं।
तो चलिए हम sitemap को robots.txt file में add करना शुरू करते है……
Robots.txt File में Sitemap Add कैसे करें
सबसे पहले, अपनी साइट की root directory में जाएं और robot.txt file को select करें और Edit button पर क्लिक करके अपने sitemap URL को add करें।
Sitemap: http://www.example.com/sitemap.xml
अब आपकी robots.txt file कुछ इस तरह से दिखाई देगी।
Sitemap: http://www.example.com/sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap को robots.txt file में कहीं भी रखा जा सकता है। इससे कोई फर्क नहीं पड़ता कि आप इसे कहाँ रखते हैं।
Robots.txt File में Multiple Sitemap Add कैसे करें
एक sitemap में 50,000 URLs होते हैं और यदि आपके sitemap में 50,000 से अधिक URLs है, तो आपको इसे sitemap index file के रूप में submit करना होगा। sitemap index file का XML format sitemap file के समान है। आप नीचे देख सकते हैं,
Sitemap: http://www.example.com/sitemap_index.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
या, आप अपने multiple Sitemap files के लिए अलग-अलग URL add कर सकते हैं,
Sitemap: http://www.example.com/sitemap_host1.xml
Sitemap: http://www.example.com/sitemap_host2.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
इस तरह, आप robots txt file की सहायता से अपने sitemap को manage कर सकते हैं। आप इस लेख से संबंधित किसी भी प्रश्न या सुझाव के लिए comment कर सकते हैं।
अगर यह आर्टिकल आपके लिए helpful साबित हुई है, तो इसे share करना न भूलें!
Naina Singh says
July 2, 2018 at 12:51 pmHi Aman,
Ye kafi informative blog tha, padhne me bhi maza aaya kyuki ek nayi information mili mjhe ki sitemap ko robots.txt file me add krne se faida hota hai jisse crawling sudharta ahai aur indexing bhi.
Par mera ek question hai aap se. kya sitemap ko rbobots.txt me submit krne se ranking improve hoti hai, ya alexa indexing improve hoti h kya?
plz guide karein!!
thanks in advance…….
AMAN SINGH says
July 9, 2018 at 7:04 pmSitemap ko rbobots.txt me add karne se Search eangine aapki site ko acchi trh se crawl kar paate hai. yeh ranking ko improve nahi karti hai.
Atif khan says
February 9, 2019 at 5:38 pmThanks for sharing and keep it up!