Create & Configure your Robots.txt file in Hindi

What is Robots.txt in hindi / Robots.txt file kya hai

Robots.txt File एक प्रकार की Text File / टेक्स्ट फाइल होती है। यह फाइल किसी भी वेबसाइट या ब्लॉग के लिए बहुत ही महत्पूर्ण है। इस फाइल के कारण ही किसी भी सर्च इंजन को यह जानकारी मिलती है, की कौन से फाइल को Crawl करना है और कौन से फाइल को नहीं करना है।


यह फाइल इसलिए महत्वपूर्ण है, क्यूंकि जब भी Search Engine का Crawler या Spider आपकी साईट पर आता है, तो सबसे पहले Robots.txt File को खोजता है। उसके बाद उस Robots.txt File में जो भी निर्देश होता है, उस निर्देश का ही पालन करता है। अगर इस फाइल में निर्देश सही से नहीं दिया गया है, तो ये आपके साईट के लिए अच्छा नहीं है। इसलिए आपके वेबसाइट या ब्लॉग के लिए जरुरी है, सही Robots.txt file का अपके वेबसाइट या ब्लॉग में होना।


How to Create WordPress Robots.txt File in Hindi / Urdu

Create & Configure your Robots.txt file in Hindi

Robots.txt एक छोटा सा फाइल होता है। अब इन रोबोट फाइल में होता क्या है और इसे कैसे बना सकते है। सामान्यत इन फाइल में कुछ निर्देश होते है। जैसे – किस File या Directory को सर्च इंजन के क्रॉलर या स्पाइडर इंडेक्स करे और किसे इंडेक्स ना करे। कौन से सर्च इंजन को आप आज्ञा देते की वो आपके साईट पर आये और उसे क्रॉल करे।


मै आपको सिर्फ उदाहरण मात्र बता रहा हु। वैसे तो सभी सर्च इंजन को आज्ञा देना चाहिए ताकि वो आपकी साइट्स को क्रॉल कर सके। इसे बनाना बहुत ही आसान है। डरिये नहीं आपको कोई कोडिंग नहीं करना है। बस आपको अपने डेस्कटॉप या लैपटॉप में एक नोटपैड फाइल बनाना है और उस नोटपैड फाइल का नाम robots.txt रखे। अब उस नोटपैड फाइल में निचे दिया गया कोड को कॉपी करे Paste कर दे। उसके बाद उसे Save कर दे। याद रहे यह वर्डप्रेस के लिए बताया जा रहा है।


User-agent: *
Allow: /wp-content/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /downloads/
Disallow: /author
Disallow: /comments/feed/
Disallow: /readme.html
Disallow: /*?*
Disallow: *?replytocom
Disallow: /archivesUser-agent: NinjaBot
Allow: /User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/User-agent: Adsbot-Google
Allow: /User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://www.onlinehindisolution.com/sitemap_index.xml
Sitemap: http://www.onlinehindisolution.com/post-sitemap.xml
Sitemap: http://www.onlinehindisolution.com/page-sitemap.xml

इस रोबोट फाइल में Sitemap भी दिया गया है। आप चाहे तो sitemap नहीं भी दे सकते है। अगर आप Sitemap देना चाहते है, तो बस www.hindihelps.com की जगह अपनी वेबसाइट या ब्लॉग का URLs टाइप करे।


जैसा की मैंने पहले भी बताया है की कोई भी Search Engine के Spider या Crawler आपकी साईट पर आता है, तो सबसे पहले Robots.txt File को खोजता है। अब उस फाइल में साईटमेप होने के कारण, उस Spider या Crawler को आसानी से Sitemap मिल जाता है। इसलिए इस फाइल में साईटमेप दिया गया है।

How to Upload WordPress Robots.txt on Root Directory in Hindi

जब नोटपैड में Robots.txt File बना ले। अब उस फाइल को अपने Root Directory में Upload करना है।

Step 1

सबसे पहले Hosting के Cpanel Account में Log In हो जाइये। उसके बाद File Manager पर क्लिक करे।

Step 2

फिर URLs के Root Directory पर क्लिक करे। अब Upload पर क्लिक करे। उसके बाद Choose File पर क्लिक करे और Robot.txt file को Select करे, जो आपने Save की थी। अब आप Upload होने के बाद आप चेक कर सकते है। चेक करने के लिए अपने ब्राउज़र में yoursite.com/robots.txt टाइप करे।

|धन्यवाद|

No Responses

Leave a Reply

Your email address will not be published. Required fields are marked *