robots.txt

अगर आपने भी एक ब्लॉग क्रिएट किया है या आपने कोई वेबसाइट क्रिएट की है तो उसके एक ऑप्शन में आपको robots.txt की ऑप्शन जरूर दिखाई देगी. मैने अपने एक ब्लोगमे बताया था कि में इस विषय पर आर्टिकल लेके आने वाला हूं तो आइए जानते है. की robots.txt कया होता है.

robots.txt एक फाइल होती है. जिसमे लिखा होता है क्रोलर को कौनसी फाइल तक आना है. 

अब बात आती है ये क्रोलर क्या होता है? तो क्रोलर कुछ नहीं बस एक कोडीग होती है. जो कि एक सर्च इंजन भेजता है आपकी साइट पर. जो कि इसलिए होती है कि आपकी वेबसाइट को वो स्कैन करके उसे रैंक कर सके. इसे क्रोलर कहेते है.

अब बात आती है robots.txt फाइल की. ये फाइल इसलिए बनाई जाती है. क्युकी अगर क्रोलर ने आपकी वेबसाइट की उस फाइल को दिखा दिया जिसमे सारी पर्सनल जानकारी है तो समस्या हो सकती है. इसलिए ये फाइल डिजाइन की जाती है. 

इस फाइलमे आप किसी भी सर्च इंजन को एलो या डिस एलो कर सकते है. अगर आप चाहते है तो सारे सर्च इंजन को एलो कर सकते है या डीस एलो भी कर सके है. अगर आप को सभी इंजन को एलो कारण है तो सिर्फ allow: सिर्फ इतना ही लिखना है. अगर आपको डीस एलो करना है. तो सिर्फ आप को allow: \ कर सकते है. जिससे सारे सर्च इंजन आप की वेबसाइट तक नहीं आ पाएंगे. 

अब आते है हमे ये फाइल बनाई केसे है तो आप अगर ब्लॉगर इस्तेमाल करते है तो आप को इस कि सैटिंग मिलेगी आप को वहा सिर्फ इतना लिखना है.

User-agent: *

Disallow: 

Sitemap: https://dnshostserver.blogspot.com/sitemap.xml 

आप इतना लिखोगे तो आपकी robots.txt file तैयार हो जाएगी आप को अब कुछ नहीं करना है.