మీ వెబ్సైట్ యొక్క మూలంలో నిల్వ చేసిన ఒక robots.txt ఫైల్ శోధన ఇంజిన్ స్పైడర్స్ వంటి వెబ్ రోబోట్లు ఏ డైరెక్టరీలు మరియు ఫైళ్లను క్రాల్ చేయడానికి అనుమతించాలో తెలియజేస్తుంది. ఇది ఒక robots.txt ఫైల్ను ఉపయోగించడానికి సులభం, కానీ మీరు గుర్తుంచుకోవాల్సిన కొన్ని విషయాలు ఉన్నాయి:
- బ్లాక్ టోపీ వెబ్ రోబోట్లు మీ robots.txt ఫైల్ను విస్మరిస్తాయి. అత్యంత సాధారణ రకాలు మాల్వేర్ బాట్లను మరియు రోబోట్లను ఇమెయిల్ చిరునామాలను పంట కోసం చూస్తున్నాయి.
- కొన్ని కొత్త ప్రోగ్రామర్లు robots.txt ఫైల్ను విస్మరించే రోబోట్లు రాయడం కనిపిస్తుంది. దీనిని సాధారణంగా పొరపాటుగా చేస్తారు.
- ఎవరైనా మీ robots.txt ఫైల్ను చూడవచ్చు. ఇవి ఎల్లప్పుడూ robots.txt గా పిలువబడతాయి మరియు ఎల్లప్పుడూ వెబ్సైట్ యొక్క మూలంలో నిల్వ చేయబడతాయి.
- చివరగా, మీ robots.txt ఫైల్ ద్వారా మినహాయించని ఒక పేజీ నుండి మీ robots.txt ఫైల్ ద్వారా మినహాయించబడిన ఒక ఫైల్ లేదా డైరెక్టరీకి ఎవరైనా లింక్ చేస్తే, శోధన ఇంజిన్లు ఎలాగైనా కనుగొనవచ్చు.
ముఖ్యమైన ఏదైనా దాచడానికి robots.txt ఫైళ్ళను ఉపయోగించవద్దు. బదులుగా, మీరు సురక్షిత పాస్వర్డ్ల వెనుక ముఖ్యమైన సమాచారాన్ని ఉంచాలి లేదా పూర్తిగా వెబ్ను వదిలివేయాలి.
ఈ నమూనా ఫైళ్ళు ఎలా ఉపయోగించాలి
మీరు చేయదలచిన దానికి సన్నిహితమైన నమూనా నుండి వచనాన్ని కాపీ చేసి, మీ robots.txt ఫైల్లో అతికించండి. మీకు కావలసిన ఆకృతీకరణకు సరిపోలడానికి రోబోట్, డైరెక్టరీ మరియు ఫైల్ పేర్లను మార్చండి.
రెండు ప్రాథమిక Robots.txt ఫైళ్ళు
వినియోగదారు-ఏజెంట్: *
అనుమతించవద్దు: /
ఈ ఫైల్ ఇది ఏ రోబోట్ (యూజర్ ఏజెంట్: *) ను యాక్సెస్ చేస్తుందో ఆ సైట్లోని ప్రతి పేజిని విస్మరించకూడదు (నిరాకరించు: /).
వినియోగదారు-ఏజెంట్: *
అనుమతించవద్దు:
ఇది ఏ రోబోట్ (యూజర్ ఏజెంట్: *) యాక్సెస్ అని సైట్లో ప్రతి పేజీని వీక్షించడానికి అనుమతించబడిందని ఈ ఫైలు చెబుతుంది (అనుమతించవద్దు).
మీరు మీ robots.txt ఫైల్ను ఖాళీగా ఉంచడం ద్వారా లేదా మీ సైట్లో ఒకదానిని కలిగి ఉండకుండా దీన్ని చేయవచ్చు.
రోబోట్లు నుండి నిర్దిష్ట డైరెక్టరీలను రక్షించండి
వినియోగదారు-ఏజెంట్: *
అనుమతించవద్దు: / cgi-bin /
అనుమతించవద్దు: / తాత్కాలిక /
ఈ ఫైల్ యాక్సెస్ ఇది ఏ రోబోట్ (వినియోగదారు ఏజెంట్: *) డైరెక్టరీలు / cgi-bin / మరియు / temp / (అనుమతించవద్దు: / cgi-bin / నిరాకరించు: / తాత్కాలిక /) విస్మరించండి చెప్పారు.
రోబోట్స్ నుండి ప్రత్యేక పేజీలు రక్షించండి
వినియోగదారు-ఏజెంట్: *
అనుమతించవద్దు: /jenns-stuff.htm
అనుమతించవద్దు: /private.php
ఈ ఫైల్ ఇది ఏ రోబోట్ (యూజర్ ఏజెంట్: *) ను ఫైల్స్ / జెన్నాస్-స్టఫ్.హెచ్.మమ్ మరియు /private.php లను విస్మరించాలి (నిరాకరించండి: /jenns-stuff.htm అనుమతించవద్దు: /private.php).
మీ సైట్ యాక్సెస్ నుండి ఒక నిర్దిష్ట రోబోట్ అడ్డుకో
వాడుకరి ఏజెంట్: లైకోస్ / xx
అనుమతించవద్దు: /
లైకోస్ బాట్ (User-agent: Lycos / xx) సైట్లో ఎక్కడి నుండైనా యాక్సెస్ అనుమతించబడదని ఈ ఫైల్ చెపుతుంది (అనుమతించవద్దు: /).
ఒక్క ప్రత్యేక రోబోట్ యాక్సెస్ను అనుమతించు
వినియోగదారు-ఏజెంట్: *
అనుమతించవద్దు: /
యూజర్ ఏజెంట్: Googlebot
అనుమతించవద్దు:
ఈ ఫైల్ మొదట మేము పైన పేర్కొన్న అన్ని రోబోట్లను అనుమతించలేదు మరియు తరువాత Googlebot (వినియోగదారు ఏజెంట్: Googlebot) కు అన్నింటికీ ప్రాప్తిని కలిగి ఉంటుంది (నిరాకరించు:).
మీకు కావలసిన మినహాయింపులను సరిగ్గా పొందటానికి బహుళ లైన్లను చేర్చండి
వినియోగదారు-ఏజెంట్ లాంటి చాలా కలుపుకొని ఉన్న వినియోగదారు-ఏజెంట్ లైన్ ను ఉపయోగించడం మంచిది: *, మీకు నచ్చిన విధంగా మీరు నిర్దిష్టంగా ఉండవచ్చు. ఆ రోబోట్లు ఫైల్ను క్రమంలో చదవడం గుర్తుంచుకోండి. కాబట్టి మొదటి పంక్తులు అన్ని రోబోట్లు అన్నింటికీ బ్లాక్ చేయబడుతున్నాయని మరియు ఆ తరువాత ఫైల్లోని అన్ని రోబోట్లు అన్నింటికీ యాక్సెస్ చేయడానికి అనుమతించబడతాయి, రోబోట్లు అన్నింటికీ ప్రాప్తి చేయగలవు.
మీరు మీ robots.txt ఫైల్ను సరిగ్గా వ్రాశాడా లేదో మీకు ఖచ్చితంగా తెలియకపోతే, మీరు మీ robots.txt ఫైల్ను తనిఖీ చేయడానికి లేదా క్రొత్తదాన్ని వ్రాయడానికి Google యొక్క వెబ్మాస్టర్ ఉపకరణాలను ఉపయోగించవచ్చు.