చాటెం
మీ ఫైల్లు దాదాపు ఒక వారంలోపు లేదా వారం తర్వాత ఏదో ఒక సమయంలో తీసివేయబడతాయి.
User-agent: * Disallow:/ Crawl-delay: 5 Disallow: /cgi-bin/
