# robots.txt for http://www.morellasite.com/
# Last modified: 2009-05-03T07:50:00-0800
# go away
# use this below while developing a website
User-agent: *
Disallow: /
#####################################################################################################################################
# Exclude a file from an individual Search Engine
# You have a file, privatefile.htm, in a directory called 'private' that you do not wish to be indexed by Google. You know that the 
# spider that Google sends out is called 'Googlebot'. You would add these lines to your robots.txt file:                              
# 
# User-Agent: Googlebot
# Disallow: /private/privatefile.htm
#####################################################################################################################################
#####################################################################################################################################
# Exclude a section of your site from all spiders and bots
# You are building a new section to your site in a directory called 'newsection' and do not wish it to be indexed before you are 
# finished. In this case you do not need to specify each robot that you wish to exclude, you can simply use a wildcard 
# character, '*', to exclude them all.
#
# User-Agent: *
# Disallow: /newsection/
#
# Note that there is a forward slash at the beginning and end of the directory name, indicating that you do not want any files in 
# that # directory indexed.
#####################################################################################################################################
#####################################################################################################################################
# Allow all spiders to index everything
# Once again you can use the wildcard, '*', to let all spiders know they are welcome. The second, disallow, line you just leave 
# empty, that is your disallow from nowhere.
#
# User-agent: *
# Disallow: 
#####################################################################################################################################
#####################################################################################################################################
# This requires just a tiny change from the command above - be careful!
#
# User-agent: *
# Disallow: /
#
#If you use this command while building your site, don't forget to remove it once your site is live!
#####################################################################################################################################
# the information below is if you want certain agents to search your website
# take out the # sign and then move code to first column
# just depends
# User-agent: googlebot
# User-agent: slurp
# User-agent: msnbot
# User-agent: teoma
# User-agent: WDG_SiteValidator
# Disallow: /js/
# Disallow: /webservices/

# User-agent: Mediapartners-Google*
# Disallow:

# User-agent: *
# Disallow: /