سلام

دوست عزیز درون robots.txt این رو اضافه کنید

useragent: BaiDuSpider

میتونید به جای نام BaiDuSpider هر ربات رو بنویسید . مثلا : useragent: Googlebot

تا ربات های این موتور جستجوی به سایت شما نیاد .
موفق باشی