این مقاله رو مطالعه کنید و به لینک های مرتبطش هم سری بزن

tools.seobook.com/robots-txt/ فکر کنم حل بشه