سلام

حق با شماست .

Robot.txt يک سند استاندارد است که به روبات گوگلی ميگويد چه اطلاعاتی از سرور وب شما را ذخيره نکند. <== این جمله کاملا صحیح هست .

یا علی