سلام
می خوام یه مقاله کامل و جامع در مورد فایل robots.txt بذارم ... فقط یه مشکل دارم
کسی هست کمکم کنه؟
فرض کنید من در سایتم این دو آدرس رو دارم
من می خوام با یه دستور در robots.txt کاری کنم گوگل به هیچکدوم از این آدرس ها دسترسی پیدا نکنهکد:www.mydomain.com/javid/?sort1 [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]
با فرض اینکه ما هزاران اسم به صورت زیر داریم
در بعضی از سایت های معتبر robots.txt به صورت زیر تنظیم شده که خلاف الگوریتم گوگل هستکد:ali/?sort1 mohammad/?sort1 mohsen/?sort1
قرار دادن کاراکتر * در robots.txt از نظر اسپایدرهایی مثل گوگل کاملا غیر قانونی استکد:user agent: * disallow: /*/?sort1
حالا برای حل این مشکل باید چیکار کنم؟
جناب فیروزمندان ، مدیران ، و تمامی اعضای خوب مامبولرن کمک کنند تا این مقاله ام تکمیل بشه
مرسی




پاسخ با نقل قول

علاقه مندی ها (Bookmarks)