robots.txt و ایندکس شدن بهتر SMF در گوگل

[javid2005]

سلام

فکر نمی کنم در فایل robot.txt نیازی به بکار بردن کلمه allow داشته باشه
تمامی پارامترهای robot.txt با disallow تنظیم می شوند و آدرس هایی که disallow نشدند به طور خودکار allow هستند یعنی گوگل به سراغ آنها خواهد رفت

در ضمن آیا به نظر شما نوشتن سایت مپ در انتهای robot.txt تاثیری در بهتر شدن وضعیت نقشه سایت شما در موتور جستجو دارد؟
من به این موضوع اعتقاد ندارم .... تا بحال ندیدم کسی سایت مپ را در robots.txt وارد کند ... شما باید سایت مپ رو مستقیما به موتور جستجو معرفی کنید
مثلا از طریق گوگل وب مستر و غیره

هیچ جا ندیدم کسی موتور جستجو را از دیدن wap و imode منع کند ....
در ضمن اگر شما منع نکنید شاید سود کنید ولی ضرر نخواهید کرد ....منظورم این است: شمایی که wap و imode را منع کردید آیا به بالا رفتن رتبه سایتتان کمک می کنید؟
پس منع کردن آن فایده ای ندارد ... در حالی که اگر منع نکنید شاید به سود شما باشد .. به نظر من بهتر است imode و wap را موتور جستجو باید بشناسد ...

این بود انتقادات من ...
ولی از اینکه به فکر robot.txt انجمنتان افتادید شما را تحسین می کنم

موفق باشید