robots.txt و ایندکس شدن بهتر SMF در گوگل

[kateb]

با سلام دوستان
من از این کد در روبات تکس استفاده کردم فکر میکنم نتیجه بهتری در ایندکس شدن گوگل داشت :

User-agent: *

Disallow: /forum/index.php?wap
Disallow: /forum/index.php?wap2
Disallow: /forum/index.php?imode
Disallow: /forum/index.php?type=rss
Disallow: /forum/index.php*sort
Disallow: /forum/index.php*prev_next
Disallow: /forum/index.php?PHPSESSID=
Disallow: /forum/Smileys
Disallow: /forum/Themes
Allow: /forum/index.php?action=forum*
Allow: /forum/index.php?action=tags*
Allow: /forum/index.php?action=sitemap*
Allow: *forum/index.php/topic*
Allow: *forum/index.php/board*

User-agent: Googlebot-Mobile
Allow: /forum/index.php?wap
Allow: /forum/index.php?wap2

User-agent: Slurp
Allow: /forum/index.php?wap
Allow: /forum/index.php?wap2

Sitemap: [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]

[javid2005]

سلام

فکر نمی کنم در فایل robot.txt نیازی به بکار بردن کلمه allow داشته باشه
تمامی پارامترهای robot.txt با disallow تنظیم می شوند و آدرس هایی که disallow نشدند به طور خودکار allow هستند یعنی گوگل به سراغ آنها خواهد رفت

در ضمن آیا به نظر شما نوشتن سایت مپ در انتهای robot.txt تاثیری در بهتر شدن وضعیت نقشه سایت شما در موتور جستجو دارد؟
من به این موضوع اعتقاد ندارم .... تا بحال ندیدم کسی سایت مپ را در robots.txt وارد کند ... شما باید سایت مپ رو مستقیما به موتور جستجو معرفی کنید
مثلا از طریق گوگل وب مستر و غیره

هیچ جا ندیدم کسی موتور جستجو را از دیدن wap و imode منع کند ....
در ضمن اگر شما منع نکنید شاید سود کنید ولی ضرر نخواهید کرد ....منظورم این است: شمایی که wap و imode را منع کردید آیا به بالا رفتن رتبه سایتتان کمک می کنید؟
پس منع کردن آن فایده ای ندارد ... در حالی که اگر منع نکنید شاید به سود شما باشد .. به نظر من بهتر است imode و wap را موتور جستجو باید بشناسد ...

این بود انتقادات من ...
ولی از اینکه به فکر robot.txt انجمنتان افتادید شما را تحسین می کنم

موفق باشید

[سعید]

بهتر شدن وضعیت در موتور های جستجو به فاکتور های خیلی زیادی بستگی داره.
برای مطالعه بیشتر در این مورد، مقالات بخش آموزش انجمن رو مطالعه کنید.

وقتی میشه به این نتیجه رسید که این مورد ، موجب بهبود وضعیت شده که سایر فاکتور ها، ثابت باشند.
اما از اونجایی که زمان هم خودش یک فاکتور هست! (خصوصا برای سایت های تازه تاسیس) نمی شه بهبود وضعیت رو تنها به حساب این یک فاکتور گذاشت.
حتی اگر از لحاظ فنی ، فرمایش شما درست باشه.

[kateb]

بله سخن شما کاملا متین
اما تاثیری که من از این دیدم تمیز شدن لینک های اضافی و بی مورد در ایندکس گوگل بود که کاملا مربوط به این کد روبات میشه

مثلا این قسمت :

Disallow: /forum/index.php*prev_next
Disallow: /forum/index.php?PHPSESSID=

در خیلی از ایندیکسها این دو قسمت زیاد به چشم میاد که چنگی به دل نمیزنه .
البته تاثیرات دیگری هم داشته ولی باید چیزهای دیگه رو هم در نظر گرفت

[سعید]

Disallow: /forum/index.php*prev_next
Disallow: /forum/index.php?PHPSESSID=

با این مورد شدیدا موافقم

خصوصا در مورد این PHPSESSID .

چون خیلی از وقت ها که به صورت مهمان وارد سایت می شیم، تمام لینک ها از حالت Sef در میان و این متغیر اضافه میشه.
مشکلش هم این هست که گوگل وقتی وارد سایت شما میشه، به عنوان یک مهمان میاد! یک مهمان مهم. و وقتی لینک ها از حالت sef خارج و مهمتر مستقیما به
site.ext/forum/index.php لینک نیست. بنابراین تعداد لینک های داخلی به صفحه Index.php کاهش پیدا می کنه.

اما اگر استید راهکاری رو ارائه بدن، که کلا این PHPSESSID رو سر به نیست کنیم، خیلی بهتر میشه

چون که با این disallow ، وقتی لینک ها به اون صورت باشند، گوگل بیخیالش میشه.

[javid2005]

من هم با دو موردی که فرمودید موافقم

البته در مورد phpsessid من نظر زیادی نمی تونم بدم .. چون برام بی موقع همچین مشکلی پیش نیومده
به جز زمانی که کوکی های مرورگر فعال نبود

به نظر شما گوگل صفحات رو با کوکی فعال مرور می کنه یا نه؟ (گر چه به صورت مهمان وارد میشه)

یا چیزی که شما فرمودید در مورد phpsessid یک نقص در smf به شمار میره

[سعید]

گوگل کوکی رو قبول نمی کنه.
اکثر روبوت ها هم همینطور هستند.

[javid2005]

اگه گوگل کوکی ها رو قبول نکنه که همه لینک های smf رو به صورت phpsessid ایندکس میکنه
خودت کوکی های مرورگرت رو فعال کن بعدش به صورت میهمان وارد انجمن مثلا مامولرن شو میبینی که همه لینک ها phpsessid دارند ...
یه چک کن .. خبرش رو بده


موفق باشید

[سعید]

کوکی ها در مرورگر من فعال هستند.
ولی گاهی اوقات اون طور هست. و گاهی هم نیست!

[javid2005]

سعید جان شرمنده ... خیلی ببخشید
منظورم این بود که کوکی ها غیر فعال کن .. نه فعال

چون وقتی غیر فعال می کنی اینطوریه

راستی ... اگه کوکی هات فعاله و بازم گاهی phpsessid در آدرش صفات می بینی ... بگو کدوم سایت اینطوریه تا من هم چک کنم
آخه من هیچ وقت این مشکل رو ندارم ... چه تو مامبولرن چه تو سایت های دیگه
فقط هر وقت کوکی هام غیر فعاله این مشکل وجود داره

شاید مشکل از مرورگرت یا سایته یا اینکه من اشتباه می کنم

موفق باشید