robots.txt و ایندکس شدن بهتر SMF در گوگل

[kateb]

با سلام دوستان
من از این کد در روبات تکس استفاده کردم فکر میکنم نتیجه بهتری در ایندکس شدن گوگل داشت :


User-agent: *

Disallow: /forum/index.php?wap
Disallow: /forum/index.php?wap2
Disallow: /forum/index.php?imode
Disallow: /forum/index.php?type=rss
Disallow: /forum/index.php*sort
Disallow: /forum/index.php*prev_next
Disallow: /forum/index.php?PHPSESSID=
Disallow: /forum/Smileys
Disallow: /forum/Themes
Allow: /forum/index.php?action=forum*
Allow: /forum/index.php?action=tags*
Allow: /forum/index.php?action=sitemap*
Allow: *forum/index.php/topic*
Allow: *forum/index.php/board*

User-agent: Googlebot-Mobile
Allow: /forum/index.php?wap
Allow: /forum/index.php?wap2

User-agent: Slurp
Allow: /forum/index.php?wap
Allow: /forum/index.php?wap2

Sitemap: <b><font color=red>فقط کاربران عضو انجمن می توانند لینک ها را مشاهده کنند</font></b>

[javid2005]

سلام

فکر نمی کنم در فایل robot.txt نیازی به بکار بردن کلمه allow داشته باشه
تمامی پارامترهای robot.txt با disallow تنظیم می شوند و آدرس هایی که disallow نشدند به طور خودکار allow هستند یعنی گوگل به سراغ آنها خواهد رفت

در ضمن آیا به نظر شما نوشتن سایت مپ در انتهای robot.txt تاثیری در بهتر شدن وضعیت نقشه سایت شما در موتور جستجو دارد؟
من به این موضوع اعتقاد ندارم .... تا بحال ندیدم کسی سایت مپ را در robots.txt وارد کند ... شما باید سایت مپ رو مستقیما به موتور جستجو معرفی کنید
مثلا از طریق گوگل وب مستر و غیره

هیچ جا ندیدم کسی موتور جستجو را از دیدن wap و imode منع کند ....
در ضمن اگر شما منع نکنید شاید سود کنید ولی ضرر نخواهید کرد ....منظورم این است: شمایی که wap و imode را منع کردید آیا به بالا رفتن رتبه سایتتان کمک می کنید؟
پس منع کردن آن فایده ای ندارد ... در حالی که اگر منع نکنید شاید به سود شما باشد .. به نظر من بهتر است imode و wap را موتور جستجو باید بشناسد ...

این بود انتقادات من ...
ولی از اینکه به فکر robot.txt انجمنتان افتادید شما را تحسین می کنم

موفق باشید

[سعید]

بهتر شدن وضعیت در موتور های جستجو به فاکتور های خیلی زیادی بستگی داره.
برای مطالعه بیشتر در این مورد، مقالات بخش آموزش انجمن رو مطالعه کنید.

وقتی میشه به این نتیجه رسید که این مورد ، موجب بهبود وضعیت شده که سایر فاکتور ها، ثابت باشند.
اما از اونجایی که زمان هم خودش یک فاکتور هست! (خصوصا برای سایت های تازه تاسیس) نمی شه بهبود وضعیت رو تنها به حساب این یک فاکتور گذاشت.
حتی اگر از لحاظ فنی ، فرمایش شما درست باشه.

[kateb]

بله سخن شما کاملا متین
اما تاثیری که من از این دیدم تمیز شدن لینک های اضافی و بی مورد در ایندکس گوگل بود که کاملا مربوط به این کد روبات میشه

مثلا این قسمت :


Disallow: /forum/index.php*prev_next
Disallow: /forum/index.php?PHPSESSID=

در خیلی از ایندیکسها این دو قسمت زیاد به چشم میاد که چنگی به دل نمیزنه .
البته تاثیرات دیگری هم داشته ولی باید چیزهای دیگه رو هم در نظر گرفت

[سعید]

Disallow: /forum/index.php*prev_next
Disallow: /forum/index.php?PHPSESSID=

با این مورد شدیدا موافقم ;)

خصوصا در مورد این PHPSESSID .

چون خیلی از وقت ها که به صورت مهمان وارد سایت می شیم، تمام لینک ها از حالت Sef در میان و این متغیر اضافه میشه.
مشکلش هم این هست که گوگل وقتی وارد سایت شما میشه، به عنوان یک مهمان میاد! یک مهمان مهم. و وقتی لینک ها از حالت sef خارج و مهمتر مستقیما به
site.ext/forum/index.php لینک نیست. بنابراین تعداد لینک های داخلی به صفحه Index.php کاهش پیدا می کنه.

اما اگر استید راهکاری رو ارائه بدن، که کلا این PHPSESSID رو سر به نیست کنیم، خیلی بهتر میشه :)

چون که با این disallow ، وقتی لینک ها به اون صورت باشند، گوگل بیخیالش میشه.

[javid2005]

من هم با دو موردی که فرمودید موافقم

البته در مورد phpsessid من نظر زیادی نمی تونم بدم .. چون برام بی موقع همچین مشکلی پیش نیومده
به جز زمانی که کوکی های مرورگر فعال نبود

به نظر شما گوگل صفحات رو با کوکی فعال مرور می کنه یا نه؟ (گر چه به صورت مهمان وارد میشه)

یا چیزی که شما فرمودید در مورد phpsessid یک نقص در smf به شمار میره

[سعید]

گوگل کوکی رو قبول نمی کنه.
اکثر روبوت ها هم همینطور هستند.

[javid2005]

اگه گوگل کوکی ها رو قبول نکنه که همه لینک های smf رو به صورت phpsessid ایندکس میکنه
خودت کوکی های مرورگرت رو فعال کن بعدش به صورت میهمان وارد انجمن مثلا مامولرن شو میبینی که همه لینک ها phpsessid دارند ...
یه چک کن .. خبرش رو بده


موفق باشید

[سعید]

کوکی ها در مرورگر من فعال هستند.
ولی گاهی اوقات اون طور هست. و گاهی هم نیست!

[javid2005]

سعید جان شرمنده ... خیلی ببخشید
منظورم این بود که کوکی ها غیر فعال کن .. نه فعال

چون وقتی غیر فعال می کنی اینطوریه

راستی ... اگه کوکی هات فعاله و بازم گاهی phpsessid در آدرش صفات می بینی ... بگو کدوم سایت اینطوریه تا من هم چک کنم
آخه من هیچ وقت این مشکل رو ندارم ... چه تو مامبولرن چه تو سایت های دیگه
فقط هر وقت کوکی هام غیر فعاله این مشکل وجود داره

شاید مشکل از مرورگرت یا سایته یا اینکه من اشتباه می کنم

موفق باشید

[سعید]

نه. هم با مرورگر IE و هم با FF2 تست کردم.
هم روی لوکال و هم روی برخی از سایت ها.
ضمنا آخرین نسخه SMf هم نصب هست!

نمونه اون : <b><font color=red>فقط کاربران عضو انجمن می توانند لینک ها را مشاهده کنند</font></b>

[javid2005]

سعید جان

شما درست میگید .... انجمنی که معرفی کردید این مشکل رو داره

چک کردم و دیدم تمامی board ها به صورت phpsessid لینک شده اند ولی تاپیک ها درست هستند ...
مشخصه که sef هم فعاله چون لینک تاپیک ها با پسوند html نشون میده

چند دقیقه بعد که وارد شدم دیدم این مشکل درست شده

ولی خودت انجمن مامبولرن رو ببین یا انجمن خودم (دردسترس) اصلا همچین چیزی توش پیدا نمیشه
به نظرم انجمنتون مشکلی داره ....
باید اصلاح بشه ... شاید هم نسخه انجمن شما این مشکل رو داره
ورژنش رو بگو چنده؟

باید به فکر چاره باشید
شاید با ارتقا مشکل حل بشه یا عوض کردن ورژن smf

[سعید]

باید اصلاح بشه ... شاید هم نسخه انجمن شما این مشکل رو داره
ورژنش رو بگو چنده؟

باید به فکر چاره باشید
شاید با ارتقا مشکل حل بشه یا عوض کردن ورژن smf

مطمئنید که وارد سایت شدید ؟؟؟
چون توی خود سایت جواب همه این سوالا هست ... ;)

[javid2005]

حواس برام نمونده .... درسته ورژنش 1.1.5 هستش

چون توی خود سایت جواب همه این سوالا هست ...
جواب همه سوال ها نه .... جواب یه سوال ... سوال اصلی اینه که مشکل از کجاست؟

آخه چرا بعضی از انجمن ها اصلا این مشکل رو ندارند؟

چی بگم واالله ...

ظاهرا فرضیه من اشتباه بوده و ربطی به ورژن نداره ... چون بعضی از سایت های با ورژن 1.1.5 و 1.1.4 این مشکل رو دارند

یه سوال دیگه : mambolearn فایل robots.txt نداره؟؟؟؟؟؟؟

[firoozmandan]

سلام

یکی از علت هایی که این مشکل پیش میاد این هست که session save Path قابل نوشتن نیست ...

جاوید جان در جواب سوال شما : خیلی ساده میتونی با زدن یک url ببینی وجود داره یا خیر ;)

mambolearn.com/robots.txt !

یا علی

[سعید]

سلام.

اما اگر قابل نوشتن هم باشه، باز هم این مشکل بوجود میاد.

حتی من روی لوکال هم همین مشکل رو دارم.

[javid2005]

جاوید جان در جواب سوال شما : خیلی ساده میتونی با زدن یک url ببینی وجود داره یا خیر

درسته آقای فیروزمندان ولی
حقیقتا من قبلا همه راه ها رو رفتم تا این فایل رو پیدا کنم نتونستم ... خودم هم نمی دونم مشکل از چی بود
معذرت می خوام

این محتوای فایل robot.txt مامبولرنه


User-agent: *
Disallow: /_jgfw_/
Disallow: /.flood/

به نظر شما بهتر از این نمیتونه باشه؟؟؟؟؟؟؟؟

[firoozmandan]

سلام

در مورد robots.txt فکر نمیکنم لزومی داشته باشه بقیه پوشه هامون رو disallow کنیم چون مامبو در پوشه اصلی قرار نداره ! پس ....

شما نظر دیگه ای دارید ؟

یا علی

[javid2005]

حق با شماست آقای فیروزمندان

من متوجه نبودم که مامبو در پوشه fa قرار داره

ولی ...........

انجمن چطور؟؟؟؟

من اولش فکر کردم شما همه مجوز دسترسی برای موتور جستجو رو در مسیر <b><font color=red>فقط کاربران عضو انجمن می توانند لینک ها را مشاهده کنند</font></b> معرفی کردید
مثلا این کار رو کردید


User-agent: *
Disallow: /forum/index.php/action,profile/
Disallow: /forum/index.php/action,calendar

در حالی که برای مامبو یک فایل جداگانه تعریف شده
خب ... به نظر شما انجمن مامبولرن نیازی به فایل robots.txt نداره ... مثلا چه لزومی داره گوگل پروفایل کاربران رو ببینه ... یا چیز های دیگه که بهتره از دسترس موتور جستجو دور بمونه ...

حالا نظر شما چیه؟؟؟

[firoozmandan]

سلام

به نظر شما تفاوت پروفایل کاربرها با صفحات دیگه چیه ؟

یا علی

[javid2005]

به نظر خودم بخش آخرین ارسال های قسمت پروفایل می تونه برای موتور جستجو مفید باشه
ولی نه برای انجمن بزرگی مثل انجمن مامبولرن ... چون تمامی مطالب انجمن شما در کمتر از چند ساعت تو گوگل ایندکس شده است و رتبه خوبی هم داره

در مورد سوال شما باید بگم صفحه پروفایل کاربران هیچ مطلب مفیدی برای افرادی که در موتورهای جستجو سرچ می کنند نداره ... وقتی یکی می خواد یه موضوعی رو تو گوگل سرچ کنه چه لزومی داره صفحات پروفایل کاربران در کنار مطالب سایت باعث سردرگمی جستجوکننده بشه

فایل روبوت برای موتور جستجو ساخته شده و کاربران در موتور جستجو دنبال مطالبی می گردند که براشون مفید باشه نه پروفایل من نوعی که هیچ چی براشون نداره

به اعتقاد من هر چی صفحات یک سایت یا انجمن در موتورهای جستجو گلچین شده تر و غیر تکراری تر و دارای مطالب مفید تر ایندکس شده باشه اون سایت یا انجمن در موتورهای جستجو رتبه بهتری به خودش اختصاص میده

در ضمن ... مد نظر من فقط صفحات پروفایل نیست ... بلکه تقویم ... راهنمایی ... آمار انجمن و چند چیز دیگه هم هست ... مثلا همین قسمت راهنمایی در صد ها smf فارسی که توسط گروه مامبولرن ترجمه شده مطلبی تکراریه ... هیچ کاربری در گوگل دنبال بخشی از صفحه راهنمایی نمی گرده ... پس بهتره این صفحه هم ایندکس نشه و انجمن تر و تمیز به گوگل معرفی بشه

اگه اعتقادم نادرسته حتما بهم توضیح بدید

[firoozmandan]

سلام

یکی از فاکتورهایی که در پیج رنک مهم هست تعداد صفحات ایندکس شده هست . این موضوع که مطالب صفحه ایندکس شده مفید باشه یا غیر مفید ، نظر شخصی من و شماست نه گوگل . چون از نظر گوگل صفحه ای ایندکس شده که 1- تکراری نیست 2- کانتنت داره

پس نظر من این هست که این صفحات نباید ***** بشن بلکه بلعکس باید ایندکس بشن ...

یا علی

[سعید]

مدتي هست كه رتبه انجمن در گوگل پايين اومده. من زماني كه 5 بود رو يادم هست. اما الان 3 هست. فقط روت 4 هست. چرا اينطوري افت كرده ؟

ضمنا الان با وجود اينكه صفحاتي كه با لينك به پست ها ( topicXXX.msgYYYY.html ) باز ميشن ، noindex هستند ، اما باز هم هستند صفحاتي كه ايندكس شدند.

[javid2005]

ضمنا الان با وجود اينكه صفحاتي كه با لينك به پست ها ( topicXXX.msgYYYY.html ) باز ميشن ، noindex هستند ، اما باز هم هستند صفحاتي كه ايندكس شدند.

درسته ... من هم رو این حساب تو یکی از تاپیک ها به آقای فیروزمندان گفتم که ارسال های مامبولرن noindex نیستند ولی بعدا متوجه شدم اشتباه کردم و سورس صفحات پاسخ داده شده noindex هستند
ولی هنوز گیجم که چرا اینطوریه؟؟؟

یه چیز دیگه اینکه تا بحال ندیدم گوگل انجمنم رو به صورت topicXXX.msgYYYY.html ایندکس کنه .. (به خاطر noindex )
ولی یاهو بعضی وقت ها به کلمه noindex توجه نمی کنه و صفحاتم رو ایندکس می کنه

یه سوال دیگه هم از آقای فیروزمندان داشتم ... بالا بودن تعداد مطالب ایندکس شده در موتورهای جستجو چقدر در بالا رفتن رتبه تاثیر داره؟؟؟

[amiralib]

رتبه منظورتون چی هست ؟
اگر page rank که تقریبا تاثیری نداره ! یعنی نسبت به اینکه چند سایت خوب شمارو لینک بدن تاثیرش خیلی خیلی کمتر هست.
ولی اگر منظور اینکه موقع سرچ کردن چقدر بالاتر نشون داده بشه سایتتون خوب خیلی خیلی تاثیر داره و مهمترین چیز همین هست البته پیج رنک هم تو این موضوع دخیله