نکته ای درباه ی robots.txt

[myparsa]

سلام در باره ی robots.txt در آموزشی که توسط جناب فیروزمندان درج شده یود این نکته ذکر شده که :

فایل robots.txt کجا باید قرار گیرد؟
- فایل robots.txt باید در root هاست شما ( پوشه اصلی که دامنه شما در آن قرار دارد ) قرار گیرد. بطور مثال آدرس فایل [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] قابل قبول هست ولی آدرسی مانند [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] غیرقابل قبول محسوب می شود و محتویات اون خوانده نمی شود. اگر شما به پوشه اصلی ( root ) دسترسی ندارید می توانید از META tag ها استفاده کنید ( + ).

با این توصیف و با توجه به اینکه اکثرن مامبو رو در فولدری بعد ار روت مثل : [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] نصب می کنند به نوعی فایل robots.txt موجود در پیشفرض مامبو کشکه دیگه!؟

اگر درست گفته باشم و با فرض اینکه در یک هاست دو مامبو نصب باشه ، آیا محتوای زیر درست ترکیب بندی شده:

User-agent: * 
Disallow: /rezayat/administrator/
Disallow: /rezayat/cache/
Disallow: /rezayat/components/
Disallow: /rezayat/editor/
Disallow: /rezayat/help/
Disallow: /rezayat/images/
Disallow: /rezayat/includes/
Disallow: /rezayat/language/
Disallow: /rezayat/mambots/
Disallow: /rezayat/media/
Disallow: /rezayat/modules/
Disallow: /rezayat/templates/
Disallow: /rezayat/installation/
Disallow: /rezayat/configuration.php 
 
بدون فرض این فاصله! صرفن جهت جداسازی است!

Disallow: /fes/administrator/
Disallow: /fes/cache/
Disallow: /fes/components/
Disallow: /fes/editor/
Disallow: /fes/help/
Disallow: /fes/images/
Disallow: /fes/includes/
Disallow: /fes/language/
Disallow: /fes/mambots/
Disallow: /fes/media/
Disallow: /fes/modules/
Disallow: /fes/templates/
Disallow: /fes/installation/ 
Disallow: /fes/configuration.php

و نکات بعد هم اینکه:

1- فایل robots.txt برای SMF باید چه ترکیبی داشته باشه؟

2- "می توانید از META tag ها استفاده کنید ( + ) " ماجراش چیه؟

ضمن سپاس

[myparsa]

این موضوع هم یادم رفت!
آیا افزودن این سطر به robots.txt توصیه نمی شه؟

Disallow: /rezayat/configuration.php

[سعید]

موارد اول که زیر هم نوشتید مشکلی نیست.

در مورد فایل configuration.php هم گوگل تا لینک یا آدرسی به اون یپدا نکنه ، به اون کاری نداره.

در عوض شما این فایل رو به روبوت های مزاحم معرفی می کنید !

یا علی

[myparsa]

[quote author=سعید link=topic=18945.msg100824#msg100824 date=1233511661]
موارد اول که زیر هم نوشتید مشکلی نیست.

در مورد فایل configuration.php هم گوگل تا لینک یا آدرسی به اون یپدا نکنه ، به اون کاری نداره.

در عوض شما این فایل رو به روبوت های مزاحم معرفی می کنید !

یا علی
[/quote]

بنا بر این نیاز به وجود configuration.php در robots.txt نیست و می شه robots.txt رو با این مشخصات در روت قرار داد؟

[atoofy]

سلام.بله مشخصات فوق بدون configuration.php مشکلی نداره. اگه دقت کنید فایل پیشفرض موجود در خود مامبو هم همین گونه هست (بدون اشاره به فایل کانفیگ)

یـــــــــــــــــــاعـــ ـــــــــــــــــلی

[emad_67]

یه سوالم بنده بپرسم
من یکی از مطالب سایتم 2 صفحه داره که میخوام صفحه دوم ایندکس نشه، الان به این صورت نوشتم:

Disallow: /update-nod32-antivirus/page-2.html

آدرس اصلی صفحه اصلی این:
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]

و صفحه دوم این:
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]

هست. ولی با این حال توی گوگل ایندکس شده صفحه دوم. میخواستم ببینم اشتباه نوشتم توی robots.txt؟