نکته ای درباه ی robots.txt
سلام در باره ی robots.txt در آموزشی که توسط جناب فیروزمندان درج شده یود این نکته ذکر شده که :
نقل قول:
فایل robots.txt کجا باید قرار گیرد؟
- فایل robots.txt باید در root هاست شما ( پوشه اصلی که دامنه شما در آن قرار دارد ) قرار گیرد. بطور مثال آدرس فایل
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] قابل قبول هست ولی آدرسی مانند
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] غیرقابل قبول محسوب می شود و محتویات اون خوانده نمی شود. اگر شما به پوشه اصلی ( root ) دسترسی ندارید می توانید از META tag ها استفاده کنید ( + ).
با این توصیف و با توجه به اینکه اکثرن مامبو رو در فولدری بعد ار روت مثل : [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] نصب می کنند به نوعی فایل robots.txt موجود در پیشفرض مامبو کشکه دیگه!؟
اگر درست گفته باشم و با فرض اینکه در یک هاست دو مامبو نصب باشه ، آیا محتوای زیر درست ترکیب بندی شده:
کد:
User-agent: *
Disallow: /rezayat/administrator/
Disallow: /rezayat/cache/
Disallow: /rezayat/components/
Disallow: /rezayat/editor/
Disallow: /rezayat/help/
Disallow: /rezayat/images/
Disallow: /rezayat/includes/
Disallow: /rezayat/language/
Disallow: /rezayat/mambots/
Disallow: /rezayat/media/
Disallow: /rezayat/modules/
Disallow: /rezayat/templates/
Disallow: /rezayat/installation/
Disallow: /rezayat/configuration.php
بدون فرض این فاصله! صرفن جهت جداسازی است!
Disallow: /fes/administrator/
Disallow: /fes/cache/
Disallow: /fes/components/
Disallow: /fes/editor/
Disallow: /fes/help/
Disallow: /fes/images/
Disallow: /fes/includes/
Disallow: /fes/language/
Disallow: /fes/mambots/
Disallow: /fes/media/
Disallow: /fes/modules/
Disallow: /fes/templates/
Disallow: /fes/installation/
Disallow: /fes/configuration.php
و نکات بعد هم اینکه:
1- فایل robots.txt برای SMF باید چه ترکیبی داشته باشه؟
2- "می توانید از META tag ها استفاده کنید ( + ) " ماجراش چیه؟
ضمن سپاس ;)
پاسخ : نکته ای درباه ی robots.txt
این موضوع هم یادم رفت!
آیا افزودن این سطر به robots.txt توصیه نمی شه؟
کد:
Disallow: /rezayat/configuration.php
پاسخ : نکته ای درباه ی robots.txt
موارد اول که زیر هم نوشتید مشکلی نیست.
در مورد فایل configuration.php هم گوگل تا لینک یا آدرسی به اون یپدا نکنه ، به اون کاری نداره.
در عوض شما این فایل رو به روبوت های مزاحم معرفی می کنید !
یا علی
پاسخ : نکته ای درباه ی robots.txt
[quote author=سعید link=topic=18945.msg100824#msg100824 date=1233511661]
موارد اول که زیر هم نوشتید مشکلی نیست.
در مورد فایل configuration.php هم گوگل تا لینک یا آدرسی به اون یپدا نکنه ، به اون کاری نداره.
در عوض شما این فایل رو به روبوت های مزاحم معرفی می کنید !
یا علی
[/quote]
بنا بر این نیاز به وجود configuration.php در robots.txt نیست و می شه robots.txt رو با این مشخصات در روت قرار داد؟
پاسخ : نکته ای درباه ی robots.txt
سلام.بله مشخصات فوق بدون configuration.php مشکلی نداره. اگه دقت کنید فایل پیشفرض موجود در خود مامبو هم همین گونه هست (بدون اشاره به فایل کانفیگ)
یـــــــــــــــــــاعـــ ـــــــــــــــــلی
پاسخ : نکته ای درباه ی robots.txt
یه سوالم بنده بپرسم
من یکی از مطالب سایتم 2 صفحه داره که میخوام صفحه دوم ایندکس نشه، الان به این صورت نوشتم:
کد:
Disallow: /update-nod32-antivirus/page-2.html
آدرس اصلی صفحه اصلی این:
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]
و صفحه دوم این:
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]
هست. ولی با این حال توی گوگل ایندکس شده صفحه دوم. میخواستم ببینم اشتباه نوشتم توی robots.txt؟
