نکته ای درباه ی robots.txt

[myparsa]

سلام در باره ی robots.txt در آموزشی که توسط جناب فیروزمندان درج شده یود این نکته ذکر شده که :

فایل robots.txt کجا باید قرار گیرد؟
- فایل robots.txt باید در root هاست شما ( پوشه اصلی که دامنه شما در آن قرار دارد ) قرار گیرد. بطور مثال آدرس فایل [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] قابل قبول هست ولی آدرسی مانند [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] غیرقابل قبول محسوب می شود و محتویات اون خوانده نمی شود. اگر شما به پوشه اصلی ( root ) دسترسی ندارید می توانید از META tag ها استفاده کنید ( + ).

با این توصیف و با توجه به اینکه اکثرن مامبو رو در فولدری بعد ار روت مثل : [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] نصب می کنند به نوعی فایل robots.txt موجود در پیشفرض مامبو کشکه دیگه!؟

اگر درست گفته باشم و با فرض اینکه در یک هاست دو مامبو نصب باشه ، آیا محتوای زیر درست ترکیب بندی شده:

User-agent: * 
Disallow: /rezayat/administrator/
Disallow: /rezayat/cache/
Disallow: /rezayat/components/
Disallow: /rezayat/editor/
Disallow: /rezayat/help/
Disallow: /rezayat/images/
Disallow: /rezayat/includes/
Disallow: /rezayat/language/
Disallow: /rezayat/mambots/
Disallow: /rezayat/media/
Disallow: /rezayat/modules/
Disallow: /rezayat/templates/
Disallow: /rezayat/installation/
Disallow: /rezayat/configuration.php 
 
بدون فرض این فاصله! صرفن جهت جداسازی است!

Disallow: /fes/administrator/
Disallow: /fes/cache/
Disallow: /fes/components/
Disallow: /fes/editor/
Disallow: /fes/help/
Disallow: /fes/images/
Disallow: /fes/includes/
Disallow: /fes/language/
Disallow: /fes/mambots/
Disallow: /fes/media/
Disallow: /fes/modules/
Disallow: /fes/templates/
Disallow: /fes/installation/ 
Disallow: /fes/configuration.php

و نکات بعد هم اینکه:

1- فایل robots.txt برای SMF باید چه ترکیبی داشته باشه؟

2- "می توانید از META tag ها استفاده کنید ( + ) " ماجراش چیه؟

ضمن سپاس