یه سوال فوری و مهم در مورد robots.txt

[javid2005]

سلام
می خوام یه مقاله کامل و جامع در مورد فایل robots.txt بذارم ... فقط یه مشکل دارم
کسی هست کمکم کنه؟

فرض کنید من در سایتم این دو آدرس رو دارم

www.mydomain.com/javid/?sort1
[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]

من می خوام با یه دستور در robots.txt کاری کنم گوگل به هیچکدوم از این آدرس ها دسترسی پیدا نکنه
با فرض اینکه ما هزاران اسم به صورت زیر داریم

ali/?sort1
mohammad/?sort1
mohsen/?sort1

در بعضی از سایت های معتبر robots.txt به صورت زیر تنظیم شده که خلاف الگوریتم گوگل هست

user agent: *
disallow: /*/?sort1

قرار دادن کاراکتر * در robots.txt از نظر اسپایدرهایی مثل گوگل کاملا غیر قانونی است

حالا برای حل این مشکل باید چیکار کنم؟
جناب فیروزمندان ، مدیران ، و تمامی اعضای خوب مامبولرن کمک کنند تا این مقاله ام تکمیل بشه
مرسی

[mhadaily]

این مقاله رو مطالعه کنید و به لینک های مرتبطش هم سری بزن

tools.seobook.com/robots-txt/ فکر کنم حل بشه

[javid2005]

ممنون مجید جان
مقاله خوبی بود ... اون مقاله هم میگه میشه از کاراکتر * استفاده کرد
ولی همون نمونه کد هایی که کاراکتر * دارند رو در robots.txt checker های مختلف چک کن ... می بینی که همشون میگن استفاده از کاراکتر ستاره مجاز نیست
خودم هم قاطی کردم
این مشکل لز وقتی بوجود اومد که تو گوگل وبمستر سایت مپم ایندکس نشد و ارورش هم این بود که فایل روبوتس اجازه دسترسی به فایل [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] رو نمیده

حالا یه نگاهی به فایل روبوتم کن ببین مشکلی داره؟؟

User-agent: *

####################################
# DarDastras Default SMF Folders 
####################################
Disallow: /forums/attachments/
Disallow: /forums/Packages/
Disallow: /forums/Smileys/
Disallow: /forums/Sources/
Disallow: /forums/Themes/
Disallow: /forums/Games/
Disallow: /forums/Downloads/
Disallow: /forums/upload/

######################################
# DarDastras Default forums Actions 
######################################
Disallow: /forums/index.php?action=activate
Disallow: /forums/index.php?action=admin
Disallow: /forums/index.php?action=calendar
Disallow: /forums/index.php?action=editpoll
Disallow: /forums/index.php?action=findmember
Disallow: /forums/index.php?action=help
Disallow: /forums/index.php?action=helpadmin
Disallow: /forums/index.php?action=lock
Disallow: /forums/index.php?action=login
Disallow: /forums/index.php?action=logout
Disallow: /forums/index.php?action=mlist
Disallow: /forums/index.php?action=modifykarma
Disallow: /forums/index.php?action=movetopic
Disallow: /forums/index.php?action=notify
Disallow: /forums/index.php?action=notifyboard
Disallow: /forums/index.php?action=pm
Disallow: /forums/index.php?action=post
Disallow: /forums/index.php?action=printpage
Disallow: /forums/index.php?action=profile
Disallow: /forums/index.php?action=recent
Disallow: /forums/index.php?action=lock
Disallow: /forums/index.php?action=register
Disallow: /forums/index.php?action=reminder
Disallow: /forums/index.php?action=removetopic2
Disallow: /forums/index.php?action=reporttm
Disallow: /forums/index.php?action=search
Disallow: /forums/index.php?action=sendtopic
Disallow: /forums/index.php?action=splittopics
Disallow: /forums/index.php?action=stats
Disallow: /forums/index.php?action=sticky
Disallow: /forums/index.php?action=theme
Disallow: /forums/index.php?action=trackip
Disallow: /forums/index.php?action=unread
Disallow: /forums/index.php?action=unreadreplies
Disallow: /forums/index.php?action=verificationcode
Disallow: /forums/index.php?action=who
Disallow: /forums/index.php?theme

################################
# DarDastras forums mods 
################################
Disallow: /forums/index.php?action=arcade;favorites
Disallow: /forums/index.php?action=arcade;sa=highscore
Disallow: /forums/index.php?action=arcade;sa=play;random
Disallow: /forums/index.php?action=arcade;category
Disallow: /forums/index.php?action=arcade;sort
Disallow: /forums/index.php?action=arcade;stats
Disallow: /forums/index.php?action=stats;expand
Disallow: /forums/index.php?action=stats;collapse
Disallow: /forums/index.php?action=downloads
Disallow: /forums/index.php?action=emailuser
Disallow: /forums/index.php?action=links
Disallow: /forums/index.php?action=recenttopics
Disallow: /forums/index.php?action=staff
Disallow: /forums/index.php?action=viewkarma
Disallow: /forums/index.php?action=modifykarma
Disallow: /forums/index.php?f=
Disallow: /forums/index.php?*filter
Disallow: /forums/index.php?*random
Disallow: /forums/index.php?*referredby
Disallow: /forums/index.php?*thankyou

##################################################
# professional daradstras forums disallow 
##################################################
Disallow: /forums/index.php?www
Disallow: /forums/index.php/
Disallow: /forums/index.php/topic
Disallow: /forums/index.php?*;*
Disallow: /forums/index.php?PHPSESSID
Disallow: /forums/index.php?*.msg
Disallow: /forums/index.php?topic=*.msg*0$
Disallow: /forums/index.php?topic=*.msg*5$
Disallow: /forums/index.php?*.new
Disallow: /forums/index.php?*;wap
Disallow: /forums/index.php?*;wap2
Disallow: /forums/index.php?*;imode
Disallow: /forums/index.php?*boardseen
Disallow: /forums/index.php?*children
Disallow: /forums/index.php?*topicseen
Disallow: /forums/index.php?*prev_next
Disallow: /forums/index.php?*send
Disallow: /forums/index.php?*sort
Disallow: /forums/index.php?*sound
Disallow: /forums/index.php?*collapse
Disallow: /forums/index.php?*expand
Disallow: /forums/index.php?*potparty
Disallow: /forums/index.php?action=http
Disallow: /forums/index.php?board=http
Disallow: /forums/index.php?topic=http
Disallow: /forums/index.php?*http

######################################
# dardastras forums pretty 
######################################
Disallow: /forums/activate/
Disallow: /forums/admin/
Disallow: /forums/arcade/
Disallow: /forums/calendar/
Disallow: /forums/contact/
Disallow: /forums/collapse/
Disallow: /forums/deletemsg/
Disallow: /forums/dlattach/
Disallow: /forums/editpoll/
Disallow: /forums/gallery/
Disallow: /forums/help/
Disallow: /forums/helpadmin/
Disallow: /forums/links/
Disallow: /forums/lock/
Disallow: /forums/login/
Disallow: /forums/login2/
Disallow: /forums/logout/
Disallow: /forums/markasread/
Disallow: /forums/mergetopics/
Disallow: /forums/mlist/
Disallow: /forums/modifykarma/
Disallow: /forums/movetopic/
Disallow: /forums/notify/
Disallow: /forums/notifyboard/
Disallow: /forums/pm/
Disallow: /forums/post/
Disallow: /forums/printpage/
Disallow: /forums/profile/
Disallow: /forums/register/
Disallow: /forums/removetopic2/
Disallow: /forums/reporttm/
Disallow: /forums/search/
Disallow: /forums/search2/
Disallow: /forums/sendtopic/
Disallow: /forums/splittopics/
Disallow: /forums/stats/
Disallow: /forums/sticky/
Disallow: /forums/trackip/
Disallow: /forums/unread/
Disallow: /forums/unreadreplies/
Disallow: /forums/verificationcode/
Disallow: /forums/who/

##################################################
# DarDastras forums pretty professional 
##################################################
Disallow: /forums/*/?sort
Disallow: /forums/*/msg
Disallow: /forums/*/?start
Disallow: /forums/*/?sa
Disallow: /forums/*/?pretty
Disallow: /forums/*/?action
Disallow: /forums/*/#new
Disallow: /forums/*/?prev_next

خیلی ممنون

[javid2005]

من که دارم دیوونه میشم

از دیشب فایل robots.txt رو به صورت زیر تغییردادم

User-Agent: *

Disallow:

دیگه فکر نمی کنم مشکل از فایل robots.txt باشه
ولی گوگل وبمستر ارور میده و ارورش هم اینه

Status
Network unreachable: robots.txt unreachable 
were unable to crawl your Sitemap because we found a robots.txt file at the root of your site but were unable to download it. Please ensure that it is accessible or remove it completely. 	

Problem detected on:Sep 9, 2008

دیگه باید چیکار کنم ... مشکلم از کجاست
خواهشا کمک کنید ... نمی دونم چرا گوگل نمی تونه مطالبم رو ایندکس کنه در حالی که یاهو این کار رو میکنه

[سعید]

ببين اين به دردت مي خوره؟

[مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید]

[javid2005]

سعید جان
اولا خیلی خیلی ممنون
ولی .. سعید جان اصلا مطلبم رو خوندی ... متوجه شدی مشکلم چیه
این مقاله ای که شما معرفی کردی که نکات کاملا ابتدایی robots.txt رو توضیح میده
مشکل من خیلی فراتر و تخصصی تر از این حرفاست
اگه ممکنه یه لینک مطلب خارجی از اون اروری که گذاشتم برام بذارید
بازم ممنون ...

آقا مجید و آقا سعید و بقیه دوستان ... نظر شخصی خودتون چیه؟
به نظر شما robots.txt که در ارسال دومم قرار دادم مشکلی داره؟
چرا گوگل همچین اروری رو میده؟
کسی می تونه در مورد کاراکتر * توضیح بده؟

حداقل تا می تونید لینک خارجی معرفی کنید ببینم اونها چی میگن (مخصوصا در مورد ارور گوگل وبمستر)
مرسی

[javid2005]

باز هم سلام

تا اینجا فهمیدم کدهای داخل فایل robots.txt من مشکل نداره
چون وقتی این کد ها رو هم قرار میدم بازم گوگل وبمستر ارور میده

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

همانطور که خودتون می دونید این کد مربوط به پیشفرض مامبو هست پس مشکلی توش نیست

من احتمال میدم مربوط به فایل htaccess من باشه ... نظر شما چیه؟
البته فقط یه احتماله
در ضمن این همه افراد متخصص تو مامبولرن داریم ... دیگه کسی نیست کمکی کنه؟

[firoozmandan]

سلام

سایت شما در root قرار داره یا فولدر ؟
robots.txt چطور ؟ کجا قرار داره ؟

مطمئن هستی فایلی که به عنوان سایت مپ ست میکنی استانداردش مشکل نداره ؟

یا علی

[javid2005]

ممنون از پاسختون

سایتم در فولدر قرار داره ... robots.txt رو برای انجمنم دارم تنظیم می کنم و نمونه ای که در ارسال قبلیم گذاشتم فقط یه تست بود
robots.txt در root قرار داره ... مشکلی هم از نظر ساختار نداره ... تو ارسال های قبلی چندیدن نمونه مختلف رو گذاشتم که برای همشون ارور میده .. پس مشکل از robots.txt نیست .. جالب اینه که حتی فایل robots.txt رو حذف می کنم بازم این ارور میده
سایت مپ هم هیچ مشکلی نداره ... اگه مشکل داشت از همون اول نباید ایندکس میشد ... ولی الان فقط چند روزه که ایندکس نمیشه

جناب فییروزمندان
آخرین نتیجه ای که گرفتم این بود که htaccess مشکل داره .. چون وقتی فایل robots.txt هم وجود نداره بازم گوگل ارور مربوط به robots.txt میده و این نشاندهنده اینه که اصلا به این فایل دسترسی نداره ... وقتی htaccess رو بررسی کردم دیدم بازم مشکلی نیست

آخرین نتیجه گیری: سرور و هاستینگ مشکل داره ... در اولین فرصت با پشتیبانی هاست تماس می گیرم و نتیجه رو همینجا اعلام می کنم ... امیدوارم اگه مشکلم حل نشد همینجا کمکم کنید ... ممنون میشم

[mot.moh]

من هم دچار این مشکل شده بودم. مشکل اینه که گوگل فایل روبوت رو دیر به دیر بررسی می کنه. مال من هم طول کشید تا به روز بشه.
شما برو توی گوگل وب مسترز و بعد تولز و بعد آنالیز روبوت
به Last downloaded دقت کن ببین مال کی هستش. آیا از اون وقت عوض کردی ؟
در ضمن برای ایندکس همه چی فایل روبوت رو به این صورت تغییر بده.
user-agent:*
allow:/