ممنون مجید جان
مقاله خوبی بود ... اون مقاله هم میگه میشه از کاراکتر * استفاده کرد
ولی همون نمونه کد هایی که کاراکتر * دارند رو در robots.txt checker های مختلف چک کن ... می بینی که همشون میگن استفاده از کاراکتر ستاره مجاز نیست
خودم هم قاطی کردم
این مشکل لز وقتی بوجود اومد که تو گوگل وبمستر سایت مپم ایندکس نشد و ارورش هم این بود که فایل روبوتس اجازه دسترسی به فایل [مهمان/کاربر گرامی برای دیدن لینک ها ابتدا باید عضو سایت شوید و لاگین کنید برای ثبت نام اینجا کلیک کنید] رو نمیده

حالا یه نگاهی به فایل روبوتم کن ببین مشکلی داره؟؟

کد:
User-agent: *

####################################
# DarDastras Default SMF Folders 
####################################
Disallow: /forums/attachments/
Disallow: /forums/Packages/
Disallow: /forums/Smileys/
Disallow: /forums/Sources/
Disallow: /forums/Themes/
Disallow: /forums/Games/
Disallow: /forums/Downloads/
Disallow: /forums/upload/

######################################
# DarDastras Default forums Actions 
######################################
Disallow: /forums/index.php?action=activate
Disallow: /forums/index.php?action=admin
Disallow: /forums/index.php?action=calendar
Disallow: /forums/index.php?action=editpoll
Disallow: /forums/index.php?action=findmember
Disallow: /forums/index.php?action=help
Disallow: /forums/index.php?action=helpadmin
Disallow: /forums/index.php?action=lock
Disallow: /forums/index.php?action=login
Disallow: /forums/index.php?action=logout
Disallow: /forums/index.php?action=mlist
Disallow: /forums/index.php?action=modifykarma
Disallow: /forums/index.php?action=movetopic
Disallow: /forums/index.php?action=notify
Disallow: /forums/index.php?action=notifyboard
Disallow: /forums/index.php?action=pm
Disallow: /forums/index.php?action=post
Disallow: /forums/index.php?action=printpage
Disallow: /forums/index.php?action=profile
Disallow: /forums/index.php?action=recent
Disallow: /forums/index.php?action=lock
Disallow: /forums/index.php?action=register
Disallow: /forums/index.php?action=reminder
Disallow: /forums/index.php?action=removetopic2
Disallow: /forums/index.php?action=reporttm
Disallow: /forums/index.php?action=search
Disallow: /forums/index.php?action=sendtopic
Disallow: /forums/index.php?action=splittopics
Disallow: /forums/index.php?action=stats
Disallow: /forums/index.php?action=sticky
Disallow: /forums/index.php?action=theme
Disallow: /forums/index.php?action=trackip
Disallow: /forums/index.php?action=unread
Disallow: /forums/index.php?action=unreadreplies
Disallow: /forums/index.php?action=verificationcode
Disallow: /forums/index.php?action=who
Disallow: /forums/index.php?theme

################################
# DarDastras forums mods 
################################
Disallow: /forums/index.php?action=arcade;favorites
Disallow: /forums/index.php?action=arcade;sa=highscore
Disallow: /forums/index.php?action=arcade;sa=play;random
Disallow: /forums/index.php?action=arcade;category
Disallow: /forums/index.php?action=arcade;sort
Disallow: /forums/index.php?action=arcade;stats
Disallow: /forums/index.php?action=stats;expand
Disallow: /forums/index.php?action=stats;collapse
Disallow: /forums/index.php?action=downloads
Disallow: /forums/index.php?action=emailuser
Disallow: /forums/index.php?action=links
Disallow: /forums/index.php?action=recenttopics
Disallow: /forums/index.php?action=staff
Disallow: /forums/index.php?action=viewkarma
Disallow: /forums/index.php?action=modifykarma
Disallow: /forums/index.php?f=
Disallow: /forums/index.php?*filter
Disallow: /forums/index.php?*random
Disallow: /forums/index.php?*referredby
Disallow: /forums/index.php?*thankyou

##################################################
# professional daradstras forums disallow 
##################################################
Disallow: /forums/index.php?www
Disallow: /forums/index.php/
Disallow: /forums/index.php/topic
Disallow: /forums/index.php?*;*
Disallow: /forums/index.php?PHPSESSID
Disallow: /forums/index.php?*.msg
Disallow: /forums/index.php?topic=*.msg*0$
Disallow: /forums/index.php?topic=*.msg*5$
Disallow: /forums/index.php?*.new
Disallow: /forums/index.php?*;wap
Disallow: /forums/index.php?*;wap2
Disallow: /forums/index.php?*;imode
Disallow: /forums/index.php?*boardseen
Disallow: /forums/index.php?*children
Disallow: /forums/index.php?*topicseen
Disallow: /forums/index.php?*prev_next
Disallow: /forums/index.php?*send
Disallow: /forums/index.php?*sort
Disallow: /forums/index.php?*sound
Disallow: /forums/index.php?*collapse
Disallow: /forums/index.php?*expand
Disallow: /forums/index.php?*potparty
Disallow: /forums/index.php?action=http
Disallow: /forums/index.php?board=http
Disallow: /forums/index.php?topic=http
Disallow: /forums/index.php?*http

######################################
# dardastras forums pretty 
######################################
Disallow: /forums/activate/
Disallow: /forums/admin/
Disallow: /forums/arcade/
Disallow: /forums/calendar/
Disallow: /forums/contact/
Disallow: /forums/collapse/
Disallow: /forums/deletemsg/
Disallow: /forums/dlattach/
Disallow: /forums/editpoll/
Disallow: /forums/gallery/
Disallow: /forums/help/
Disallow: /forums/helpadmin/
Disallow: /forums/links/
Disallow: /forums/lock/
Disallow: /forums/login/
Disallow: /forums/login2/
Disallow: /forums/logout/
Disallow: /forums/markasread/
Disallow: /forums/mergetopics/
Disallow: /forums/mlist/
Disallow: /forums/modifykarma/
Disallow: /forums/movetopic/
Disallow: /forums/notify/
Disallow: /forums/notifyboard/
Disallow: /forums/pm/
Disallow: /forums/post/
Disallow: /forums/printpage/
Disallow: /forums/profile/
Disallow: /forums/register/
Disallow: /forums/removetopic2/
Disallow: /forums/reporttm/
Disallow: /forums/search/
Disallow: /forums/search2/
Disallow: /forums/sendtopic/
Disallow: /forums/splittopics/
Disallow: /forums/stats/
Disallow: /forums/sticky/
Disallow: /forums/trackip/
Disallow: /forums/unread/
Disallow: /forums/unreadreplies/
Disallow: /forums/verificationcode/
Disallow: /forums/who/

##################################################
# DarDastras forums pretty professional 
##################################################
Disallow: /forums/*/?sort
Disallow: /forums/*/msg
Disallow: /forums/*/?start
Disallow: /forums/*/?sa
Disallow: /forums/*/?pretty
Disallow: /forums/*/?action
Disallow: /forums/*/#new
Disallow: /forums/*/?prev_next
خیلی ممنون