עזרה | חסימת גישה לבוטים דרך קובץ .htaccess

[אדיר]

כדי לא לתת כח משתמשים ב- nofollow.
כדי לא לאנדקס משתמשים ב- noindex וניתן לממש את זה גם עם הקובץ robots.txt בעזרת Disallow.

[itziklug]

עשיתי את הקובץ robots.txt והכנסתי את כל הפקודות הבאות:
(הבעיה שאני מקבל בכלי מנהל אתרים בגוגל את ההודעה: נראה שקובץ robots.txt אינו חוקי.)
User-agent: *
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /editpost.php
Disallow: /login.php
Disallow: /member.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /admincp/
Disallow: /images/
Disallow: /modcp/