ציטוט:
|
נכתב במקור על ידי Alter
סתם שאלה שחלפה במוחי.
כיצד עובד על הקטע עם הרובוטים שנכנסים לאתרים?
למשל, יש לי פאנל ניהול, שאם אין גישה ולא מחוברים אליו זה מפנה להתחברות.
כיצד הרובוט בעצם נזרק מהדף? על ידי הקוד php שכתבתי?
אותו עיקרון לפורומים מוגבלים. איך הם לא מתועדים?
בעיקרון אני מבין ת'קטע, אבל אולי למישהו יש משהו לחדש לי ולשאר הגולשים לגבי הדרך עבודה של רובוטים כמו של גוגל.
שבוע טוב, רון אלטר.
|
הרובוט עובד כמו משתמש רגיל (אלא אם כן הגדרת אחרת). אם משתמש רגיל נזרק מפורום מוגבל, גם הוא.
אם אין קישור לפורום המוגבל, אז הוא לא יגיע אליו.
אפשר לכתוב קובץ robots.txt שמגדיר לאן בדיוק מותר לו להיכנס, בלי קשר לכלום.