חסימה של רובוטים על דפים מוגבלים.
 

סתם שאלה שחלפה במוחי.
כיצד עובד על הקטע עם הרובוטים שנכנסים לאתרים?
למשל, יש לי פאנל ניהול, שאם אין גישה ולא מחוברים אליו זה מפנה להתחברות.
כיצד הרובוט בעצם נזרק מהדף? על ידי הקוד php שכתבתי?
אותו עיקרון לפורומים מוגבלים. איך הם לא מתועדים?

בעיקרון אני מבין ת'קטע, אבל אולי למישהו יש משהו לחדש לי ולשאר הגולשים לגבי הדרך עבודה של רובוטים כמו של גוגל.

שבוע טוב, רון אלטר.

לא הבנתי ממש מה אתה רוצה לעשות, אבל אולי תנסה דרך קובץ robots.txt שתוכל לבנות.

הרובוט עובד כמו משתמש רגיל (אלא אם כן הגדרת אחרת). אם משתמש רגיל נזרק מפורום מוגבל, גם הוא.
אם אין קישור לפורום המוגבל, אז הוא לא יגיע אליו.
אפשר לכתוב קובץ robots.txt שמגדיר לאן בדיוק מותר לו להיכנס, בלי קשר לכלום.

1 - זה לא קשור לפה זה קשור לקידום אתרים
2 - זה דרך קובץ ROBOTS.TXT אשר בתוכו אתה כותב איפה לחפש ואיפה לא

זה לא קשור לקידום אתרים כי אני לא מנסה לקדם את האתר שלי.
בכל מקרה, עניתם על השאלה העיקרונית.
רובוט עובד כמו משתמש רגיל, לכן במידה והוא לא מחובר הוא נזרק מן הדף ולא סורק אותו.
ניתן לנעול.

נעול רון, לבקשתך :)