הוסטס - פורום אחסון האתרים הגדול בישראל

הוסטס - פורום אחסון האתרים הגדול בישראל (https://hosts.co.il/forums/index.php)
-   פורום תיכנות (https://hosts.co.il/forums/forumdisplay.php?f=14)
-   -   עזרה , חסימה של מנועי חיפוש של חו"ל (https://hosts.co.il/forums/showthread.php?t=81557)

israeli 09-03-10 04:25
עזרה , חסימה של מנועי חיפוש של חו"ל
 
ב"ה

אז כך אני בודק בתעבורה היומית אני וראה שהתעבורה ממש ענקית אני כמעת בטוח שמדובר במנועי חיפוש מחו"ל שמסתובבים באתר כי אתר מתורגם לכמה שפות

האם יש דרך לא לתת להם להיכנס שיהיה רק בדיקה של גוגל וMSN

תודה

Kernel 09-03-10 05:46
אפשרי,
אך הפעולה תוריד מכמות המבקרים באתר,

אגב, הבוט של MSN, גם תחמן לא קטן, וצורך המון משאבים כשהוא באתר.


אבי

IgalSt 09-03-10 12:53
הייתי ממליץ לבדוק את הלוגים שלך ולראות איזה רובוטים מבקרים אצלך כדי שתהיה בטוח שהבעיה נובעת אכן מזה.
כמו כן תוכל להשתמש בקובץ robots.txt על מנת להגביל את הגישה לאתרך (או לדפים/תיקיות ספציפיות) לכל אחד מהרובוטים שאתה רוצה או לא רוצה באתר

israeli 09-03-10 14:38
ציטוט:
נכתב במקור על ידי Kernel (פרסם 757900)
אפשרי,
אך הפעולה תוריד מכמות המבקרים באתר,

אגב, הבוט של MSN, גם תחמן לא קטן, וצורך המון משאבים כשהוא באתר.
אבי
סירחון לא נורמלי מה זה צריך להיות אני בודק לקחו לי משהוא כמו 5 ג'גה על תעבורת חיפוש
כי אני יודע כמה תעבורה מקסימלית אני מגיע ביום לוקח לי עוד חצי ג'גה ביום על תעבורה סתם

ציטוט:
נכתב במקור על ידי Exa.co.il (פרסם 757918)
הייתי ממליץ לבדוק את הלוגים שלך ולראות איזה רובוטים מבקרים אצלך כדי שתהיה בטוח שהבעיה נובעת אכן מזה.
כמו כן תוכל להשתמש בקובץ robots.txt על מנת להגביל את הגישה לאתרך (או לדפים/תיקיות ספציפיות) לכל אחד מהרובוטים שאתה רוצה או לא רוצה באתר
אבל איך אני עושה רק למנועי חיפוש בודדים של חו"ל

Kernel 09-03-10 15:04
הרובוטים האלה משתמשים בזיהוי דפדפן שונה,

אתה יכול להכניס חוק, שרובוט X ו-Y נחסמים, כש-GOOGLE עובר.

IgalSt 09-03-10 21:12
ציטוט:
נכתב במקור על ידי nin770 (פרסם 757926)
סירחון לא נורמלי מה זה צריך להיות אני בודק לקחו לי משהוא כמו 5 ג'גה על תעבורת חיפוש
כי אני יודע כמה תעבורה מקסימלית אני מגיע ביום לוקח לי עוד חצי ג'גה ביום על תעבורה סתם



אבל איך אני עושה רק למנועי חיפוש בודדים של חו"ל
תשתמש במנוע חיפוש (אהם גוגל אהמ) כדי לחפש על robots.txt ותלמד

israeli 10-03-10 07:46
ציטוט:
נכתב במקור על ידי Kernel (פרסם 757938)
הרובוטים האלה משתמשים בזיהוי דפדפן שונה,

אתה יכול להכניס חוק, שרובוט X ו-Y נחסמים, כש-GOOGLE עובר.
תוכל להדריך אותי ?
אשמח מאוד אני חייב ממש עזרה
תודה

Kernel 10-03-10 08:12
באיזה סקריפט מדובר?


אפשר לתכנת את הפתרון של זה, לפי 140 ש"ח לשעה. צפי עבודה 3-5 שעות.

אבי

IgalSt 10-03-10 11:41
ציטוט:
נכתב במקור על ידי nin770 (פרסם 758017)
תוכל להדריך אותי ?
אשמח מאוד אני חייב ממש עזרה
תודה
לדוגמא ככה תוכל לחסום את כל הרובוטים פרט לרובוט של גוגל:
קוד:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
אתה יכול להוסיף עוד שורה שתאשר גישה לרובוטים נוספים אם אתה רוצה.

אתה יכול לחסום גישה לתמונות שלך לדוגמא:
קוד:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /Images/
הקוד הזה חוסם את כל הרובוטים אך מאפשר לרובוט של גוגל לסרוק את האתר פרט לתיקיית Images (שנה שם הנתיב לתיקיה שבה יושבות התמונות שלך)

מידע נוסף תוכל למצא בגוגל בקלות - רק תחפש.
לדוגמא אני מצאתי את הדף הזה שמסביר הכל מאוד בקלות: http://www.javascriptkit.com/howto/robots.shtml

israeli 15-03-10 00:11
ציטוט:
נכתב במקור על ידי Exa.co.il (פרסם 758028)
לדוגמא ככה תוכל לחסום את כל הרובוטים פרט לרובוט של גוגל:
קוד:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
אתה יכול להוסיף עוד שורה שתאשר גישה לרובוטים נוספים אם אתה רוצה.

אתה יכול לחסום גישה לתמונות שלך לדוגמא:
קוד:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /Images/
הקוד הזה חוסם את כל הרובוטים אך מאפשר לרובוט של גוגל לסרוק את האתר פרט לתיקיית Images (שנה שם הנתיב לתיקיה שבה יושבות התמונות שלך)

מידע נוסף תוכל למצא בגוגל בקלות - רק תחפש.
לדוגמא אני מצאתי את הדף הזה שמסביר הכל מאוד בקלות: http://www.javascriptkit.com/howto/robots.shtml
תודה רבה לך
הרבה הצלחה בעז"ה


כל הזמנים הם GMT +2. הזמן כעת הוא 05:04.

מופעל באמצעות VBulletin גרסה 3.8.6
כל הזכויות שמורות ©
כל הזכויות שמורות לסולל יבוא ורשתות (1997) בע"מ