הוסטס - פורום אחסון האתרים הגדול בישראל - קובץ robots.txt

הוסטס - פורום אחסון האתרים הגדול בישראל (https://hosts.co.il/forums/index.php)

- קידום ושיווק אתרים (https://hosts.co.il/forums/forumdisplay.php?f=52)

- - קובץ robots.txt - תקין ? (https://hosts.co.il/forums/showthread.php?t=100861)

KriZza

04-11-12 21:18

קובץ robots.txt - תקין ?

ציטוט:

User-agent: googlebot
Disallow: /forum/post.asp

Disallow: /forum/user_profile.asp

Disallow: /forum/search.asp

Disallow: /forum/password.asp

מה שבעצם אני רוצה זה שגוגל יסרוק את האתר שלי מלבד את מה שכתוב בDisallow

תקין ?

KriZza

05-11-12 01:26

GNS	05-11-12 01:48

כן, רק תוריד רווחים.

שים לב שהקובץ robots.txt נגיש לכולם, תוקפים אוהבים לקרוא אותו כדי לראות איזה דפים בעל האתר רוצה להסתיר.
שים לב שאין פרטים מסוכנים בכתובות הנ"ל.

KriZza

05-11-12 02:11

ציטוט:

נכתב במקור על ידי GNS (פרסם 862340)

ואם למשל אני רוצה שגוגל יסרוק כל חלק באתר,
אני צריך לכתוב בקובץ רק:

ציטוט:

User-agent: googlebot

אין שום משהו לסגירה?
?

Qwais

05-11-12 10:07

למה דווקא גוגל? אתה יכול לרשום * וזה יהיה תקף לכולם.

בבקשה(robots.txt generator):
http://www.mcanerin.com/EN/search-engine/robots-txt.asp

בדיקת תקינות:
http://tool.motoricerca.info/robots-checker.phtml

כל הזמנים הם GMT +2. הזמן כעת הוא 04:19.