שאלה בנוגע ל robots.txt
 

שלום לכולם,
אני אלעד בעל האתר www.reka.us רקעים למחשב.

השאלה שלי היא כזו:

ראיתי שמנועי החיפוש סורקים את הדף robots.txt באתר שלי,
אך הם מגיעים בעצם לדף 404 כי הדף robots.txt לא נמצא אצלי.
דף ה404 כפי שתוכלו לראות כאן: http://www.reka.us/robots.txt כמו כל שאר דפי ה 404 אצלי באתר, מציג את הדף הראשי.

מה מנועי החיפוש ובעיקר גוגל עושים כשהם מנסים להגיע לדף עם מידע ומגיעים לדף הבית שלי, האם זה מכביד עליהם? מונע מהם גישה?

קראתי קצת וחשבתי לעשות קובץ robots.txt עם התוכן הבא



User-agent: *
Disallow:



שימו לב, ברצוני לתת לגוגל (או לכל מנוע חיפוש אחר) גישה חופשית לכל הדפים באתר שלי, האם הקוד תקין? האם יעזור? או שזה לא משנה

תודה רבה, אלעד.

לא משנה שאין לך קובץ כזה.
אם אין לך קובץ כזה, זה אומר לעכבישים לבצע פעולות של ברירות מחדל - לסרוק הכל, לאנדקס הכל, ולעקוב אחרי כל הקישורים (אלא אם נאמר באחד העמודים ספציפית אחרת).
גם לי אין קובץ כזה. כל עוד אתה לא רוצה לכתוב בו משהו מיוחד (חסימת דפים או משהו), אתה לא צריך אותו.

תודה, מנהל K אמר לי שכדאי לשים קובץ כמו פה
k.co.il/robots.txt
אז העתקתי את הקובץ

אפשר לנעול,אלעד.

הקובץ שיש שמה זה הברירת מחדל של הרובוטים, זה שווה ערך ללא לשים את הקובץ הזה..

תתקנו אותי אם אני טועה

זה שווה ערך, אבל אצלי לא כי דף 404 מציג את הדף הראשי ואני לא מעונין בכך. לא רוצה לבלבל את מנועי החיפוש ובפרט כשהם באים לסרוק את האתר שלי, לא צריכים לסרוק דף שלם של כמה קילובייטים לחינם

ננעל לבקשתך.