עזרה| קובץ ROBOTSX.TXT
 

שלום, היום הוספתי קובץ ROBOTS.TXT לאתר שלי. אני רוצה שגוגל יסרוק את כל הדפים באתר ושהם יהיו בגוגל.
זה הקובץ שהגדרתי, האם הוא בסדר וגוגל יסרוק את כל הדפים? תודה!
http://www.xn----1hcy7apyk.org.il/robots.txt

זה בסדר גמור .
אפילו אם אתה מתעניין בזה אתה יכול להעמיק על זה מכאן :
http://www.seoisrael.co.il/%D7%A7%D7...A5_robots.txt/

לא תמיד בסדר.
אתרים שבנויים בשפות צד שרת, לרוב משתמשות בקבצים נפרדים לכל פרט באתר.
חיבור למסד נתונים - קובץ שונה
הגדרות (config) - קובץ שונה.
לכן, עדיף לחסום את הקבצים האלה מהרובוטים של גוגל.

בצע סריקה לקבצים חשובים במערכת שלך, שתוכל לחסום אותם מהרובוטים של גוגל.

PromoRemix.Com:
ציון הנתיבים לקבצים האלו ב- robots.txt זאת פעולה שעלולה לעשות יותר נזק מתועלת מבחינת security.
יש דרכים חכמות הרבה יותר להגן על הקבצים האלה, robots.txt הוא לא אחת מהן.

הרובוטים של גוגל לא אמורים לסרוק את הקבצים האלה אם לא תקשר אליהם באתר שלך, זה שאתה שם אותם בקובץ robots.txt אתה בעצם חושף אותם בעצמך.

ודבר שני, אם אתה רוצה למנוע גישה לקבצים של התחברות למסד נתונים וקובץ קונפיגורציה - אין שום סיבה שהם יהיו פתוחים לגישה מבחוץ ואתה יכול לחסום אותה.. יותר מזה, אתה יכול אפילו למקם אותם מחוץ לתקיית הRoot Document שלך.

לא הבנתי למה הוספת אותו אם אתה לא חוסם כלום....

לפי דעתי זה יסרוק