[סריקת אתרים] עם PHP
 

כיצד כל הנושא הזה פועל? כיצד ניתן לסרוק אתרים ולטעון את כל הנתונים שלהם למסד נתונים, אני מעונין ליצור משהו שיסרוק לי את כל הדפים באתר, ישמור את הלינקים שלהם, את הכותרות ( TITLE ) ואת כל הנתונים מה META TAGS,

הינה דוגמא של מערכת שעושה זאת
http://www.xml-sitemaps.com/

נורא הסתקרנתי לדעתי כיצד זה פועל ואיך ניתן ליישם את מה שהם עשו גם ב PHP.

אני דיי בטוח שהם ישבו ופיתחו את זה במשך כמה חודשים לפחות. אז אתה לא מצפה [אני מקווה] שתקבל תשובה איך הם עשו את זה.
אני מניח שהעיקרון דיי פשוט, אתה נכנס לכל אתר, מקבל את הקוד שלו, ומחפש קישורים לדפים אחרים וכך הלאה. הרבה עבודה...

אני בהחלט לא מצפה שתתחיל לכתוב לי קוד, אבל יש לזה רעיון כלשהו שעליו כל מנועי החיפוש מתבססים, גם אני חשבתי שהם לוקחים את הקוד מהדף ועובדים בצורה ריקורסיבית שרצה על כל דף ודף באתר.

אין מצב שזה עובר כל דף ודף באתר כי אז מה זה יעבור נגיד בגוגל במיליוני תארים דף דף?אין מצב אני לא מאמין שזה באמת ככה יכול להיות אולי שהם עשים באמת הכל בצורה רקורסיבית וכ"ו אבל אין מצב שהם עוברים דף דף אני אישית לא יודע איך עושים את זה...

הם נכנסים לאתר X, מחפשים קישורים ונכנסים לאתר Y ומחפשים גם בו קישורים בצורה רקורסיבית.

בוטים.
נכנסים לוואלה-ומאנדקסים אותו.
מתחילים לעבור על כל קישור,
וכו' וכו'.


יש כמה בוטים חינמיים באינטרנט, גגל.

תודה רבה שמחקת את ההודעה שלי שמסבירה שכן זה מה שגוגל עושה וניסית להוכיח שאתה יותר חכם מכולם בכך.

עזוב ערן, הוא מתחיל למחוק הודעות סתם כשהוא רואה שהוא טועה..גם בעוד אשכול הוא מחק.

בקשר ל"לא הגיוני"..לגוגל יש מספיק שרתים בשביל לעשות את זה..