כיצד כל הנושא הזה פועל? כיצד ניתן לסרוק אתרים ולטעון את כל הנתונים שלהם למסד נתונים, אני מעונין ליצור משהו שיסרוק לי את כל הדפים באתר, ישמור את הלינקים שלהם, את הכותרות ( TITLE ) ואת כל הנתונים מה META TAGS,
הינה דוגמא של מערכת שעושה זאת
http://www.xml-sitemaps.com/
נורא הסתקרנתי לדעתי כיצד זה פועל ואיך ניתן ליישם את מה שהם עשו גם ב PHP.