|
דבר ראשון, השרת מאד מאד איטי. אין טעם להריץ crawler שיאסוף מידע אם אין לך שרת שיכול להתמודד עם זה (האתר לא נטען לי).
דבר שני, איך אתה מנתח את רלוונטיות האתרים? מחליט מי יוצג קודם? איך פועל ה crawler שלך? איך אתה מונע ממנו להגיע ולזחור בלופ על כל אתר מלא פעמים? איך אתה מתמודד עם ניסיונות רמאות?
|