ניסיון ראשון לבנות מנוע חיפוש..
 

http://212.150.164.220/~admin/s

כן אני מודע לכל הבעיות שיש בו.. אשמח אם תתנו הצעות לשיפור (אני יודע שיש הרבה אז בעדינות) ולייעול... תודה..

מה הקטע עם הגול למטה?

התוצאות לא הגיוניות:|
זה לא מוצא לי מה שאני מחפש..
זאת אומרת אני שמת נגיד כותב מילה כל שהיא, אז זה מביא לי עמודים, אבל עמודים מוזרים.. זאת אומרת לא נכונים, שכלל אני לא מצליח למצוא בהם את המילה..

מוזר תמיד זה מצא, אולי כי אלו היו אתרים דינמיים לא יודע..

תעשה, שכל יום ב 00:00 בלילה הוא יחזור על הקישורים ויראה אם הם עדיין קיימים עם אותה מחרוזת TITLE.

מאיפה אתה לוקח את האתרים למנוע?
בסיס נתונים אישי
או מנוע חיפוש אחר?

בסיס נתונים אישי..בגלל זה אין יותר מידי תוצאות כרגע למרות שהמסד גודל לאט לאט עכשיו הוא עובד על 60 מגה.. חח נראה לי נפסיק להריץ את הקובץ בנתיים עד שנשיג שרת שיחזיק מסד גדול ואז נפציץ..
בכל אופן עוד תגובות..?

דבר ראשון, השרת מאד מאד איטי. אין טעם להריץ crawler שיאסוף מידע אם אין לך שרת שיכול להתמודד עם זה (האתר לא נטען לי).
דבר שני, איך אתה מנתח את רלוונטיות האתרים? מחליט מי יוצג קודם? איך פועל ה crawler שלך? איך אתה מונע ממנו להגיע ולזחור בלופ על כל אתר מלא פעמים? איך אתה מתמודד עם ניסיונות רמאות?

תשכיר שרת יעודי,
תפעיל ORACLE (אולי אפילו בנתיים את הגירסאת ה10GB החינמית שלו)
ובהצלחה...

כאחד שעובר עם אוראקל יום יום, אני לא מכיר גרסא 10GB חינמית

גרסאת המסד היא 10g והגרסא החינמית, xe תומכת עד 4GB נתונים (מעבד אחד ועד 1 ג'יגה זכרון).