הוסטס - פורום אחסון האתרים הגדול בישראל - האם יש פה מישהו שיודע לבנות רובוטים?

- פורום תיכנות (https://hosts.co.il/forums/forumdisplay.php?f=14)

- - האם יש פה מישהו שיודע לבנות רובוטים? (https://hosts.co.il/forums/showthread.php?t=22152)

ציטוט:

נכתב במקור על ידי somebody

לפי מה שאני יודע(נזכרתי עכשיו) אפשר לעשות ב ASP ע"י נאוביקט XMLHTTP(ניראה לי קוראים לו ככה, לא זוכר, לא השתמשתי בו בחיים).
הוא מעתיק את קוד המקור של העמוד ממקומות מוגדרים לו, ואז אפשר לבצע י" פונקציות שבונים חיפוש בקוד המקור הזה, ואפשר כמובן גם לשמור אותו במסד.
רק שזה תהליך ארוךךךך ואיטיייי.. בגלל זה לא ניראה לי שמשתמשים בסופו של דבר באוביקט הזה..

כתבתי בהודעה האחרונה שלי, הסקריפט ASP ימות לפני שהוא יסיים לעבור על כל האינטרנט...

עריכה:
איזה על כל האינטרנט? לא תעבור 0.001 אחוז...

ציטוט:

נכתב במקור על ידי MasterNir

זה לא שיעבור זמן ריצת שרת.
רק שזה מיגע לחכות 6 שניות,5 שניות בלי לראות תוצאות..(בדרך כלל TIME OUT(ברירת מחדל) זה 20 שניות).
אבל יכול להיות שזה קרה לי בגלל שאין לי מושג בשימוש באוביקט הזה, וסתם כתבתי משהו שניראה לי סתם "עיצבן" את השרת, אני בטוח שאם אלעד או כל תכנת אחר שמיומן ויודע יותר ממני(במיוחד באוביקט הזה), יכול להשתמש באוביקט הזה רק שזה ירוץ יותר מהר.).

ציטוט:

נכתב במקור על ידי somebody

שרתים (ב-PHP לפחות) הורגים סקריפטים גם אם הם עדיין רצים כמו שצריך אם לקח להם יותר מ-X זמן לרוץ...

אי אפשר לעשות שזה יהרוס לאחר זמן ממשוך?
על תנאי?

לא... סקריפט ב-PHP גם יהיה חלש מדיי, לא מספיק יציב...

תוכנה ב-C תהיה יותר חזקה ויציבה...

ניר זה לא נכון
הרי זה גם יכול להפסיק אחרי שעה
תלוי מה הTIMEOUT המוקצב לו, אם בכלל, יש שרתים בלי TIMEOUT (כמעט ואין, הרוב זה 30 שניות)

אמרת את זה בעצמך... נתן לו שעה אפילו, נראה לך שהסקריפט יעבור על אחוז כל שהוא מהאינטרנט?

איך עושים? די בקלות האמת היא..

אני בונה סקריפט קטן (סה"כ סביבות ה 100-200 שורות בלבד) שבנוי ב ASP (עם Jscript בצד שרת, אבל אפשרי גם עם Vbscript מן הסתם אבל זה יהיה קצת איטי יותר)

אני מזין למערכת כתובת של אתר גדול, נניח בתור התחלה www.walla.co.il
בעזרת xmlHTTP אני נכנס לעמוד ומחפש אחרי הביטוי הזה:

קוד:

<a _____ href=" XXXXX " ____> ___ </a>

איפה שמופיע קו תחתון אני מתעלם ממנו (כי אני לא צריך את זה) ובסופו של דבר אני מכניס לתוך משתנה את ה XXXXXים שקיימים בכל עמוד. כלומר, את הלינקים הקיימים בו.

ואז אני פשוט קורא לפונקציה ברקורסיה שתתחיל להיכנס גם לתת - קישורים (נניח www.walla.co.il/bla/bla.asp) ותיכנס גם לתת - תת קישורים וכך הלאה עד אינסוף

אני מתבסס על העובדה שסביר להניח שלפחות קישור אחד מוואלה מפנה לאתר אחר (נניח לצורך הדוגמא ynet) ואז המערכת תיכנס ל ynet ותתחיל לעבור על כל הקישורים ב ynet (ושוב אני מתבסס על העובדה שסביר להניח שלפחות קישור אחד מ Ynet מכוון לאתר אחר) וכך הלאה והלאה ובעצם אין לזה סוף

איך אני מאנדקס את המידע?
משתמש באופציה נחמדה שקיימת בשרת windows שנקראית index server ומאפשרת לי לאנדקס דפים ולחפש בהם בשניות

כדי להריץ סקריפט כזה עם אינסוף רמות צריך כמה מחשבים די חזקים ..