הוסטס - פורום אחסון האתרים הגדול בישראל - קבלת מספר התוצאות בגוגל ב PHP

עמוד 1 מתוך 2

הוסטס - פורום אחסון האתרים הגדול בישראל (https://hosts.co.il/forums/index.php)

- פורום תיכנות (https://hosts.co.il/forums/forumdisplay.php?f=14)

- - קבלת מספר התוצאות בגוגל ב PHP (https://hosts.co.il/forums/showthread.php?t=82269)

dabi	25-04-10 15:13

קבלת מספר התוצאות בגוגל ב PHP

http://www.google.co.il/#hl=iw&q=israel
כתוב
תוצאות 1 - 10 מתוך כ- 298,000,000 עבור israel ‏(0.13 שניות
איך אני יכול לקבל את ה 298 מיליון תוצאות האלה למשתנה
עיינתי בSOURCE של הדף כדי לקבל את זה ע"י file_get_contents
אבל זה לא רשום שם
אשמח לעזרה

Shay Ben Moshe

25-04-10 15:54

אין לי הסבר אבל כאן זה נוח:
http://www.google.co.il/search?hl=iw&q=israel

dabi	25-04-10 17:40

ציטוט:

נכתב במקור על ידי Shay Falador (פרסם 762043)

אין לי הסבר אבל כאן זה נוח:
http://www.google.co.il/search?hl=iw&q=israel

מה נוח?
איך אפשר לדעת?

Shay Ben Moshe

25-04-10 18:23

סתכל על הsource.....
טיפ: חפש <p id=resultStats>

dabi	25-04-10 18:25

ציטוט:

נכתב במקור על ידי Shay Falador (פרסם 762054)

סתכל על הsource.....
טיפ: חפש <p id=resultStats>

הצלחתי תודה
אני רואה שאתה כתבת כתובת URL שונה משלי
אשמח לדעת מה שינית בה....

Shay Ben Moshe

25-04-10 19:38

מה זאת אומרת..
כתובת אחרת.. לא שיניתי את שלך פשוט לקחתי את זאת.

IgalSt

26-04-10 08:20

חבל לעשות את זה בצורה כזאת, גוגל יחסום את ה-IP מהר מאוד.
כדאי להשתמש ב- Search API שלהם על מנת לבצע חיפושים ודברים כאלה

dabi	02-05-10 23:36

ציטוט:

נכתב במקור על ידי Exa.co.il (פרסם 762090)

לא הבנתי
אם אני פשוט קורא דף חיפוש של גוגל(וכן נגיד שזה מספר פעמים רב) למה שגוגל יחסמו את ה IP שלי??

Shay Ben Moshe

03-05-10 13:43

בתכלס הוא צודק.
אם זה הרבה פעמים בסוף זה לא יצא טוב. לgoogle יש api (שלא השתמשתי בו עדיין) במיוחד בשביל זה, הפלט הוא XML עד כמה שזכור לי.

dabi	03-05-10 17:29

ציטוט:

נכתב במקור על ידי Shay Falador (פרסם 762797)

לא מצאתי את ה API של זה
בנוסף למה שגוגל יחסמו? אני רק ניכנס לדף תוצאות

IgalSt

03-05-10 19:01

ציטוט:

נכתב במקור על ידי dabi (פרסם 762823)

לא מצאתי את ה API של זה
בנוסף למה שגוגל יחסמו? אני רק ניכנס לדף תוצאות

קישור ל-API:
http://code.google.com/intl/iw/apis/ajaxsearch/

למה שיחסמו?
כי עבור סקריפטים ורובוטים אוטומטים שרוצים לקבל תוצאות חיפוש הם יצרו API שנותן את זה.
כאשר אתה מבקש מהם עמוד HTML זה "עולה" הרבה יותר (תעבורה, זמן עיבוד לשרתים וכו') מאשר לקבל פלאט מה-API שזה data נקי.
מה גם, שזה הרבה יותר נוח לעבודה

intercooler3819

03-05-10 22:45

לא בהכרח נכון מה שאתה אומר ^^

IgalSt

03-05-10 23:37

ציטוט:

נכתב במקור על ידי nitsanbn (פרסם 762852)

לא בהכרח נכון מה שאתה אומר ^^

איזה חלק ממה שאני אומר ולמה?
לכתוב פשוט "לא נכון" זה לחלוטין ריק מתוכן.
אם תסביר את עצמך, אשמח להסביר למה לדעתי אתה טועה או פשוט להסכים איתך.

dabi	09-05-10 10:07

אני לא רואה אופציה לשילוב זה עם PHP
לקבל את התוצאות ל PHP

IgalSt

09-05-10 14:14

xml http request עם PHP.
זה לא מבוסס פלטפורמה ספציפית ואפשר לבצע את החיפוש שלהם עם כל שפה צד שרת או לקוח (לגבי בקשות בצד לקוח יש הגבלות כאלה ואחרות)

dabi	09-05-10 14:23

ציטוט:

נכתב במקור על ידי Exa.co.il (פרסם 763363)

אני מחפש ומחפש ולא מוצא איפה אתה רואה תצוגה של XML

AlmogBaku

09-05-10 23:07

ציטוט:

נכתב במקור על ידי dabi (פרסם 763365)

אני מחפש ומחפש ולא מוצא איפה אתה רואה תצוגה של XML

הוא סתם ניסה להישמע מבין דגול ולהגיד AJAX בצורה עתיקה..

IgalSt

10-05-10 10:24

ציטוט:

נכתב במקור על ידי Baku (פרסם 763452)

הוא סתם ניסה להישמע מבין דגול ולהגיד AJAX בצורה עתיקה..

אלמוג, יכולת הביטוי העצמי שלך מדהימה.

ולא, כשאמרתי xml http request עם PHP התכוונתי בדיוק למה שאמרתי: לבצע פניה לשרתים של גוגל באמצעות קוד PHP ע"י השרת ולא באמצעות קוד JS באמצעותה קליינט ("AJAX" בשפה שלך).
בחזרה אתה מקבל מגוגל פלט JSON לשאילתא שלך.

למידע נוסף ראה את המידע בקישור הזה ("Flash and other Non-Javascript Environments"):
http://code.google.com/intl/iw/apis/...ntation/#fonje

AlmogBaku

10-05-10 10:29

אל תעלב יגאל, פשוט המושג שציינת קוראים לו ajax. זה שהתכוונת למשהו אחר.. ותסלח לי שלא הבנתי אותך נכון, אבל נראה לי קצת פלצני להגיד אג'קס בשם המקורי שלו, זה כמו שאני אגיד- ברשת הworld wide web בלהבלהבלה.. חחח

בכל אופן, רצוי שבפעם הבאה תשתמש במושג מקובל, ואל תנסה להמציא מושגים D:

והכל ברוח ידידותית!, בקו

IgalSt

10-05-10 21:38

ציטוט:

נכתב במקור על ידי Baku (פרסם 763485)

למרות שאנחנו כבר סוטים מהנושא המקורי, אבל אני חייב להגיב לך.

ראשית נתחיל מהעיקר: לא משנה מה הוויכוח, מן הראוי להשתדל ולהתנסח בצורה שלא תפגע באף אחד שלא לצורך. בסופו של דבר כולם פה גולשים על מנת לעודד את העסקים שלהם, לשתף מידע וכו'.
אני לא נפגע, באמת שיהיה למישהו קשה לפגוע בי על דפי הפורום פה :)

וכעת לנושא "המקצועי":
זה לא נכון להגיד שביצוע xml http request בצד שרת = AJAX.
זאת, מאחר והמשמעות של AJAX היא Asynchronous JavaScript And XML
לכן הדוגמא שלך של world wide web במקום WWW איננה רלוונטית כרגע שכן
AJAX != xml http request
זאת ועוד, לא ניסיתי להמציא שום מושג חדש חלילה. את זה אני משאיר לאנשים שמעדיפים לדבר במקום לעשות :)
xml http request זה כשמה כן הוא: ביצוע פניה לשרת מרוחק באמצעות פרוקוטול http (ביצוע POST או GET). היא לא מדברת על מי מבצע את הפניה: השרת או הקליינט.

מימשתי מספר פעמים חיפוש ב-APIs שונים של גוגל הן בצד לקוח ע"י ה-API שלהם (או ביצוע פניה לשרת בצורה "ידנית" ע"י AJAX) והן בצד שרת עם קוד ASP שפונה לגוגל ומחפש בו נתונים כאלה ואחרים.

RS324

10-05-10 22:42

XML HTTP REQUEST זה לא כשאתה מבקש דף ומקבל תוצאה של XML , הדבר שנשמע לי הכי קרוב למה שאמרת זה לעשות פוסט של XML לדף מסויים מעבר לזה לא מכיר את המושג וזה גם לא ממש משנה

לפותח האשכול, אל תתאמץ להתחבר ל API

בדיקת מיקום במנועי חיפוש באתר googletools כבר למעלה משנתיים ניגש בכל בדיקה ל 10 עמודים של גוגל (כי תצוגה של 10 תוצאות ו 100 תוצאות שונה - יש שינוי במיקומים) ולא הייתה בעיה איתו אפילו פעם אחת
ואין שם שום טריקים מיוחדים....

אז תרגיש חופשי לגשת לדף ה HTML ולהשיג את מה שאתה צריך.
תהנה

AlmogBaku

11-05-10 13:22

טוב שמע, חבל על הוויכוח. ביצוע פניה וקבל XML לא נקראת בשם שכתבת.
חבל פה על הוויכוח, המושג שציינת מתייחס באופן ישיר לאג'קס.

*לא מאמין לי? חפש בגוגל. ואין שום דבר רע בללמוד. להפך! כל יום לומדים משהו חדש =]

IgalSt

11-05-10 15:12

ציטוט:

נכתב במקור על ידי Baku (פרסם 763661)

אכן חבל על הויכוח וממש לא מפחד ללמוד. למען האמת בעבודה אני לומד כל יום :)
אבל שוב, המושג הזה היה קיים הרבה לפני שהטמיעו את המושג "AJAX" ומתייחס לביצוע בקשות בין בין קליינט לשרת ו/או בין שרת אחד לאחר.

intercooler3819

11-05-10 19:20

ציטוט:

נכתב במקור על ידי Exa.co.il (פרסם 762854)

בזה שלכתוב לא נכון זה ריק מתוכן אני מסכים פשוט חשבתי שזה מובן מאליו כי יש רק אמירה אחת...
"
כאשר אתה מבקש מהם עמוד HTML זה "עולה" הרבה יותר (תעבורה, זמן עיבוד לשרתים וכו') מאשר לקבל פלאט מה-API שזה data נקי."

זאת לא בהכרח הסיבה שגוגל מעדיפים שתשתמש ב API

פשוט הם רוצים לסווג את המשתמשים לקטגוריות.. ובתור מפתח ברגע שאתה משתמש ב API אתה מוגדר בטטסטיקות ובכל נתון שהם אוספים עליך בתור מפתח..

מבחינת התעבורה - זה ממש לא בהכרח פחות תעבורה ;)

IgalSt

12-05-10 11:37

ציטוט:

נכתב במקור על ידי nitsanbn (פרסם 763722)

אכן לא בהכרח יותר תעבורה, אך לדעתי כמות הטקסט שיש ב-XML יותר קטנה מכמות הטקסט שיש בעמוד html שמציג את אותו המידע, לרוב.

בכל אופן, כמו שציינת אכן ישנם שיקולים שונים נוספים של איסוף סטטיסטיקות, תיעדוף הבקשות ועוד. מה גם, שבעתיד הם יכולים לשנות את מבנה העמוד של תוצאות החיפוש ויהיה על המתכנת לכתוב מחדש חלק מהקוד שלו שמוציא את הנתונים שהוא רוצה, בעוד שה-API גם אם יתעדכן ושמור על תמיכה לאחור (בד"כ).
בכל אופן, לדעתי בתור מתכנת עדיף להשתמש ב-API שיוצר בדיוק בשבילך

hi_sorie

12-05-10 14:41

ווואי אתם רבים פה על שטויות ובקצב !

בקיצור לפותח האשכול...

תשתמש בפונקציה שקוראת קוד מקור לתוך משתנה

בביטוי רגולארי פשוט אתה שולף את מה שיש בין התגים של התוצאה ואחסן אותו איפה שתרצה.

גוגל לא יחסום אותך אם לא תריץ את זה כל דקה.

בכל מקרה במידה וכן אתה יכול לעשות ניטור IP ע"י שימוש בפרוקסי יש הרבה אתרים שמציעים את זה.

מעל 20 תגובות לדבר פשוט..

תתבגרו.

IgalSt

12-05-10 19:16

ציטוט:

נכתב במקור על ידי hi_sorie (פרסם 763838)

ווואי אתם רבים פה על שטויות ובקצב !
.....
מעל 20 תגובות לדבר פשוט..

תתבגרו.

מה יש?
דיון לגיטימי ולא "מריבה".
אני מאמין שיש כאן בסופו של דבר הרבה מידע שיכול להועיל לגולשים.

תרגע.

Shay Ben Moshe

12-05-10 22:39

ציטוט:

נכתב במקור על ידי hi_sorie (פרסם 763838)

תגובות כמו זו זה בדיוק מה שמשאיר מתכתנים מאחור.

אם תפתח את הראש ללמידה ותיהיה מוכן לקבל את זה שיש דרכים יותר נכונות ופשוטות לבצע את המשימה רק תתקדם מזה הלאה.
קריאה של XML היא הרבה יותר פשוטה ולרוב גם לא משתנה, קריאה של עמוד HTML שמלא ב"זבל" פשוט לא נכונה פה. מה גם שגוגל מייעדים את הAPI שלהם בדיוק למפתחים שכמונו ולא את עמוד החיפוש הרגיל.

חבל.

hi_sorie

12-05-10 22:52

ציטוט:

נכתב במקור על ידי Shay Falador (פרסם 763921)

תגיד לי אתה מדבר ברצינות ?

נראה לך שיש פה איזה לולאה עם סיבוכיות או איזה תהליך כבד?

לא משנה כמה כבד הדף של גוגל ( למרות שזה כלום לא עובר את 100KB ) אף שרת לא יפול ושום דבר לא יקרה, לא פסלתי את הדרך שלך, שימוש ב API לפעמים זה דבר נכון לעשות, אבל אני לא רואה פה צורך בזה, לא מתעסקים פה עם הרבה מידע או לולאות ועל כן אני קובע ש 2 הדרכים נכונות יעילות מהירות וכשרות - הדרך של לאנקלד את הדף תהיה הרבה יותר קלה למתכנתים מתחילים.

חוץ מזה שאני יכול להראות לך שהכלי של גוגל למפתחים עבור קריאת PR של אתר התשנה לו הכתובת אחרי זמן מסויים, אז יותר טוב לקרוא מהמקור את המידע, שמחר כתובת ה XML לא תשתנה.

וזה ממש לא משאיר מתכנתים "מאחור", אל תתפלצן עלי.

Shay Ben Moshe

12-05-10 22:57

חי דבר ראשון הכנסת פה מושגים של סיבוכיות מהירות ותחזוק שרתים. זה לא הנושא שדיברתי עליו, מבחינת ביצועים אני מסכים שהביצועים יהיו מאוד דומים.

מצד שני, לעשות file_get_contents ולהריץ ביטוי רגולרי שמישהו יכתוב פה בהמשך זה לא הכי מלמד את המתכנת ולמעשה ביטוי רגולרי על כזה דבר זה גם לא כל כך יעיל.
מצד שלישי, לשאוב XML יפה, להשתמש במחלקה כמו SimpleXML בשביל לנווט בה בנוחות ולרוץ על התוצאות בצורה שלשמה זה נבנה זה הרבה הרבה יותר נוח והרבה יותר ניתן לתחזוקה ולשינויים.

למה אתה רב על משהו שאתה יודע שהוא נכון? הרי ברור לך שהדרך הנכונה היא להשתמש בAPI של גוגל. אם זו תוכנית של 5 דקות בשביל משחק באמת אין סיבה גם לדעתי להתחיל להשתמש בAPI כיוון שזה דורש כמה הכנות אבל אני יוצא מתוך נקודת הנחה שזה לא המקרה.

hi_sorie

12-05-10 23:06

אל תיכנס לעיניין היעילות, כי אני מוכן להוכיח לך שעם האינקלוד של המחלקה לטיפול ב XML וכל התוכנית שאתה מציע ב API תהיה פחות יעליה מתוכנית של איך אמרת, "5 דקות" של אינקלוד דף וחיפוש ערך.

אם הוא היה צריך לקבל כמה מידעים מאותו עמוד ויש מסמך XML שנותן את המידע המדוייק הייתי מסכים איתך בלי בכלל לכתוב תגובה לאשכול, אבל זה לא המקרה.

אני נמצא בתחום הזה הרבה מאוד זמן ואתה יודע את זה, לפעמים מה שפשוט ונותן תוצאה ואתה לא מריץ תהליכים לנאס"א עדיף ללכת על הפשוט והקל.

תחשוב על הפיתרון שנתת לו, במקום להשתמש בפונקציות בנויות של השפה אתה נותן לו להשתמש במחלקה חיצונית ( שאגב ביסודותיה גם משתמשת בביטויים רגולארים על מנת למצוא את הערך במסמך XML ), זאת אומרת שהוא צריך עכשיו לחפש מחלקה לאנקלד אותה, להקים את החיבור ל API של גוגל ולעשות תהליך שלם.

במידה וזה לצורך לימוד בלבד הייתי מציע לו ללכת ל API אבל זה לא נראה לי המקרה.

אם זה נראה כמו ברווז זה ברווז, אל תהפוך משהו קל ופשוט לתהליך מסובך ומייגע.

intercooler3819

12-05-10 23:54

ואלה חי לא יודע איפה אתה חי אבל אני לא מסכים עם רוב מה שכתבת...

קודם כל, במקום להגיד אינ אוכיח - בוא עם הוכחות

שנית, אפשר להשתמש במחסנית כדי לעבור על ה XML - ביטויים רגולרים זאת סתם אופציה

שלישית, גוגל נותנים לך מין WEB SERVICE כזה, אתה לא חייב להשתמש ב PHP CLIENT שלהם על מנת לעבוד איתו
זאת סתם הנפצה לא רציונאלית..

ודבר אחרון - המשפט האחרןו שלך בדיוק הפוך... אם זה נראה כמו ברווז זה ברווז
אם קיים לזה WEB SERVICE - זה WEB SERVICE

hi_sorie

13-05-10 00:57

ואאלה אני נכנס פה לוויכוח על ריק, תעשה מה שבראש שלך אני יעשה מה שאני מבין וכל אחד בחלקו, סטו ?

RS324

13-05-10 01:10

מישהו שם פה לב על מה אתם רבים ?
SHAY_FALDOR אתה סותר את עצמך בקצב מסחרר

אם זה למטרת לימוד , עדיף את הדרך של ה PREG , כי ככה הוא ילמד קצת regex ולא להפעיל את SIMPLEXML ולגשת ל NODE

לגבי היעילות אין קשר , אתה לא יודע מה יש בצד השני ואתה לא יודע איך google מתעדפים את הבקשות שמגיעות אליהם , הרבה פעמים מה ש"נכון" לפי הספרים לא תמיד עובד בשטח

לגבי ה API של גוגל , בדקתי אותו דיי מזמן (בערך לפני שנה וחצי - שנתיים) ואם אני זוכר נכון הוא מגביל מספר של שאילתות ל API
לעומת זאת בדרך של התחזות למשתמש גוגל לא יכול להגביל אותי (תיאורתית אני יכול לבנות API פנימי , לשים אותם על 1000 שרתים שונים במדינות שונות וכל בקשה לשלוח לשרת אחר)

hi_sorie -מסכים עם כל מה שכתבת...

hi_sorie

13-05-10 01:32

אני יודע, עזוב, האגו שלהם חותך להם את קו המחשבה.

hi_sorie

13-05-10 15:20

ציטוט:

נכתב במקור על ידי nitsanbn (פרסם 763938)

סתם מעניין אותי, אתה חושב שגם בשיטת המחסנית אין ביטוי רגלוארי?
אם כן, אשמח אם תפרסם פה את האלגוריתם, נראה לי שעלית פה על משהו |קורץ| חחח

AlmogBaku

13-05-10 22:46

אני ממש לא מסכים אתכם. אבל ממש.
אני לא רואה סיבה ללמוד שיטת עבודה לא נכונה.

השיטה המועדפת והמומלצת היא השיטה של ה API באופן חד משמעי. יש סיבה שהמציאו אותו.
במידה ותבנה לעצמך API משלך, באיזשהו שלב כמות השאילתות תגרום לך להיחסם.

מה גם שהרבה יותר קל ופשוט לשלוף מידע מ API. ולא, ללמוד זה לא רע. ולא לא תמיד חייבים להשתמש במחלקה מוכנה ל APIים..

hi_sorie

14-05-10 10:46

ציטוט:

נכתב במקור על ידי Baku (פרסם 764016)

תגיד לי על מה אתה מדבר?!?!

"אני לא רואה סיבה ללמוד שיטת עבודה לא נכונה."
איפה אתה רואה שיטת עבודה לא נכונה? אל תתלהב כי קוראים לזה API וזה נשמע מקצועי, אפשר לסגור את כל התוכנית הזאת ב 3 שורות קוד, שיהיו יותר יעילות ומהירות לכותב מאשר API.
הוא כולה שולף דבר אחד מהדף, אין צורך להשתגע.

"השיטה המועדפת והמומלצת היא השיטה של ה API באופן חד משמעי. יש סיבה שהמציאו אותו."
הסיבה שהם "המציאו" אותו היא שהם לא רוצים רובוטים שיעברו להם על האינדקס, יש להם מפרסמים שמקבלים סטטיסטיקות וכל כניסה של רובוט נחשבת כחשיפה, וזה מוריד להם את היחס בין הקלקה לבין חשיפה ובכך מוריד את איכות הפרסום ויעילותו בעייני המפרסם.

"במידה ותבנה לעצמך API משלך, באיזשהו שלב כמות השאילתות תגרום לך להיחסם."
שטויות במיץ, אני מריץ שאילתות קבועות על גוגל ב corn job של שאילתא לשעה והכל עובד מצויין, לא חסם אותי, מה גם שאפשר לעשות ניטור IP ע"י שימוש באתרי פרוקסי ולא חסר כאלה.

"מה גם שהרבה יותר קל ופשוט לשלוף מידע מ API. ולא, ללמוד זה לא רע. ולא לא תמיד חייבים להשתמש במחלקה מוכנה ל APIים.."
תאמין לי שהעדיפות גם מבחינת שימושים וגם מבחינת איכות למידה היא על הדרך של ביטוי ראגולרי, יש בו הרבה יותר שימוש מאשר API.
ולבנות מחלקה ?! כרגע הוספת לך עוד 3 שעות עבודה לעבודה של 5 דק.

אני מציע לך לקרוא את כל הפוסט הבאתי פה הרבה מאוד נימוקים נכונים ובדוקים.

intercooler3819

14-05-10 11:19

ציטוט:

נכתב במקור על ידי hi_sorie (פרסם 763947)

אני יודע, עזוב, האגו שלהם חותך להם את קו המחשבה.

דווקא ממש לא..

אני דווקא בעדך בגדול - אבל יש להפריד את השימוש ב API של גוגל מהשימוש ב SIMPLE XML או כל PHP CLIENT שעובד עם ה API הזה..

הייתי מציע לעשות דבר כזה:

PHP קוד:


		
			
$query = "ynet";
$url = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&gl=IL&q=".urlencode($query);

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_REFERER, "www.hosts.co.il");
$body = curl_exec($ch);
curl_close($ch);

var_dump(json_decode($body));

יש לכם שם את
"estimatedResultCount": "59986",

בהצלחה :)

דרך אגב.. לכתוב את זה לקח לי 3 דקות..

AlmogBaku

14-05-10 11:27

אני חושב שלא צריך לסבך כלא צריך.
יש דרך מסודרת לבצע דברים, והיא בד"כ משתלמת.

והנה ניצן הוכיח עד כמה היא פשוטה גם.

כל הזמנים הם GMT +2. הזמן כעת הוא 23:50.

עמוד 1 מתוך 2

הצג 40 הודעות באשכול על דף אחד