סוגי מסד - הוסטס

morsrh · 30-08-11, 13:31

אהלן ,

בזמן האחרון התעניינתי לגבי אתרי ענק , איך הם עובדים וכו'
אז יש לי כמה שאלות

אתרי אנק עם עשרות מיליוני רשומות לדוגמא פורום שיש שם קרוב ל 50 מיליון הודעות ועוד 5 מיליון טופיקים על איזה סוג מסד הם עובדים? ומה הכי יעיל במיקרים האלה?

עוד שאלה היא שוב על אתרי ענק , כאשר לדוגמא יש אתר ענק שלא מספיק לו שרת אחד ,
מנקודת מבט שלי שבחיים לא שמתי יותר מקבצים על שרת אחד לאתר אחד
איך זה בדיוק עובד כאילו 2 שרתים שלכל אחד יש מסד משלו , איך הם בעצם מתקשרים אחד עם השני? זה כאילו שרתי מסד ושרתי קוד או משהו כזה או סוקטים? איך זה עובד?

בוא ניקח את זה רחוק יותר , אם אני צריך חוות שרתים באסיה וחוות שרתים באמריקה שיתקפדו על אותו אתר , איך כל זה עובד?

תודה רבה , מור

**IgalSt** · 30-08-11, 13:57

בהתחלה עובדים עם מכונה אחת שעושה גם WEB (ז"א מריצה IIS, אפצ'י וכו') וגם עושה DB.
כשגדלים כדאי (לרוב) לפצל בינהם כך שיהיו שרתים ייעודים ל-WEB ול-DB ישנן אפשרויות לפיצולים נוספים, תלוי בסוג האתר*.

באשר ל-DB, אחרי שמוציאים אותו למכונה ייעודית וזה כבר לא מספיק, הצורה "הפשוטה" תהיה לעבוד עם שרת master אחד שאליו כותבים, ומספר שרתי slave שמהם קוראים מידע. כל זה עם הגדרה של ריפליקציה כך שהמידע שנכתב למאסטר יתעדכן בשרתי הסלייב.
כשאתרים גדלים יותר ויותר, נוצרים צווארי בקבוק מסויימים, שאילתות שמתחילות להיות מאוד כבדות וכו'. אפשר לנסות לצמצם את כמות הגישות ל-DB ולבצע קאשינג ע"י האפליקציה עצמה. כמו כן לפעמים כדאי שקול מחדש את עיצוב הטבלאות ולבדוק אם אפשר לסדר את המידע בצורה יעילה. אולי כדאי לפצה לכמה בסיסי נתונים שונים וכו'.
בכל אופן, כל אתר גדול שובר את הראש בצורה אחרת מבחינת ה-DB שלו. מה יהיה יותר נכון בהתאם לאופי האתר, המידע שהוא מחזיק ואיך שהוא צריך להגיש. לפעמים יש חשיבות לכך שהמידע תמיד יהיה מאוד מעודכן, מנגד יש אתרים שלא נורא אם יהיה קצת דיליי במידע.

באשר ל-WEB, כאן זה יחסית פשוט. תוך שימוש ב-load balancer ניתן לווסת את התנועה בין כמה שרתי WEB שונים ותלוי בהגדרות, אפשר להגיע ליתירות גבוהה כך שבמידה ואחד השרתים נופל התנועה מועברת אוטומטית לשרתים אחרים.

* לדוגמה כאשר מדובר בשרת שמגיש הרבה תמונה, יהיה הגיוני להשתמש ב-CDN, שרת קאשינג או ב-file server.

כל זה ממש ממש ממש על קצה המזלג.

לקריאה נוספת, איך השמות הגדולים עושים את זה, תוכל לבדוק באתר הזה שמכסה דיי הרבה חברות ענק ומספר על הארכיטקטורה שלהם - highscalability.com

morsrh · 30-08-11, 17:33

תודה רבה רבה , הרבה זמן רציתי לברר את זה

30-08-11, 13:31	# 1
morsrh חבר מתקדם מיני פרופיל תאריך הצטרפות: Feb 2010 מיקום: אשקלון. גיל: 31 הודעות: 444	סוגי מסד אהלן , בזמן האחרון התעניינתי לגבי אתרי ענק , איך הם עובדים וכו' אז יש לי כמה שאלות אתרי אנק עם עשרות מיליוני רשומות לדוגמא פורום שיש שם קרוב ל 50 מיליון הודעות ועוד 5 מיליון טופיקים על איזה סוג מסד הם עובדים? ומה הכי יעיל במיקרים האלה? עוד שאלה היא שוב על אתרי ענק , כאשר לדוגמא יש אתר ענק שלא מספיק לו שרת אחד , מנקודת מבט שלי שבחיים לא שמתי יותר מקבצים על שרת אחד לאתר אחד איך זה בדיוק עובד כאילו 2 שרתים שלכל אחד יש מסד משלו , איך הם בעצם מתקשרים אחד עם השני? זה כאילו שרתי מסד ושרתי קוד או משהו כזה או סוקטים? איך זה עובד? בוא ניקח את זה רחוק יותר , אם אני צריך חוות שרתים באסיה וחוות שרתים באמריקה שיתקפדו על אותו אתר , איך כל זה עובד? תודה רבה , מור

30-08-11, 13:57	# 2
IgalSt מנהל פורום, עסק רשום מיני פרופיל תאריך הצטרפות: Oct 2005 מיקום: המרכז גיל: 38 הודעות: 1,432	בהתחלה עובדים עם מכונה אחת שעושה גם WEB (ז"א מריצה IIS, אפצ'י וכו') וגם עושה DB. כשגדלים כדאי (לרוב) לפצל בינהם כך שיהיו שרתים ייעודים ל-WEB ול-DB ישנן אפשרויות לפיצולים נוספים, תלוי בסוג האתר. באשר ל-DB, אחרי שמוציאים אותו למכונה ייעודית וזה כבר לא מספיק, הצורה "הפשוטה" תהיה לעבוד עם שרת master אחד שאליו כותבים, ומספר שרתי slave שמהם קוראים מידע. כל זה עם הגדרה של ריפליקציה כך שהמידע שנכתב למאסטר יתעדכן בשרתי הסלייב. כשאתרים גדלים יותר ויותר, נוצרים צווארי בקבוק מסויימים, שאילתות שמתחילות להיות מאוד כבדות וכו'. אפשר לנסות לצמצם את כמות הגישות ל-DB ולבצע קאשינג ע"י האפליקציה עצמה. כמו כן לפעמים כדאי שקול מחדש את עיצוב הטבלאות ולבדוק אם אפשר לסדר את המידע בצורה יעילה. אולי כדאי לפצה לכמה בסיסי נתונים שונים וכו'. בכל אופן, כל אתר גדול שובר את הראש בצורה אחרת מבחינת ה-DB שלו. מה יהיה יותר נכון בהתאם לאופי האתר, המידע שהוא מחזיק ואיך שהוא צריך להגיש. לפעמים יש חשיבות לכך שהמידע תמיד יהיה מאוד מעודכן, מנגד יש אתרים שלא נורא אם יהיה קצת דיליי במידע. באשר ל-WEB, כאן זה יחסית פשוט. תוך שימוש ב-load balancer ניתן לווסת את התנועה בין כמה שרתי WEB שונים ותלוי בהגדרות, אפשר להגיע ליתירות גבוהה כך שבמידה ואחד השרתים נופל התנועה מועברת אוטומטית לשרתים אחרים. לדוגמה כאשר מדובר בשרת שמגיש הרבה תמונה, יהיה הגיוני להשתמש ב-CDN, שרת קאשינג או ב-file server. כל זה ממש ממש ממש על קצה המזלג. לקריאה נוספת, איך השמות הגדולים עושים את זה, תוכל לבדוק באתר הזה שמכסה דיי הרבה חברות ענק ומספר על הארכיטקטורה שלהם - highscalability.com __________________ יגאל סטקלוב Igal Steklov Slides מה השעה? טרקלין דן טרמינל 1 Last edited by IgalSt; 30-08-11 at 14:02..


	ההרשמה לפורום נפתחה - אפשרות רישום לכל אימייל (דומיינים פרטיים, gmail, הוטמייל..)!

30-08-11, 17:33	# 3
morsrh חבר מתקדם מיני פרופיל תאריך הצטרפות: Feb 2010 מיקום: אשקלון. גיל: 31 הודעות: 444	תודה רבה רבה , הרבה זמן רציתי לברר את זה

חברים פעילים הצופים באשכול זה: 1 (0 חברים ו- 1 אורחים)