איך לנהל מסד נתונים ענקי ?
 

רציתי לדעת איך הכי טוב לנהל מסד נתונים ענקי כמו של פייסבוק למשל
אולי עדיף לחצות ולהשים ב2 שרתים נפרדים ?
מה הסוד של האתרים הענקיים שפועלים מהר מאוד?

שרתים תותחיים ותכנות יעיל.

גם. ובעיקר CLUSTERs [חיבור בין שרתים]

אם אתה עובד עם PHP תעיף מבט על HADOOPS

בלי האדאופס LAST.FM לא היו קיימים היום...

כמובן הרבה עבודה עם קאשינג - בעיקר מאמקאשדי ואופקוד קאשינג


פייסבוק מקצים הרבה שרתים שמשתמשים רק למאמקאש ושרתים לדטאבייס וכו'
כמובן כמו שאלמוג אמר קלאסטר

אבל מעבר לזה - עבודה עם שפות יותר יעילות, שימוש במסדים יותר זריזים - SQLITE ושות'
ועוד ועוד :)

אם יש לך שאלה יותר קונקרטית אשמח לעזור

אני לא בטוח שברמת הכניסות והפעילות של גולש בפייסבוק רק קוד יעיל עושה את העבודה...
עד כמה שלא יעיל יהיה הקוד, לטפל בעשרות מיליוני יוניקים ביום... זה מעבר לזה.
גם כמובן אני מתכוון שזה מעבר לשרתים חזקים וסופר מהירים.

אני חושב שרק כשמגיעים למצב הזה, ומתעניינים בפתרונות, מוצאים את החברות בשוק שמטפלות בזה.
כל חברות ההייטק הגדולות בישראל בעצם מבוססות על פתרונות למענה גלובאלי רחב היקף ללקוחות, אם בתחומי הבילינג או ניהול מידע ברמת ארגוני ענק.

קלאסטר לא קשור בכלל לפיזור העומס במערכת, קלאסטר נועד לשרידות גבוהה יותר של המערכת.
עבודה עם SQLite לא נשמעת הגיונית. סביר להניח שהם עובדים עם DB-ים רציניים יותר כמו oracle, db2 או sql server.
לאורקל יש מאפיין ייחודי ל-DB שלה - RAC. הוא מאפשר פריסת ה-DB על מספר שרתים עם CACHE משותף ולא על אותם הדיסקים.
חוץ מזה יש עוד המון שיטות כמו connection pooling, שימוש מורחב ב-cache וכו'.

וזה לא דבר כזה פשוט לנהל כזה DB. ישנם לא מאט DBA-ים שאחראים על המשימה הזאת ויש תקציב חומרתי גדול מאד.

אם יש לך את התקציב,
זאת חברה שמתמחה בזה..
http://www.radware.com/

לפני בערך חצי שנה הייתי בהרצאה אצל METACAFE בת'א על SCALABILITY של אפליקציות WEB

בפייסבוק וכל האתרים הגדולים (גם יוטיוב ושות') משתמשים בכל האמצעים שציינתי.. יצא לי בעצמי להשתמש בהם גם כן
|קורץ|