בעשור הנוכחי, ארגונים מאפיינים את עצמם יותר ויותר ככאלה המוּנֵעים באמצעות נתונים, או כ"מפעלי נתונים", ומנהלים בארגונים אלה שואפים כל העת להסיק תובנות חדשות מנתונים עדכניים אודות הצרכנים, השוק ופעילות הארגון. הצירוף של כמה גורמים חדשים, ובהם נוכחות גוברת של חיישנים זולים, אימוץ מכשירים ניידים והשתתפות צרכנים בייצור מידע, יחד עם הירידה בעלויות האחסון למידע והשימוש בטכנולוגיות ענן – האיצו את נפח אגירת הנתונים ותרמו תרומה מכרעת להתפתחותה של תעשיה צעירה: תעשיית ה-Big Data.
לפי הערכות, כ-50 מיליארד חיישנים נמצאים כיום בשימוש במספר הולך וגדל של תעשיות, והצפי לשנים הקרובות עומד על כניסה של כטריליון חיישנים חדשים לשימוש. לצד חיישנים אלה, פועלים כיום כ-6 מיליארד טלפונים סלולריים ברחבי העולם, המחוללים זרימת נתונים בלתי-פוסקת אודות המשתמשים בהם. לצד היווצרות נפחים הולכים וגדלים של מידע, ירדה משמעותית עלות האחסון של נתונים והאיצה את כניסתן של חברות שירותי ענן כמו גוגל ואמזון לתחום זה. כיום, התמריץ הכלכלי לאחסון הנתונים גבוה יותר מעלות האיחסון שלהם, ותנאים אלה הם שאפשרו את תחילתו של עידן ה-Big Data.לשם המחשה, עלות האחסון ירדה מ-$200,000 ל-1Gb ב-1980, ל-$0.03-0.04 ב-2014.
הדיגיטציה של תהליכים עסקיים וערוצי תקשורת שונים בכלכלה העולמית שינתה דרמטית את ההתנהלות העסקית: האינטראקציה עם לקוחות נעשתה רב-ערוצית ועברה תהליכי דיגיטציה. גם ציפיות הלקוחות השתנו, והתפתחו פרקטיקות חדשניות מוכוונות-לקוח שהשפיעו עמוקות על תחומי השיווק והמכירות. ציוד ומכשירים, כגון מכוניות, מכשירי חשמל, ואף בניינים וגשרים נעשו דיגיטליים, וכיום הם מייצרים נפחי נתונים עצומים המאפשרים ניתוח לצורכי אופטימיזציה של פעולות לוגיסטיקה, ניהול נכסים ותהליכי רכש. הדיגיטציה המואצת של אינטראקציות בין אנשים ובין אלמנטים פיזיים מסבכת את תהליך עיבוד הנתונים וניתוחם, והיא שהניעה את ההתפתחות של טכנולוגיות Analytics, המאפשרות ניתוח נפחים גדולים של מידע לא-מובנה.
מה זה Big Data?
ניתן להסביר את המושג Big Data באמצעות תיאור שלוש תכונות מהותיות, המפרידות את העידן הנוכחי מניתוח המידע המסורתי:
נפח (Volume): כמויות הנתונים העצומות ההופכות זמינות בתהליכי דיגיטציה בתחומים שונים, והיכולות המתפתחות לאחסן כמויות מידע כאלו בעלויות פחותות ולזמן רב יותר. כמות המידע הנאגרת בארגונים זינקה בסדרי גודל בשנים האחרונות: לפייסבוק, למשל, כמיליארד משתמשים פעילים החולקים 150 מיליארד קשרים. החברה אוגרת כל פריט מידע העובר בין משתמשיה: הודעות, אירועים, תמונות וכדומה, וכמובן weblogs, נאגרים ומנוטרים על-ידי החברה. יותר מ-500 טרה-בייט של נתונים חדשים נטענים למאגרי הנתונים של החברה בכל יום, באמצעות אשכול ה-Hadoop הגדול ביותר המסוגל לאחסן יותר מ-100 פטה-בייט.
מגוון (Variety): היכולת הטכנולוגית לשלב נתונים ממקורות שונים ובפורמטים שונים: רשומות מסורתיות במסדי נתונים, מידע במדיה החברתית, טרנזאקציות מסוגים שונים, נתוני שימוש במוצרים וכדומה. העלייה בנפח הנתונים בעולם הדיגיטלי מלווה גם בהסטת מוקד תשומת הלב ממידע מובנה (הנשמר בפורמט קבוע מראש לתוך מסד נתונים יחסי), אל מידע בלתי-מובנה: טקסט, תמונות, וידאו, אודיו ומידע מחיישנים.
מהירות (Velocity): תדירות ייצור הנתונים החדשים גבוהה בהרבה מבעבר, באופן שמזמן אתגרים חדשים של ניהול נתונים, ניתוחם ודיווח על ממצאים בזמן אמת. יישומים מסוימים מחייבים ניתוח מיידי ללא שיהוי, כגון פרסומת מוכוונת אישית ברשת או ניתוח טרנזאקציה פיננסית.
לפיכך, Big Data הוא שם כולל לנתונים שלא ניתן להתמודד איתם באופן יעיל באמצעי האיחסון, המחשוב והניתוח המסורתיים. המושג אינו מתייחס ישירות ל"תעשייה" או ל"שוק" מסויימים, אלא לצורך טכנולוגי שניתן לממשו בתעשיות מגוונות ובהקשרים שונים.