" על פי סקר של חברת המחקר IDC, קרוב ל-40% מהארגונים אומרים שנפחי המידע גדלים בשיעור של כ-50% בשנה, ואחרים אומרים שנפח המידע שלהם מכפיל עצמו מדי שנה. במטרה להתמודד עם הגידול, יש לכוון בזהירות את בסיס הנתונים היסודי, אבל גם אז ארגונים גדולים ובינוניים חייבים להתמודד עם שדרוג של שש, שבע או אף שמונה ספרות של מחסני נתונים מסורתיים.

פניה לכלים של מחסני נתונים ולבסיסי נתונים עם איחסון בעמודות צברו תאוצה בשנים האחרונות, כאשר משקיעי הון סיכון מהמרים על מספר גדול של חברות סטארט אפ בתחום. זהו הימור בטוח, בהתחשב בשאיפת החברה לבצע אנליזה מעמיקה יותר של כל המידע הקיים."

השאלה שאני מעמיד, היא למה נותנים דגש גדול כל כך על שיפור הביצועים של בסיסי הנתונים (נושא חשוב), למה כמויות הנתונים גדלות באופן דרמטי, ולמה הזניחו את ה- HSM - ניהול מערך איחסון היארארכי.

ה- HSM תפס תאוצה כאשר מחירי מערכי האיחסון היה מאוד גבוה, וארגונים נדרשו למצוא שיטות על מנת להעביר נתונים  מהסביבה התפעולית הרגילה לסביבה זולה יותר. באופן זה עלויות האיחסון בסך הכל קטנות, והביצועים בסביבה התפעולית נשארים סבירים.

בהתחלה היו מעבירים את החומר ההיסטורי, לקלטות ו/או לדיסקים אופטיים. היום מעבירים את החומר לדיסקים בעלי ביצועים נמוכים יותר ( SATA ) ובאופן זה ממשיכים לשמור את כל החומר ההיסטורי on line אבל עם רמת ביצועים נמוכה יותר (לחומר ההיסטורי).

אבל, השתכללות הטכנולוגיה, וירידת מחירי הדיסקים וכו, גרמה לכך שארגונים לא מנהלים את נתוניהם. כמויות ה"זבל" בתוך המערכות הארגניות גדול ביותר. אין תהליך של "ניקוי" אין תהליך של "טיוב" נתונים קבוע.

תהליכי הניקוי והטיוב אינם התליכים טכנולוגיים, אלא תהליכים עיסקיים.

אבל אנשי ה- IT לא לוחצים על אנשי ה- business ואילו האחרונים מתחמקים מאחריות.

ההתחמקות קלה, כי אפשר לקנות בכסף פתרונות שינהלו את ה"זבל"

כתוצאה מכך נדרש לקיים פתרונות ליעל את הטיפול / ביצוע שאילתות בבסיסי נתונים גדולים.

כלומר במקום לנקות את הזבל, מפתחים שיטות איך לטפל בו ביעילות.