بررسی data warehouse

بررسی انباره داده بخش یازدهم

 ناحيه ذخيره سازی می‌تواند حاوی داده هايی باشد که در پايينترين سطح جداول حاوی مقياسهای تجاری هستند. همچنين کاملا می تواند برای داده تجميع شده ای توسعه يافته باشد که درناحيه ذخيره سازی برای بارگذاری ، نگهداری می گردد. انواع  ديگر داده در ناحيه ذخيره سازی بسته به ابعاد تجاريی مثل محصول، زمان، ناحيه فروش، مشتری و شماهای ترويجی ذخيره می‌شوند.

عملکردها وسرويسها
بهتر است ليست کلی عملکردها و سرويسهای اين بخش را بررسی كنيد. اين ليست با ناحيه مالکيت داده (data acquisition) ارتباط دارد و عملکردها و سرويسهای موجود دراين سه گروه را پوشش می‌دهد. اين يك ليست کلی است که به درجه پيچيدگی هرعملکرد يا سرويس اشاره نمی‌كند. اما به منظور بررسی معماری تكنيكی انبارداده  بايد انداره وپيچيدگی هر تابع يا سرويس تعيين شود.
ليست عملکردها و سرويسها به شرح زير است.
 استخراج داده‌ها
انتخاب منابع داده و تعيين انواع فيلترها جهت اعمال شدن به منابع 
توليد خودکارفايلهای استخراج از سيستمهای عملياتی با استفاده از replication و تکنيکهای ديگر
ايجاد فايلهای موقت برای ذخيره داده انتخابی جهت ترکيب با ساير اطلاعات درآينده
انتقال فايلهای استخراج شده از بستر های اطلاعاتی گوناگون
تهيه سرويسهای کنترل خودکار برای ايجاد فايلهای استخراج
 
اصلاح قالب منابع داخلی و خارجی 
توليد کد عمليات عمومی برای استخراج داده
برطرف سازی ناسازگاريها برای اجزاء عمومی داده در منابع گوناگون 

 تغيير شکل 
طراحی داده ورودی برای مخزن انبارداده
پاکسازی ، حذف نسخه های تکراری ،و ترکيب/تصفيه
غير نرمال سازی ساختار داده استخراج شده به منظور پياده سازی مدل چند بعدی انبار داده
 
برگرداندن انواع دادها 
محاسبه و اشتقاق مقادير صفات 
بررسی درستی ارجاعات
تجميع داده در صورت نياز 
بازسازی مقادير گمشده 
تحکيم و يکپارچه سازی داده
 
 ذخيره سازی داده  
ايجاد نسخه پشتيبان و بازيافت برای مخازن ناحيه ذخيره سازی 
 
مرتب سازی و ترکيب فايلها
ايجاد فايلهايی به عنوان فايلهای ورودی به منظور اينکه تغييرات لازم را روی جداول بعد اعمال کنند.
اگر فضای ذخيره سازی داده يک بانک اطلاعاتی رابطه ای است ، ايجاد و استقرار بانک اطلاعاتی 
نگهداری اثرات بازبينی برای ارتباط هر قلم داده در انبار داده با منبع ورودی  
استقرار و ايجاد کليدهای اصلی و خارجی برای بارگذاری جداول
تحکيم مجموعه های داده و ايجاد فايلهای flat  برای بارگذاری در ابزارهای  کاربردی  در سيستم مديريت بانک اطلاعاتی 
اگر فضای ناحيه ذخيره سازی يک بانک اطلاعاتی است ، استخراج فايلهای بارگذاری 
 
 ناحيه Data storage
اين ناحيه مسئول پشتيبانی از پردازش بارگذاری داده ازناحيه ذخيره‌سازی به درون مخزن انبارداده است.کليه عملکرد‌هايی که به منظور تغيير شکل و يكپارچه‌سازی داده انجام می شود ،در ناحيه ذخيره سازی داده انجام می‌شود. داده آماده شده  درانبارداده شبيه محصول تكميل شده ای است كه برای ذخيره سازی در انبار كارخانه آماده شده است.
 قبل از هر بارگذاری داده در داخل انبارداده  ، فراداده كه بخش ديگر معماری است ، فعال می باشد. در طی مراحل استخراج و تغيير شکل داده فراداده مربوطه در مخزن انبارداده جمع آوری می شود. شكل 2-9 ديد خلاصه شده ای از معماری تكنيكی ناحيه data storage را نشان داده می دهد.
گردش: به منظورذخيره سازی داده، گردش داده از ناحيه data staging شروع می‌شود. داده تغيير شکل يافته و يكپارچه سازی شده از ناحيه data staging به مخزن انبار داده  منتقل می‌شود. اگر انبارداده  يك انبارداده بسيار پيشرفته باشد به روش  بالا به پايين ساخته می‌شود، بدين معنی که داده می تواند از مخزن انبارداده  به مخازن data mart های وابسته منتقل شود. متناوبا اگرانبارداده توده ای از data mart های منطبق برهم باشد، به روش پايين به بالا ساخته می شود، بدين معنی که داده توسط data mart های منطبق برهم منتقل می شود.
انباره داده


گروه های داده: داده آماده شده در ناحيهdata staging به دوگروه تقسيم می شود. گروه اول مجموعه‌ای از فايلها و جداولی هستند که به منظور يک بازسازی کلی وجود دارند. اين گروه داده معمولا برای بارگذاری اوليه انبارداده تهيه شده است. گاهی برخی جداول انبارداده می‌تواند كاملا از ابتدا بازسازی  شوند.
گروه ديگر داده مجموعه‌ای از فايلها و جداولی هستندکه به منظور بارگذاريهای مداوم و تکميلی به کار می روند. بيشتر اين بارگذاريها هر شب انجام می شود.برخی  بارگذاريهای تکميلی برای داده ابعادی نيز می‌تواند درفواصل خاص با فرکانس کمتر انجام شود.
مخزن داده : امروزه تقريبا کليه بانکهای اطلاعاتی انبارهای داده ،بانکهای اطلاعاتی رابطه‌ای هستند. تمام قدرت ، انعطاف و سادگی كاربرد RDBMS ها، به سبب انجام پردازش داده به صورت کارآمد می باشد.
 عملکردها و سرويسها 
ليست كلی عملکردها و سرويسهای ذکر شده در اين بخش برای راهنمايی است. اين ليست به ناحيه data storage مرتبط است و عملکردها و سرويسهای وسيعی را پوشش می‌دهد. اين يك ليست كلی است که اندازه يا پيچيدگی هر عملکرد يا سرويس را بررسی نمی کند.
بارگذاری داده برای refresh های جداول انبارداده
انجام بارگذاريهای اضافی در فواصل تعيين شده مناسب
پشتيبانی از عمليات بارگذاری در جداول در حد جزييات
ايجاد سرويسهای کنترل کننده job خودکار برای عمليات بارگذاری انبارداده
ايجاد عمليات نسخه برداری و ترميم در انبارداده (backup/recovery)
ايجاد محيط امنيتی
 
کنترل و ميزان سازی بانک اطلاعاتی
آرشيو سازی دوره ای داده بانک اطلاعاتی بر طبق شرايط  از قبل ترتيب داده شده
 ناحيه تحويل اطلاعات  
 اين ناحيه طيف وسيعی از روشهای مختلف ايجاد اطلاعات مفيد برای كاربران را دارا می باشد. از ديد كاربران، ناحيه تحويل داده ،خود انبارداده است. آنها با نواحی و بخشهای ديگر به طورمستقيم تماس ندارند. از نظر  كاربران، استحکام معماری انبارداده اصولا برمبنای استحکام و انعطافپذيری ناحيه تحويل داده متمرکز است.

 

0 نظر

نظر محترم شما در مورد مقاله های وب سایت برنامه نویسی و پایگاه داده

نظرات محترم شما در خدمات رسانی بهتر ما را یاری می نمایند. لطفا اگر مایل بودید یک نظر ما را مهمان فرمائید. آدرس ایمیل و وب سایت شما نمایش داده نخواهد شد.

حرف 500 حداکثر