Data Warehousing

1

Data Warehousing

انبارداد ه

2

( Data Warehouseانبار داده ) چیست؟

ا��ه داده از ای مج�موع��ه ب��ه داده ان�ب��ار گف�ت��ه می ش�ود ک�ه از من�ابع مختل�ف اطالع�اتی س�ازمان جم�ع آوری ، دس�ته بن�دی و ذخ�یره می ش�ود. در واق�ع ی�ک انب�ار داده مخ�زن اص�لی کلی�ه داده ه�ای ح�ال و گذش�ته ی�ک س�ازمان می باش�د ک�ه ب�رای همیش�ه جهت انج�ام عملی�ات گ�زارش

گیری و آنالیز در دسترس مدیران می باشد.

3


4


تكنولوژي انبار داده ها شامل مجموعه ای مفاهيم و ابزارهای جديدیاست كه با فراهم آوردن اطالعات از دانشگران )افراد اجرايي، مدير و تحليلگر( در تصميم گيری پشتيباني مي نمايد. دليل اصلي ساخت انبار داده ها، بهبود كيفيت اطالعات در سازمان است، در واقع دسترسي

به داده ها از هر جا درون سازمان داده ها از منابع داخلي و خارجي تهيه مي شوند و به اشكال گوناگون از داده های ساختاری گرفته تا

داده های ساخت نيافته مانند فايل هاي متني يا چند رسانه ای، در مخزني از اين DWHمخزني مجتمع مي شوند. انبار داده ها يا

داده هاست كه به صورتي قابل درك در دسترس كاربران نهايي كسب و كار قرار مي گيرد.

نياز به انبار داده ها به وجود آمد و دريافتند 1980از اواسط سالهای كه سيستم های اطالعاتي بايد به صورت سيستم های عملياتي و

اطالعاتي مشخص شوند. سيستم های عملياتي از فعاليت های روزانه كسب و كار پشتيباني مي نمايند و برای پاسخگويي سريع به ارتباطات

از پيش تعريف شده مناسب هستند. داده های عملياتي ارائه بي درنگ و فعلي وضعيت كسب و كار مي باشند. اما سيستم های اطالعاتي براي

مديريت و كنترل كسب وكار به كار مي روند. اين سيستم ها از تجزيه و تحليل داده ها براي اتخاذ تصميم درباره عملكرد آني و آتي سازمان پشتيباني مي كنند و برای در خواست هاي موردی، پيچيده و به طور

عمده فقط خواندني طراحي شده اند.داده هاي اطالعاتي تاريخي هستند، به عبارتي بيانگر ديدگاه ثابتي از كسب وكار در يك دوره

زماني مي باشند.

5

انـبـار داده بـه مجـموعـه ای از داده هــا گفـتـه می شود که از منابع مختلف اطالعاتی سازمان جمع آوری ، دسته بندی و ذخیره می

شود. در واقع یک انبار داده مخزن اصلی کلیه داده های حال و گذشته یک سازمان می باشد که برای همیشه جهت انجام عملیات گزارش

گیری و آنالیز در دسترس مدیران می باشد. انبارهای داده حاوی داده هایی هستند که به مرور زمان از سیستم های عملیاتی آنالین سازمان

(OLTP استخراج می شوند، بنابراین سوابق کلیه اطالعات و یا بخش )عظیمی از آنها را می توان در انبار داده ها مشاهده نمود.

از آنجائیکه انجام عملیات آماری و گزارشات پیچیده دارای بارکاریبسیار سنگینی برای سرورهای پایگاه داده می باشند، وجود انبار داده

سبب می گردد که اینگونه عملیات تاثیری بر فعالیت برنامه های ( نداشته باشد.OLTPکاربردی سازمان )

همانگونه که پایگاه داده سیستمهای عملیاتی سازمان ) برنامه هایکاربردی ( به گونه ای طراحی می شوند که انجام تغییر و حذف و اضافه داده به سرعت صورت پذیرد، در مقابل انبار داده ها دارای

معماری ویژه ای می باشند که موجب تسریع انجام عملیات آماری و ( .OLAPگزارش گیری می شود )


6

تاریخچه و دالیل استفاده از انبار داده

میالدی، انبـار های داده به عنـوان نـوع 1980از اواخر سال متـمـایزی از پایـگاه هـای داده مـورد استـفاده اغلـب سـازمـانـها و شرکت های متوسط و بزرگ واقع شدند. انبار های داده جهت رفع

نیاز رو به رشد مدیریت داده ها و اطالعات سازمانی که توسط پایگاه های داده سیستم های عملیاتی غیر ممکن بود، ساخته شدند.

( سیستمهای عملیاتی سازمانOLTP دارای نقاط ضعفی می باشند )که انبار های داده آنها را رفع می کنند. از جمله:

بار پردازش گزارشات موجب کندی عملکرد برنامه های کاربردی •می گردد.

• پایگاه های داده برنامه های کاربردی دارای طراحی مناسبی جهت انجام عملیات آماری و گزارش نیستند.

• بسیاری از سازمانها دارای بیش از یک برنامه کاربردی ) منابع اطالعاتی( می باشند، بنابراین تهیه گزارشات در سطح سازمان غیر

ممکن می شود.• تهیه گزارشات در سیستمهای عملیاتی غالبا نیازمند نوشتن برنامه

های مخصوص می باشد که معموال کند و پرهزینه هستند.

7

مراحل و نحوه ایجاد انبار داده در سازمان

بسیاری از شرکت ها و سازمانها به این باور رسیده اند که گردآوری، سازمان دهیو یکپارچه سازی داده ها در یک مخزن داده برای مدیریت بهینه و اتخاذ تصمیمات

کالن یک ضرورت می باشد. به طور کلی ساخت یک انبار داده، به شکل یک پروژه شامل مراحل اصلی زیر می

باشد:1استخراج داده های تراکنشی از پایگاه های داده به یک مخزن واحد -

شناخت منابع داده های سازمان و استخراج داده های ارزشمند از آنها یکی از اصلی ترین مراحل ایجاد انبار داده می باشد.

- تبدیل داده ها2از آنجائیکه سیستمهای اطالعاتی و برنامه های کاربردی یک سازمان غالبا توسط افراد و پروژه های مختلف به م�رور زمان در مواجه�ه با نی�ازهای جدید س�اخته یا

تغییر ش�کل داده می ش�وند، یکس�ان س�ازی آنها امری ضروری می باشد.در بسیاری از موارد نیز سیستمهای اطالعاتی در بستر های مختلف پایگاه داده مانند

Microsoft SQL Server ،Oracle ، Sybase ، Microsoft Access و غیره طراحی گردیده اند. بررسی جداول، برقراری ارتباط بین فیلدها و یک شکل سازی

داده ها در این مرحله صورت می پذیرد.

8

مراحل و نحوه ایجاد انبار داده در سازمان

- بارگذاری داده های تبدیل شده به یک پایگاه داده چند بعدی3( که دارای معماری رابطه ای می OLTPبر خالف پایگاه داده سیستمهای عملیاتی )

باشند و از اصول نرمالیزه استفاده می کنند، طراحی انبار داده به شکلی ویژه بدون بهره گیری از اصول نرمالیزاسیون می باشد. درانبار داده فیلدها در جاهای مختلفی تکرار می شوند و روابط بین جداول کمتر به چشم می خورند. علت آن هم افزایش

سرعت پردازش اطالعات هنگام گزارشات و عملیات آماری می باشد. 4 تولید مقادیر از پیش محاسبه شده جهت افزایش سرعت گزارش -

گیریم�قادیر از پی�ش محاس�به شده را تراک�م نی�ز م�ی نام�ند. ای�ن مرحل��ه توس��ط

بسیار ساده Microsoft SQL Server Analysis Servicesسیست�مهایی نظ��یر تر شده است. ای�ن تراکم ها ک�ه در اب�عاد مختل�ف انبار داده س�اخته می شوند،

موجب می شوند که سرعت انجام عملیات گزارش گیری به شکل محسوسی افزایش یابد. بایدتوجه داشت که عملیات ساخت این مقادیر بسیار زمان گیر بوده و

نیازمند حافظه زیادی بر روی سروراست. - ساخت ) یا خرید ( یک ابزار گزارش گیری5

پس از انجام مراحل فوق، ش�ما می توان�ید نسب�ت به ساخت یا خ�رید ی�ک نرم افزار گزارش گی�ری تصمیم گیری نمایید. به طور معم�ول هزینه س�اخت یک نرم افزار

می شود. گزارش گ�یری، باالت�ر از هزین�ه خری�د آن از یک شرکت خارج�ی

9

ويژگيهاي اصلي داده های انبار داده ها

داده های موجود در انبار داده ها از سيستم های عملياتي متنوع )نظيرسيستم هاي پايگاه داده ها( و منابع داده ای خارجي )نظير پايگاه

(يكپارچه مي شوند. تفاوتهای ساختاری WWWداده های آماری و ومعنايي داده ها بايد پيش از يكپارچه سازی انسجام يابند. براي مثال

شوند. بعالوه، "همگن"داده ها بايد مطابق با مدل داده ای يكپارچه مقادير داده اي سيستم هاي عملياتي بايد پاك شوند تا داده های

صحيحي در انبار داده ها وارد شوند. .نياز به داده های تاريخي يكي از موارد مهم درشيوه انبار داده هاست

داده های تاريخي برای تحليل روند كسب وكارضروری هستند. البته هزينه نگهداری اين گونه داده ها نيز بايد مورد توجه قرار گيرد. بعالوه،

از DWHداده های انبار داده ها ثابت هستند، براي مثال دسترسي به نوع خواندني است. انجام اصالحات در اين داده ها فقط هنگامي DWHصورت مي گيرد كه اصالحات داده های منبع در انبار انتشار يابند.

( دارد. derived dataداده های ديگری به نام داده های اشتقاق يافته )اين داده ها به طور صريح در منابع عملياتي ذخيره نمي شوند، بلكه در حين بعضي از فرايندها از داده های عملياتي، اشتقاق مي يابند. برای

مثال داده های فروش را مي توان در سطوح مختلف )هفتگي، ماهانه، فصلي( در انبار ذخيره نمود.

10

ويژگيهاي اصلي داده های انبار داده ها

11

سيستم هاي انبار داده ها

( سيستم انبار داده هاDWS شامل انبار داده ها و همه مولفه هايي است كه براي ) به كار مي روند. انبار داده ها بخش مركزی DWHساخت، دستيابي و نگهداری

سيستم انبار داده ها را تشكيل مي دهد. گاهي اوقات انبار داده ها حجم عظيمي از نگهداري مي كند. Data Martاطالعات را در واحدهای منطقي كوچكتر به نام

مولفه آماده سازی، مسووليت كسب يا دريافت داده ها را بر عهده دارد. اين مولفه شامل همه برنامه ها و برنامه های كاربردی ای است كه مسوول استخراج داده ها از

يا OLAPمنابع عملياتي هستند. مولفه دستيابي شامل برنامه های كاربردی مختلف )برنامه های كاربردی داده كاوی( است كه امكان استفاده از اطالعات ذخيره شده

در انبار داده ها را فراهم مي آورند. مولفه مديريتMetadata ، وظيفه مديريت، تعريف و دستيبابي به انواع مختلف

Metadata ، را بر عهده دارد. در اصل Metadata " داده هايي درباره داده ها" يا Metadata"داده هايي است كه مفهوم داده ها را توصيف مي كنند". انواع مختلف

در انبار داده ها وجود دارند. مثال اطالعاتي درباره منابع عملياتي، ساختار داده هاي DWH و كارهايي كه در حين ساخت، نگهداري و دستيبابي به DWH انجام

DWSشناخته شده است. پياده سازي يك Metadataمي شوند. نياز به منسجم ،كار پيچيده و دشواري است و شامل دو فاز مي باشد. درفاز اول كه

نام دارد، ديدگاه مفهومي انبار داده ها مطابق با نيازمنديهای كاربر DWSپيكربندي مشخص مي شود. سپس منابع داده ای دخيل و روش استخراج و بار گذاري در انبار

داده ها تعيين مي گردد. سرانجام، درباره پايگاه داده های مورد نظر و روشهای دستيبابي داده ها تصميم گيری خواهد شد. پس از بار گذاري اوليه، در فاز عمليات

DWS بايد داده های انبار داده ها به منظور منظم refresh.شوند

12

طراحي انبارداده ها

روشهای طراحي انبارداده ها امكان پردازش كارآمدquery را برروي حجم عظيمي از داده ها فراهم مي آورند. نوع ويژه ای از الگوی پايگاه

برای مدل سازی انبارداده های چند بعدی به كار starداده ها به نام factمي رود. در اين حالت، پايگاه داده ها از يك جدول مركزی واقعيت يا

هايي tupleو جداول چند بعدي تشكيل شده است. جدول واقعيت حاوی است كه بيانگر واقعيت هاي كسب و كار مانند فروش يا عرضه هستند.

های جدول چند بعدي اشاره دارد. tuple جدول واقعيت به tupleهر جدول چند بعدي مواردي نظير محصوالت، مشتريان، زمان و tupleهر

فروشنده را نشان مي دهد.

مدل چرخه حیات انبار داده ها

13

انبار داده های مجازی

هدف انبارداده های مجازی، پياده سازي سريع انبارداده ها بدون نياز بهذخيره سازي و نگهداری كپي هاي متعدد از داده های منبع است. اغلب، انبارداده هاي مجازی به سازمانها كمك مي كند تا به نياز واقعي كاربران نهايي پي ببرند. كاربران نهايي مي خواهند به طور مستقيم به داده هاي

منبع بي درنگ با كمك ابزارهای توانمند شبكه ای دسترسي پيدا كنند. معايب اين روش عبارتند از:

كيفيت و سازگاري داده ها تضمين نمي شود. زيرا فعاليت های آماده - سازی داده ها صورت نمي گيرند.

.به طور معمول، داده های تاريخي وجود ندارند - زمان دسترسي كاربر نهايي بسته به وجود يا عدم وجود منابع -

عملياتي، بار شبكه و پيچيدگي درخواست، غير قابل پيش بيني است.

14

مولفه انبارها در سازمان

مؤلفه هاي يك انبار داده در شكل زير آمده .است

15

طراحي پايگاه داده ها

همانطور كه گفته شد پايگاه داده ها در يك انبار داده ها به صورت نرمال طراحي نمي شود و بلكه پايگاه داده ها به صورت چندبعدي طراحي مي شود. به عنوان مثال در

طراحي اطالعات نگهداري شده براي فروش، زمان فروش، ناحيه فروش، فروشنده و محصول به فروش رفته به عنوان ابعاد مختلف در نظر گرفته ميشوند.

با توجه به آنكه اين بعدها به تعريف شوند يا خير، دو11صورت سلسله مراتبي schema :زير وجود دارد

: در بيشتر DWH از اين روش براي ايجاد مدل داده چندبعدي استفاده ميشود. درStar schema •

اين مدل، fact و تعدادي جدول مجزا براي ابعاد است. در جدول fact ركوردپايگاهداده شامل يك جدول

اطالعاتي شامل تعدادي اشارهگر )كليد خارجي( به جداول ابعاد و مقادير مربوط به .معيارهاي عددي است

Attribute .ها به همراه كليدها در جداول ابعاد قرار ميگيرند Snowflake : در اين مدل يك يا بيش از يك جدول بعد به صورت سلسله مراتبي

schema •مي باشند. اين مدل نسبت به مدل قبل load داده ها در آن سريعتر است. ولي

انعطاف پذيرتر است و زمان.مديريت آن بسيار سخت تر است و اثر منفي در مدت زمان گزارشگيري دارد

16


fact مشخصات جدول.شامل اطالعات عددي سازمان است •

.حجم بسيار بااليي از داده ها را دربر دارد •.رشد بسيار سريعي دارد •

.مي تواند شامل داده هاي پايه، مشتق شده و سرجمع باشد •با دريافت كليد خارجي به جداول ابعاد متصل است •

:مشخصات جدول بعد.شامل اطالعات متني سازمان است •

.شامل داده هاي ايستا مي باشد •با انداختن كليد خارجي به جدول Fact .متصل است

.

17


در ادامه به ترتيب يك طراحي به روشstar schema و Snowflake schema.آمده است

18


19


همانطور كه از نام اين فرآيند مشخص است شامل سه مرحله واكشي اطالعات از منابع داده اي، تغيير شكل و پااليش آنها و ذخيره سازي آن در انبار داده ها مي

.باشدمرحله واكشي اطالعات : داده ها در قالبهاي مختلف ) پايگاه داده هاي

عامل متفاوت ( در نقاط مختلف، انواع فايلها و حتي در سيستمهاي مختلفي در سازمان پراكنده اند، در اين مرحله فيلدهاي اطالعاتي از منابع داده اي

.استخراج مي شودمرحله پااليش اطالعات : در اين مرحله داده ها پااليش شده و به صورت

.موضوع گرا در مي آيند

20


21


22

کاال انبار معماری داشتن فوایدها داده

ارائه یک چهارچوب سازمان: این معماری، خطوطی را بر اساس جزئیات فردی ترسیم می کند ،اینکه چه

کسانی عهده دار کدام بخشها هستند. انعطاف پذیری و نگهداری بهبود یافته: به شما اجازه می دهد سرعت منابع داده

های جدیدرا افزایش دهید. توسعه و استفاده مجدد سریعتر:

توسعه دهندگان انبار کاال بهتر می توانند فرآیند داده های انبار کاال را درک کنند محتویات داده های پایه و نقشهای کار با سرعت بیشتر.

ابزار های ارتباطی و مدیریتی : انتظارات را تعریف کنید، نقش ها و مسئولیت ها را تعیین کنید و برای فهمیدن

نیاز های مشتریان با آنها ارتباط برقرار کنید. هماهنگ کردن تالشهای همزمان :

تالشهای چند گانه مستقل، یک شانس برای پوشش موفقیت آمیز دارند.همچنین های بازار های داده بدون معماری ، لوله بخاری های آینده خواهند شد.

اطالعات در محیط کاری امروزه اساسی هستند. انبار کاال داده ، داده ها به اطالعاتی که در ثبات و هوش سازمانی نقش دارد ، تغییر شکل می دهند. انبار

کاال داده ، به عنوان سرمایه مهم در سرمایه گذاری محسوب می شود. انبار کاال داده می تواند پایه ای از کار برای تحصیل فواید رقابتی باشد و آینده ای

روشن برای آن قابل پیش بینی است.

Data Warehousing

Documents

Transcript of Data Warehousing