بخش ۲ — توسعهٔ هوش تجاری

• فصل ۶: Integration Services — صفحهٔ ۹۳ کتاب
• فصل ۷: Data Quality Services — صفحهٔ ۱۴۱ کتاب
• فصل ۸: Master Data Services — صفحهٔ ۱۷۵ کتاب
• فصل ۹: Analysis Services و PowerPivot — صفحهٔ ۱۹۹ کتاب
• فصل ۱۰: Reporting Services — صفحهٔ ۲۲۹ کتاب

این صفحه در نسخهٔ اصلی عمداً بدون محتوای متنی است.

فصل ۶

Integration Services

از نخستین انتشار Integration Services در Microsoft SQL Server 2005، در هر نسخهٔ بعدی تغییرهای تدریجی در محصول ایجاد شد. با این حال، آن تغییرها در مقایسه با شمار بهبودها، افزایش‌های کارایی و قابلیت‌های جدید SQL Server 2012 Integration Services ناچیز بودند. این بازطراحی محصول همهٔ جنبه‌های Integration Services، از توسعه و استقرار تا مدیریت را تحت تأثیر قرار می‌دهد.

تجربهٔ توسعه‌دهنده

نخستین تغییری که هنگام ساخت پروژهٔ جدید Integration Services دیده می‌شود این است که Business Intelligence Development Studio یا BIDS اکنون پوسته‌ای از Microsoft Visual Studio 2010 با نام SQL Server Data Tools یا SSDT است. محیط Visual Studio نسبت به BIDS قبلی چند تغییر جزئی رابط کاربری دارد، اما تغییرهای مهم‌تری نیز مخصوص SQL Server Integration Services یا SSIS هستند. این بهبودها به توسعه‌دهندهٔ تازه‌کار کمک می‌کنند فرایند ساخت Package را یاد بگیرد و برای توسعه‌دهندهٔ باتجربه، ساخت Package را آسان‌تر می‌کنند. کاربران قدیمی نیز ظاهر بهبودیافتهٔ Taskها و Componentهای Data Flow، لبه‌های گرد و Iconهای جدید را مشاهده خواهند کرد.

پنجرهٔ Add New Project

برای آغاز کار با Integration Services در SSDT، مانند نسخه‌های پیشین از منوی File به New و سپس Project بروید. در پنجرهٔ Add New Project می‌توان نوع Template هوش تجاری را از Installed Templates انتخاب کرد تا فقط Templateهای مرتبط نمایش داده شوند. با انتخاب هر Template، توضیح آن در سمت راست پنجره نشان داده می‌شود.

دو Template برای پروژه‌های Integration Services وجود دارد:

• Integration Services Project: توسعه با Package خالی آغاز می‌شود؛ Taskها را اضافه و در Workflow مرتب می‌کنید. این Template در نسخه‌های پیشین نیز وجود داشت.
• Integration Services Import Project Wizard: پروژه‌ای را از Integration Services Catalog یا فایل Project Deployment وارد می‌کند. این گزینه برای استفاده از پروژهٔ موجود به‌عنوان نقطهٔ آغاز پروژهٔ جدید یا تغییر پروژهٔ موجود سودمند است.

تغییرهای عمومی رابط

پس از ساخت Package جدید، تغییرهای زیر در Package Designer دیده می‌شوند:

• SSIS Toolbox: برای افزودن Task و Componentهای Data Flow به‌جای Toolbox عمومی Visual Studio از SSIS Toolbox استفاده می‌شود.
• Parameters: زبانه‌ای جدید برای بازکردن پنجرهٔ Parameters وجود دارد. Parameterها مقدارهای زمان اجرا را برای Propertyهای Package، Container و Task یا برای Variableها تعیین می‌کنند.
• دکمهٔ Variables: دسترسی سریع به پنجرهٔ Variables؛ این پنجره همچنان از منوی SSIS یا منوی راست‌کلیک Package Designer نیز باز می‌شود.
• دکمهٔ SSIS Toolbox: Toolbox پنهان را باز می‌کند؛ منوی SSIS و منوی راست‌کلیک نیز همین فرمان را دارند.
• Getting Started: پنجره‌ای زیر Solution Explorer با لینک ویدئوها و نمونه‌های آموزشی. با پاک‌کردن Always Show In New Project می‌توان نمایش خودکار آن را متوقف کرد.
• کنترل Zoom: گوشهٔ پایین راست سطح طراحی Control Flow و Data Flow قرار دارد؛ بزرگ‌نمایی از ۱۰ تا ۵۰۰ درصد و دکمهٔ Fit To Window را فراهم می‌کند.

پنجرهٔ Getting Started

این پنجره در نسخهٔ جدید Integration Services برای ارائهٔ منابع به توسعه‌دهندگان تازه‌کار اضافه شده است. مگر اینکه Check Box پایین آن را پاک کنید، هنگام ساخت پروژهٔ جدید خودکار نمایش داده می‌شود. برای بستن باید دکمهٔ Close گوشهٔ بالا راست را بزنید. برای بازکردن دوباره، Getting Started را از منوی SSIS یا منوی راست‌کلیک سطح طراحی انتخاب کنید.

پنجره چند لینک به ویدئوها و نمونه‌های Integration Services دارد و استفاده از آن‌ها به اینترنت نیاز دارد. موضوع‌های پیش‌فرض عبارت‌اند از:

• Designing and Tuning for Performance Your SSIS Packages in the Enterprise: مجموعه ویدئوهای SQL Server Customer Advisory Team یا SQLCAT دربارهٔ پایش کارایی Package و روش‌های بهبود کارایی هنگام توسعه.

• Parameterizing the Execute SQL Task in SSIS: ویدئوی کوتاهی دربارهٔ استفاده از عبارت‌های SQL دارای Parameter در Integration Services.
• SQL Server Integration Services Product Samples: نمونه‌های محصول در CodePlex، سایت میزبانی پروژه‌های متن‌باز Microsoft، برای یادگیری Taskهای Control Flow و Componentهای Data Flow.

با افزودن لینک‌های دلخواه به فایل SampleSites.xml در مسیر Program Files (x86)\Microsoft SQL Server\110\DTS\Binn می‌توان پنجره را سفارشی کرد.

SSIS Toolbox

SSIS Toolbox علاوه بر رابط بهتر، قابلیت‌های جدیدی برای مرتب‌کردن اقلام دارد.

بهبود رابط

Icon بیشتر اقلام به‌روز شده است. توضیح Item انتخاب‌شده نیز در Toolbox نمایش داده می‌شود تا پیش از افزودن، عملکرد آن مشخص باشد. Drag-and-Drop و Double-click هر دو قابل استفاده‌اند. Double-click اکنون Item را به Container انتخاب‌شده اضافه می‌کند؛ اگر Container انتخاب نشده باشد، Item مستقیماً به سطح طراحی افزوده می‌شود.

چیدمان اقلام

دو گروه Favorites و Common در بالای Toolbox قرار دارند. همهٔ گروه‌ها به‌طور پیش‌فرض پر هستند، اما با راست‌کلیک و انتخاب Move To Favorites یا Move To Common می‌توان Itemها را جابه‌جا کرد. برای Control Flow گزینهٔ Move To Other Tasks و برای Data Flow گزینه‌های Move To Other Sources، Move To Other Transforms و Move To Other Destinations وجود دارد. گزینهٔ گروه فعلی نشان داده نمی‌شود و جابه‌جایی دستی با Drag-and-Drop ممکن نیست. Restore Toolbox Defaults چیدمان اولیه را بازمی‌گرداند.

Shared Connection Managerها

در Solution Explorer پوشه‌های Data Sources و Data Source Views حذف و با فایل و پوشه‌ای جدید جایگزین شده‌اند. فایل Project.params برای Parameterهای پروژه است. پوشهٔ Connection Managers محلی برای Connection Managerهایی است که میان چند Package به اشتراک گذاشته می‌شوند.

مراحل ساخت Shared Connection Manager:

1. روی پوشهٔ Connection Managers راست‌کلیک و New Connection Manager را انتخاب کنید.
2. در Add SSIS Connection Manager نوع دلخواه را انتخاب و Add را بزنید.
3. اطلاعات لازم را در Editor وارد و تا بسته‌شدن همهٔ پنجره‌ها OK را بزنید.

فایلی با پسوند CONMGR در پوشهٔ Connection Managers در Solution Explorer ظاهر می‌شود. همان فایل در Tray مربوط به Connection Managers در همهٔ Packageهای پروژه نیز با پیشوند (project) نمایش داده می‌شود تا از Connectionهای سطح Package متمایز باشد. تغییر Propertyهای آن در یک Package بر تمام Packageهای دیگر اثر می‌گذارد.

برای تبدیل Shared Connection Manager به Package Connection، در Tray روی آن راست‌کلیک و Convert To Package Connection را انتخاب کنید. فایل CONMGR از پوشه و Packageهای دیگر حذف و فقط در Package جاری باقی می‌ماند. برعکس، با راست‌کلیک روی Connection Manager در Solution Explorer و انتخاب Convert To Project Connection می‌توان Package Connection را به Shared Connection Manager تبدیل کرد.

موتور Scripting

موتور Scripting به Visual Studio Tools for Applications یا VSTA 3.0 ارتقا یافته و Microsoft .NET Framework 4.0 را پشتیبانی می‌کند. هنگام ویرایش Script Task در Control Flow یا Script Component در Data Flow، محیط VSTA همچنان در پنجره‌ای جدا باز می‌شود، اما اکنون پوستهٔ Visual Studio 2010 دارد. بهبود مهم، امکان استفاده از قابلیت‌های Debug در VSTA برای Script Component داخل Data Flow است.

نشانگرهای Expression

Expressionها Package را انعطاف‌پذیر می‌کنند و رفتار در زمان اجرا بر اساس ارزیابی جاری Expression تغییر می‌کند. کاربرد رایج آن‌ها تغییر پویا در Connection String هنگام انتقال Package از محیطی مانند Development به Production است. نسخه‌های قدیمی راه آسانی برای تشخیص استفادهٔ Connection Manager از Expression نداشتند؛ اکنون Icon اضافه‌ای کنار Icon اتصال، این موضوع را نشان می‌دهد.

همین نشانگر برای اشیای دیگر نیز ظاهر می‌شود؛ افزودن Expression به Variable یا Task، Icon را روی آن شیء نمایش می‌دهد.

Undo و Redo

قابلیت جدید Undo و Redo در SSDT تغییرهای Control Flow و Data Flow، پنجرهٔ Variables، زبانه‌های Event Handlers و Parameters و همچنین Project Parameterها را پوشش می‌دهد. از دکمه‌های Toolbar، کلیدهای Ctrl+Z و Ctrl+Y یا فرمان‌های منوی Edit استفاده کنید.

مرتب‌سازی Packageها بر اساس نام

در نسخه‌های قبلی برای مرتب‌سازی الفبایی فهرست Packageها در Solution Explorer باید پروژه بسته و دوباره باز می‌شد. اکنون روی پوشهٔ SSIS Packages راست‌کلیک و Sort By Name را انتخاب کنید.

نشانگرهای وضعیت

پس از اجرای Package، وضعیت هر Item در Control Flow و Data Flow نمایش داده می‌شود. نسخه‌های قبلی کل Item را برای موفقیت سبز و برای شکست قرمز می‌کردند که برای افراد دارای کوررنگی مناسب نبود. اکنون Icon موفقیت یا شکست در گوشهٔ بالا راست هر Item ظاهر می‌شود.

Control Flow

سه بهبود مهم دارد: Expression Task جدید برای ارزیابی آسان Expression در Workflow؛ تغییر Execute Package Task برای پیکربندی ساده‌تر رابطهٔ Parent و Child Package؛ و Change Data Capture Task جدید.

Expression Task

Expression Task فقط در Control Flow و در SSIS Toolbox قابل دسترس است و تخصیص مقدار پویا به Variable را آسان می‌کند. به‌جای Script Task می‌توان Expression Task را به Workflow افزود و از SQL Server Integration Services Expression Language استفاده کرد. هنگام ویرایش، Expression Builder باز می‌شود. ابتدا Variable و علامت مساوی به‌عنوان Assignment Operator نوشته، سپس Expression معتبری ارائه می‌شود که به یک مقدار با نوع دادهٔ درست برای Variable انتخابی Resolve شود.

Execute Package Task

Property جدید ReferenceType در صفحهٔ Package در Execute Package Task Editor محل Package قابل اجرا را تعیین می‌کند. با External Reference مسیر Child Package مانند نسخه‌های قبلی تنظیم می‌شود؛ با Project Reference، Child Package از Drop-down انتخاب می‌شود.

صفحهٔ جدید Parameter Bindings نیز اجازه می‌دهد Parameter در Child Package به مقدار Parameter یا Variable در Parent Package نگاشت شود.

Data Flow

Data Flow قابلیت‌های جدیدی مانند Source Assistant، Destination Assistant و DQS Cleansing Transformation و نسخه‌های بهبودیافتهٔ Merge و Merge Join دارد. نتیجهٔ همکاری Microsoft و Attunity نیز Componentهای جدیدی برای اتصال‌های ODBC و پردازش Change Data Capture Log است. رابط کاربری برای ساده‌سازی طراحی Data Flow نیز تغییر کرده است.

Sourceها و Destinationها

Source Assistant و Destination Assistant

این دو Item به‌طور پیش‌فرض در پوشهٔ Favorites در SSIS Toolbox قرار دارند و ساخت Source یا Destination همراه Connection Manager متناظر را آسان می‌کنند.

برای ساخت SQL Server Source:

1. Source Assistant را با Drag-and-Drop یا Double-click به سطح Data Flow اضافه کنید تا پنجرهٔ Source Assistant - Add New Source باز شود.
2. در Select Connection Managers اتصال موجود را انتخاب یا New را برای ساخت اتصال جدید انتخاب و OK کنید.
3. اگر اتصال جدید ساخته می‌شود، Server Name، روش Authentication و Database را تعیین و OK کنید.

Data Source جدید روی سطح طراحی و Connection Manager در Tray ظاهر می‌شود. سپس باید Source برای Data Access Mode، Columnها و Error Output ویرایش شود.

ODBC Source و ODBC Destination

این دو Component بر فناوری دارای مجوز Attunity بنا شده‌اند و پیکربندی‌شان شبیه OLE DB Source و Destination است. ODBC Source حالت‌های Table Name و SQL Command را دارد؛ ODBC Destination حالت‌های Table Name - Batch و Table Name - Row By Row را پشتیبانی می‌کند.

Flat File Source

Flat File Source داده را از CSV یا TXT استخراج می‌کند. نسخه‌های قبلی بعضی قالب‌ها را بدون مراحل اضافی پشتیبانی نمی‌کردند، از جمله فایل دارای تعداد متغیر ستون و استفادهٔ Literal از کاراکتر Qualifier داخل رشته. نسخهٔ جدید هر دو مشکل را رفع می‌کند.

• Variable Columns: فایل دارای تعداد متغیر ستون Ragged-Right Delimited نام دارد. اگر ستون‌های سمت راست مقدار نداشته باشند و Delimiter آن‌ها حذف شده باشد، نسخه‌های قبلی Row Delimiter را نادیده می‌گرفتند و دادهٔ ردیف بعد را تا پرشدن همهٔ ستون‌های مورد انتظار می‌خواندند. اکنون Row Delimiter درست تشخیص داده و ستون‌های غایب NULL می‌شوند.

• Embedded Qualifiers: اگر Single Quote هم Text Qualifier و هم جزئی Literal از مقدار باشد، معمولاً Quote دوم Escape Character است:

ID,BusinessName
    404,'Margie''s Travel'
    406, 'Kickstand Sellers'

در ردیف نخست نمونه، نسخه‌های قبلی Apostrophe دوم را Escape نمی‌دانستند و آن را Qualifier پایانی ستون تلقی می‌کردند. چون کاراکتر بعدی Delimiter نبود، پردازش خطا می‌داد. نسخهٔ جدید بدون پیکربندی اضافی مشکل را رفع کرده است.

Transformationها

Pivot Transformation

نسخه‌های قبلی Editor عمومی و نامأنوسی برای تبدیل ردیف‌های ورودی به مجموعه‌ای از ستون‌ها در یک ردیف داشتند. رابط اختصاصی جدید Fieldهایی با نام روشن و توضیح نقش هر Field در ورودی یا خروجی عملیات Pivot ارائه می‌کند.

Row Count Transformation

هدف این Transformation به‌روزرسانی یک Variable با تعداد ردیف‌های عبوری است. Editor جدید تغییر تنها Property لازم را بسیار ساده می‌کند.

Merge و Merge Join Transformation

هر دو دادهٔ دو ورودی را جمع و یک خروجی ترکیبی تولید می‌کنند. در نسخه‌های قبلی اگر سرعت ورود داده از دو ورودی متفاوت بود، مصرف حافظهٔ Integration Services می‌توانست بیش از حد شود. نسخهٔ جدید سازوکاری خودکار برای مدیریت بهتر Memory Pressure دارد و به پیکربندی اضافی نیاز ندارد.

DQS Cleansing Transformation

Component جدیدی است که همراه Data Quality Services یا DQS کیفیت داده را با Ruleهای Knowledge Domain بهتر می‌کند؛ مثلاً غلط املایی رایج در Field متنی را می‌یابد یا طول Column را با استاندارد مقایسه می‌کند.

برای پیکربندی، شِمای Data Quality Field دارای Ruleها انتخاب، Columnهای ورودی Data Flow تعیین و Error Handling تنظیم می‌شود. پیش از استفاده باید DQS روی سرور نصب و پیکربندی و Knowledge Base لازم برای تشخیص ناهنجاری و اصلاح دادهٔ نامعتبر ساخته شود. فصل ۷ هم DQS و هم استفاده از این Transformation را توضیح می‌دهد.

ارجاع‌های Column

معماری Pipeline در Data Flow به نگاشت دقیق میان Columnهای ورودی و خروجی هر Component در Data Flow Task نیاز دارد. معمولاً توسعه با یک یا چند Source آغاز و Componentها به‌ترتیب افزوده می‌شوند. Package Designer هنگام اتصال Component بعدی، Columnهای ورودی آن را با Data Type و Propertyهای Column خروجی Component قبلی پیکربندی می‌کند. این مجموعه Column و اطلاعات Property همان Metadata است.

اگر مسیر میان Componentها شکسته و Transformation جدیدی اضافه شود، Metadata بعضی بخش‌ها ممکن است تغییر کند، زیرا Component جدید می‌تواند Column اضافه یا حذف کند یا Property، مثلاً Data Type، را تغییر دهد. نسخه‌های قبلی هنگام نامعتبرشدن Metadata خطا نشان می‌دادند و Restore Invalid Column References Editor برای اصلاح نگاشت باز می‌شد، اما مراحلش همیشه شهودی نبود. وابستگی Component به Metadata نیز اغلب مانع ویرایش Component جداشده از Pipeline می‌شد.

Componentهای بدون Column Reference

اکنون کار با Component جداشده آسان‌تر است. هنگام ویرایش Transformation یا Destination بدون اتصال قبلی، پیام می‌پرسد: «این Component هیچ Input Column قابل دسترسی ندارد. آیا می‌خواهید ویرایش Propertyهای قابل دسترسی ادامه یابد؟» با انتخاب Yes، Editor باز می‌شود. نبود Input Column مانع پیکربندی کامل در Basic Editor است؛ اگر Advanced Editor وجود داشته باشد می‌توان Input Column را دستی افزود، هرچند ایجاد Metadata از طریق رابط معمولاً آسان‌تر است.

Resolve References Editor

Data Flow Designer کنار هر مسیر دارای Column نگاشت‌نشده Error Indicator نشان می‌دهد. با راست‌کلیک مسیر و انتخاب Resolve References، Editor گرافیکی جدید برای نگاشت Output Column به Input Column باز می‌شود.

می‌توان Column را از Unmapped Output Columns کشید و به Source در Mapped Columns افزود. به همین ترتیب Column از Unmapped Input Columns به Destination کشیده می‌شود تا Output و Input متصل شوند. همچنین نام Columnها را می‌توان تایپ یا Paste کرد.

با دکمهٔ Delete Row کنار هر Mapping می‌توان نگاشت را حذف کرد. پس از پایان، Check Box با نام Delete Unmapped Input Columns همهٔ Input Columnهای باقی‌مانده و نگاشت‌نشده را حذف می‌کند. حذف این Columnها نیاز حافظهٔ Component را هنگام اجرا کاهش می‌دهد.

گروه‌بندی جمع‌شونده

وقتی Data Flow Componentهای زیادی دارد، می‌توان آن‌ها را در Group قرار داد و Group را باز یا بسته کرد. Group از نظر مفهوم شبیه Sequence Container در Control Flow است، اما Property مشترک، مرز Transaction یا Scope برای Variable تعیین نمی‌کند.

برای ساخت Group:

1. روی سطح Data Flow با Mouse کادری دور Componentها بکشید یا با نگه‌داشتن Ctrl روی هرکدام کلیک کنید.
2. روی یکی از Componentهای انتخاب‌شده راست‌کلیک و Group را انتخاب کنید.
3. برای جمع‌کردن Group، Arrow سمت راست Label آن را بزنید.

Data Viewer

تنها Data Viewer موجود در نسخهٔ جدید Grid View است؛ نماهای Histogram، Scatter Plot و Chart حذف شده‌اند.

مراحل استفاده:

1. روی Path راست‌کلیک و Enable Data Viewer را انتخاب کنید؛ همهٔ Columnهای Pipeline خودکار افزوده می‌شوند.
2. برای نمایش زیرمجموعه‌ای از Columnها، روی Icon ذره‌بین Data Viewer در سطح طراحی راست‌کلیک و Edit را انتخاب کنید.
3. در Data Flow Path Editor، Data Viewer را از فهرست چپ انتخاب کنید.
4. Columnهای لازم را از Displayed Columns به Unused Columns منتقل و OK کنید.