Change Data Capture یا CDC چیست؟

Change Data Capture یا CDC چیست؟

یکی از قابلیت های ویژه SQL Server Enterprise Edition (که البته درنسخه‌های Developer و editions هم به خوبی کار می‌کند ) است که روی جدولی در دیتابیس ما فعال می‌شود و تغییرات ناشی از دستورات DML (Insert,Update,Delete) آن را نگهداری می‌کند و ما میتوانیم از این اطلاعات استفاده کنیم. وقتی که ما CDC را روی جدولی فعال میکنیم، SQL Server جدولی مشابه آن به همرای یکسری Metadata ایجاد می‌کند وتغییرات را در آن ذخیره مینماید. در کنار آن تعدادی Table-valued function در اختیار ما قرار میگیرند که به ما امکان استفاده از داده های ذخیره شده را می‌دهند.

CDC چگونه کار می‌کند؟

هنگامی که CDC روی یک جدول فعال میشود، SQL Server از مکانیزم نامتقارنی (Async) استفاده می‌کند که به کمک آن تغییرات رخ داده در جداول را از فایل log می‌خواند و درجداولی که به منظور نگهداری تغییرات ایجاد کرده ذخیره میکند. در فایل‌های log هر رکوردی که‌ذخیره میشود یک شناسه یکتا با نام Log Sequence Number دارد که به اختصار LSN نامیده می‌شود.بسیاری از Metadataهایی که برای ما نگهداری می‌شود به خاطر قرابت نزدیکی که اینتکنولوژی با Log دارد از همین اطلاعات Log استخراج می‌شوند.
 برای فعال سازی CDC روی یک جدول ابتدا به کمک دستور sys.sp_cdc_enable_db باید آنرا در پایگاهداده مورد نظر فعال کنیم. با اجرای این دستور سیستم CDC بر روی پایگاهداده ما فعال می‌شود و زیرساخت‌های مورد نیاز آن مانند meta-data table ها، CDC Schema ، CDC Database User  و … روی پایگاه داده ما ایجاد می‌شوند.  در صورتی که نیاز داشته باشید می‌توانید در sys.databases  و به کمک ستون is_cdc_enabled بررسی کنید که آیا CDC برای دیتابیسشما فعال است یا خیر.
حالا شما میتوانید ازدستور sys.sp_cdc_enable_table برای فعال کردن CDC روی جدول خود استفاده کنید. با بررسی ستون is_tracked_by_cdc در sys.tablesمیتوانید از فعال بودن یا نبودن  CDC روی جدول خود مطلع شوید.

 با فعال شدن این امکان، با هر تغییری در داده های جدول موردنظر شما، تغییرات آن در جدول CDC متناظر از Log استخراج شده و ذخیره می گردد. به صورت پیش فرض تمامی ستون‌های جدول نگهداری می‌شوند اما در صورت نیاز مثلا به دلایل امنیتی یا پرفورمنسی شما می‌توانید تنها اطلاعات بعضی از ستون‌های جدول را نگهداری کنید. این کار را به کمک پارامتر @captured_column_list هنگام ایجاد CDC روی جدول انجام میدهیم. همچنین به صورت پیش فرض این اطلاعات روی FileGroup اصلی ما نگهداری می‌شوند که باز هم در صورت نیاز میتوانید با استفاده از پارامتر @filegroup_name یک FileGroup دیگر را جهت نگهداری اطلاعات معرفی کنید.
 فعال بودن SQL Server Agent برای فعال کردن این امکان اجباری نیست. اما فعال بودن آن برای کارکرد صحیح CDC لازم است. به همین منظور در صورتی که هنگام فعال کردن این امکان روی جدول اگر این SQL Server Agent استارت نباشد، با اینکه کار فعال سازی درست انجام می‌شود اما به شما پیامی مبنی بر عدم کارکرد صحیح سیستم داده می‌شود.

آیا جدول CDC بسیار بزرگ می‌شود؟

با توجه به اینکه هر تغییراتی که در جداول ما اتفاق می افتددر جدول CDC نگهداری میشود، احتمالا باید این سوال برای شما پیش آمده باشد کهآیا این جدول بسیار بزرگ نمیشود؟! پاسخ این است خیر.
یک روال سیستمی وجود دارد که به صورت اتوماتیک هر ۳ روزیکبار داده ها قدیمی را پاک میکند. البته میتوانید این اندازه را به هر اندازه ایکه نیاز دارید تغییر دهید و یا میتوانید به کمک روال ذخیره شده  sys.sp_cdc_cleanup_change_table این کار را بهصورت دستی انجام دهید.

در صورت تغییر در جدولی که تغییرات آن را نگهداری می‌کنیم چه‌ اتفاقی می‌افتد؟

با تغییر در ساختار جدول روال CDC به کار خودادامه میدهد، با این تفاوت که در صورتی که ستونی اضافه شود، دیگر تغییرات آننگهداری نمی شود، و اگر ستونی هم حذف شود مقدار NULL برای آننگهداری می شود. یعنی CDC توجهی به تغییرات اتفاق افتاده ندارد و کار خود را به همان شکلسابق ادامه می دهد. در صورت نیاز شما میتوانید یک روال دیگر برای نگهداری تغییراتستون های جدید ایجاد کنید. اما به خاطر داشته باشید که تنها ۲ نمونه از نگهداریسابقه  را میتوانید برای یک جدولفعال کنیم.

خلاصه

در این مطلب، شرح کلی از CDC و نحوه فعالسازی آن را بر روی یک جدول داشتیم. در قسمت بعد با جزئیات این قابلیت جدید و نحوهاستفاده از آن بیشتر آشنا می شویم.