دیگر نگران Fragmentation نباشید!!!

درباره نویسنده

میلاد فیروزی

میلاد فیروزی

   هم اکنون کارشناس تضمین کیفیت تیم توسعه دیجی کالا می باشم.

38 دیدگاه

  1. سپهر صفایی

    سپهر صفایی

        با سلام 

    در مورد جمله “ Rebuild و یا Reorganize کردن ایندکس ها باعث می شود تا SQL Server در Transaction Log بنویسد ” باید بگم که این جمله کاملا صحیح است ولی برای جلوگیری از این مشکل می توان قبل از Rebuild کردن ایندکس ها RecoveryModel دیتابیس را به حالت Bulk-logged تغییر داد و بعد از اتمام Rebuild به حالت اولیه بازگرداند که با گذاشتن این فرآیند در قالب یک Job شبانه کاملا هم مشکل حجم لاگ هم مشکل ایندکس ها قابل حل می باشد.
    پیشاپیش از زحمات شما در این سایت سپاسگذارم 
    پاسخ
    1. میلاد فیروزی

      میلاد فیروزی

          متشکر از نظر بسیار کاربردی شما دوست عزیز

      پاسخ
    2. Hamid J. Fard

      Hamid J. Fard

       نکته این جا است که اگر شما Recover Model را به Bulked-Logged تغییر دهید تمامی Data Page هایی که تغییر داده شده اند در Log Backup خواهند بود. این عملیات بازهم تاثیر در عملیات Mirroring و Backup گیری فایل تراکنش دارد.

      پاسخ
      1. مسعود طاهری

        مسعود طاهری

            سلام حمید جان باید به این نکته توجه داشته باشیم کهپروسه Mirroring به علت مکانیزم داخلی خود و… اجازه نمی دهد که شما Recovery Model بانک اطلاعاتی را تغییر دهید (نیاز به Recovery Model= Full دارد)

        نکته 
        1 – تغییر Recovery Model باعث کاهش حجم لاگ می شود و نکاتی که حمید گفت هم برای این موضوع صحیح است (بکاپ)
        2- زمانی که شما Always-ON و Mirroring دارید اجازه تغییر Recovery Model را ندارید و نمی توان به صورت عادی Recovery Model را از حالت Full خارج کرد. چون این پروسه ها به شدت از لاگ فایل استفاده می کنند و…
        موفق باشید
      2. مسعود طاهری

        مسعود طاهری

            البته فک کنم منظور شما از این 

        این عملیات بازهم تاثیر در عملیات Mirroring
        تولید لاگ و تاثیر اونها در پروسه Mirroring است و نه Recovery Model

      3. قاسم گل میری

          اگر plan bakup به این صورت باشد که در طول روز log bakup بگیرید تغییر Recovery Model توصیه نمیشود چون باعث شکستن chain های log bakup میشود.

      4. Hamid J. Fard

        Hamid J. Fard

         البته اگر به Bulk-Logged تغییر پیدا کند زنجیره لاگ از بین نخواهد رفت  

      5. مسعود طاهری

        مسعود طاهری

            سلام

        در تکمیل حرف حمید 
        مراحل کار را می توانید به صورت زیر انجام دهید

        Step 1. Take a T-log backup, before switching to Bulk-logged recovery

        Step 2. Set Database to Bulk-logged recovery

        Step 3. Perform  Bulk-logged operations

        Step 4. Set Database to FULL

        Step 5. Again, take a T-log backup

      6. سپهر صفایی

        سپهر صفایی

            سلام

        البته تو تست هایی که من کردم این روش فقط برای Rebuild ایندکس مناسب می باشد.
        تغییر recovery model از افزایش حجم log file هنگام reorganize کردن جلوگیری نمی کند.
      7. Hamid J. Fard

        Hamid J. Fard

           تغییر Recovery Model به هیچ عنوان از حجم Log جلوگیری نمی کند فقط نوع ذخیره سازی برای هر تراکنش را تغییر می دهد

      9. Hamid J. Fard

        Hamid J. Fard

           عذر می خواهم . Log Backup

      10. سپهر صفایی

        سپهر صفایی

        با تشکر از لینک هایی که معرفی کردید. آیا راه حلی برای جلوگیری از رشد log file هنگام reorganize کردن ایندکس ها دارید؟! 

      11. مسعود طاهری

        مسعود طاهری

            تهیه منظم Log Backup 

        1- در دیتابیس های بزرگ اینکار (Reorganize) معمولا به شکل On-Demand روی جداولی خاص انجام می شود. در این حالت با مانیتور کردن لاگ فایل می توانیم در صورت افزایش حجم Log Backup بگیریم تا بیش از حد حجم لاگ زیاد نشود. 
        2- اگر با Maintenance Plan کار می کنید متاسفانه در نسخه های قبل از 2016 ایندکس تمامی جداول در پروسه Rebuild , Reorganize شرکت می کنند و این موضوع افزایش حجم لاگ را در پی دارد. اما در نسخه 2016 کمی اوضاع فرق کرده و هنگام انتخاب جداول می توان شرایطی خاص را مشخص کرد.
        3- بهترین حالت برای Rebuild + Recognize کردن ایندکس ها در دیتابیس های بزرگ انجام  اینکار به شکل On Demand بوده و نه ازای همه جداول بلکه برای جداولی + ایندکس هایی که مشکل Fragmentation دارند.  در این حالت پس از Rebuild  + Organize کردن چند جدول و… می توان لاگ را بررسی کرد اگر حجم از حد مشخصی بالا رفت لاگ بکاپ تهیه کرد
      12. سپهر صفایی

        سپهر صفایی

            بله در حالت bulk-logged تاثیری در حجم فایل logBackup ندارد ولی هنگام عملیات REINDEXING حجم فایل log زیاد نمی شود

  2. کیوان معینی

    سلام
    خسته نباشید و سپاس خدمت نویسنده مقاله بابت این مقاله مفید و کاربردی .
    و همچنین تقدیر از مدیران خوش برخورد و متین سایت نیک آموز
    ( یه پیشنهاد : لطفا اگه براتون مقدوره برای صفحات مقاله ،خروجی pdf بزارین . بازم ممنون)

    پاسخ
    1. حمیدقلیپور

      حمیدقلیپور

          با سلام

      بنده با نظر شما کاملا موافقم و چند بار این درخواست از مدیریت محترم انجام دادم اما نمیدونم چرا صورت نگرفت.  امیدوارم که این امر محقق بشود.
      پاسخ
  3. Hamid J. Fard

    Hamid J. Fard

    متاسفانه مقاله مشکلات تکنیکی داشت که در نکته نظر ها گفتم. به هر حال برای شروع خوب است.

    نکته اول:  ”   با معین کردن درصد Fill Factor به SQL می گوییم که صفحاتمان تا چند درصد پر باشند تا کمی فضای خالی برای درج رکوردهای جدید وجود داشته باشد.” نکته اینجا است که فضای خالی برای تغییرات رکوردهای موجود در صفحه است نه درج رکورد جدید. Fillfactor از عملیات Page Split جلوگیری می کند و در نتیجه از External Fragmentation.


    نکته دوم: هیچ data page نباید ۱۰۰ درصد پر باشد به دلیل به وجود آمد عملیات Page Split و Forwarded Records که هزینه ای بیش از استفاده مازاد حافظه را دارد. اصولا Fillfactor برای جداول با تغییرات بالا باید بین ۷۰ تا ۸۰ باشد.
    پاسخ
    1. مسعود طاهری

      مسعود طاهری

      سلام حمید جان متشکر از نظرات خوبت

      به نظر من این موضوع برای رکورد جدید هم صدق می کند مثال زیر را در نظر بگیرید
      تا جایی که یادم می آید در کتاب Pro SQL Server Internals به این موضوع هم اشاره شده است. (البته شک دارم اسم کتاب را)
      USE tempdb
      GO
      IF OBJECT_ID(‘TB1’)>0
      DROP TABLE TB1
      GO
      CREATE TABLE TB1
      (
      C1 CHAR(900),
      C2 CHAR(1100)
      )
      GO
      –ایجاد ایندکس
      CREATE CLUSTERED INDEX IX1 ON TB1 (C1) WITH (FILLFACTOR=70)
      GO
      –درج تعدادی رکورد در جدول این 3 رکورد در یک پیچ ذخیره می شوند
      INSERT INTO TB1 (C1) VALUES (‘100’)
      GO
      INSERT INTO TB1 (C1) VALUES (‘400’)
      GO
      INSERT INTO TB1 (C1) VALUES (‘600’)
      GO
      –درج تعدادی رکورد در جدول این 3 رکورد در یک پیچ دیگر ذخیره می شوند
      INSERT INTO TB1 (C1) VALUES (‘900’)
      GO
      INSERT INTO TB1 (C1) VALUES (‘1000’)
      GO
      INSERT INTO TB1 (C1) VALUES (‘1100’)
      GO
      –مشاهده پیج های تخصیص یافته به جدول
      DBCC IND(‘tempdb’,’TB1′,-1) WITH NO_INFOMSGS
      GO
      –هر کدام از رکوردها در چه پیچی درج می شوند
      SELECT 
      * 
      FROM TB1 AS T 
      CROSS APPLY sys.fn_PhysLocCracker(%%physloc%%) AS FPLC
      ORDER BY 
      FPLC.file_id, FPLC.page_id, FPLC.slot_id
      GO
      –درج تک رکورد جدید
      INSERT INTO TB1 (C1) VALUES (‘200’)
      GO
      –هر کدام از رکوردها در چه پیچی درج می شوند
      –اگر دقت کنید برای درج رکورد جدید پیجی تخصیص داده نشد
      –Using Fillfactor
      SELECT 
      * 
      FROM TB1 AS T 
      CROSS APPLY sys.fn_PhysLocCracker(%%physloc%%) AS FPLC
      ORDER BY 
      FPLC.file_id, FPLC.page_id, FPLC.slot_id
      GO
      پاسخ
      1. Hamid J. Fard

        Hamid J. Fard

           مسعود جان
        این مثالی که شما گذاشتید به دلیل وجود CHAR است حالا اگر ما بیایم نوع داده ای را به VarChar تغییر دهیم رکوردهای بیشتری جای می شود ولی اگر یکی از رکورد ها را به روز رسانی کنیم و مقدار fillfactor 100 باشد باعث Page Split می شود.
        در مثال شما به دلیل اینکه حجم صفحه به 70 درصد رسیده است رکوردهای جدید را به صفحه جدید منتقل می کند.
      2. مسعود طاهری

        مسعود طاهری

            بلی دقیقا به خاطر اینکه این مورد را نشان دهم از قصد دیتا تایپ Char که از نوع Fixed Length است را ایجاد کردم. در خصوص Varchar هم همین جریان وجود دارد. (استفاده Fillfactor به ازای درج رکورد جدید).

        در مثال شما به دلیل اینکه حجم صفحه به 70 درصد رسیده است رکوردهای جدید را به صفحه جدید منتقل می کند.
        اگر دقت کنید رکورد آخر که درج شد به جای تخصیص یک Page جدید در Page مربوط به خودش جا گرفت. بنابراین Page جدیدی به ازای آن ایجاد نشده است و Fragmentation رخ نداده بلکه مسئاله Fill factor به ازای Insert صدق می کند.
        نکته که شما هم فرمودید درست است Fillfactor صفر و صد یکی هستند
      3. Hamid J. Fard

        Hamid J. Fard

        و البته اینکه شما فقط دارید در ستون اولی داده وارد می کنید و ستون دوم به صورت Nullable است
      4. مسعود طاهری

        مسعود طاهری

            سلام

        تا جایی که به خاطر دارم دیتا تایپ های Fixed Length حتی اگرمقدارشان Null باشد فضای خود را در Data Page اشغال می کنند.
      5. Hamid J. Fard

        Hamid J. Fard

           مسعود جان
        به نظر میاد مطالب را فراموش کردی! 🙂 بهتر است که یک مروری بکنی
        در داخل Record Structure ستونهای Null چه Fixed Length و چه var Length اگر خالی باشند فقط 2 بایت فضا اشغال می کنند.
      6. مسعود طاهری

        مسعود طاهری

            سلام مجدد

        حمید جان به این لینک نگاه کنید
        اگر بخواهیم که این فضا واقعا در Page تخصیص داده نشود باید سراغ Sparse Column برویم که دردسرهای خاص خودش را دارد
      7. مسعود طاهری

        مسعود طاهری

            البته بهتر است که دیتا تبدیل به Varchar شود. اما اگر مطمئن هستیم که واقعا دیتا دقیقا طولش ثابت است و همیشه همان فضا را اشغال می کتد و درصد Null Value کم است بهتر است Fixed Length دیتا تایپ استفاده کنیم.

      8. Hamid J. Fard

        Hamid J. Fard

           البته در نظر داشته باشید که مقاله این که شما منبع دادید برای SQL Server 2005 است که درست است ولی از SQL Server 2008 به بعد روند اختصاص داده در Storage Engine تغییر کرده است.

      9. مسعود طاهری

        مسعود طاهری

        سلام حمید جان

        من این موضوع را تست کردم در SQL Server 2014 هم دیتا تایپ Fixed Length دقیقا فضای کامل را اشغال می کند حتی اگر Null باشد.
        موفق باشید

      10. بابک جهانگیری

            لطفا وضعیت را در SQL Server 2016  نیز تست بفرمایید  که آیا Fixed Length بازهم فضای کامل را اشغال می کند؟

      11. مسعود طاهری

        مسعود طاهری

            بابک عزیز سلام

        بلی این قانون در SQL Server 2016 هم وجود دارد
        این موارد به ریز در دوره Performance Tuning بررسی شده است.
        موفق باشید
      12. مسعود طاهری

        مسعود طاهری

        یک نکته دیگر بابک عزیز

        اگر بخواهید SQL SERVER از این فضا صرف نظر کند می توانید از Sparse Column و در برخی موارد Data Compression را استفاده کنید. البته توجه داشته باشید رفتن به سمت هر کدام چالش و… خود را به همراه دارد
  4. مهدی ربانی ذبیحی

    مهدی ربانی ذبیحی

        با سلام و تشکر از مقاله خوبتون.من هم با دوست عزیز موافقم در صورت خروجی pdf ماندگاری مقالات بیشتر میشه با تشکر

    پاسخ
  5. فرشید علی اکبری

    فرشید علی اکبری

    سلام

    خاطرم هست که حدود سه سال پیش در انجمن سابق نیک آموز، آقای مسعود طاهری مقدار FillFactor برای جداول بزرگ با عملیات CRUD بالا را بین 80-85 توصیه کرده بودند ولی شما بین 70-80.
    دلیل فنی این تفاوت چی می تونه باشه و در کل برای سیستم های اتوماسیون اداری که با زیاد شدن تعداد مشتریان و استفاده کنندگان از آن، امکان مواجه شدن با اینگونه مشکلات برای برنامه نویس وجود داره، بهتره مقدار Fillfactor ایندکس (های) جداول مورد نظر روی چه عددی تنظیم شود؟
    پاسخ
    1. مسعود طاهری

      مسعود طاهری

      سلام

          این مقدار مابین است.

      در نظر داشته باشید توصیه مفید و دقیق این گونه است. به یکبار مقدار را کاهش ندهیم. کم کم شروع به کاهش کنید و مدام مانیتور کنید تا به یک مقدار مناسب برسید.
      پاسخ
      1. مسعود طاهری

        مسعود طاهری

            در نظر داشته باشید که وجود فضای خالی بیش از حد در Pageها باعث بوجود آمدن Internal Fragmentation شده که این موضوع دردسرهای خاص خودش را به همراه دارد

    2. Hamid J. Fard

      Hamid J. Fard

         برای تمامی ایندکس های نباید یک مقدار تعیین شود. اگر جدول شما تغییرات زیاد دارد این مقدار باید بین 70 تا 80 باشد تا از عملیات Page Split جلوگیری شود. همانطور که گفتم هزینه عملیات Page Split , Forwarded Records بیشتر از این است که یک مقدار حافظه بیشتر تخصیص داده شود. تیم سازنده در مایکروسافت مقدار 70 را پیشنهاد می کنند.

      پاسخ
  6. مسعود طاهری

    مسعود طاهری

        حمید با توجه به اینکه امکان پاسخ تو در تو تا 8 سطح فعال مجبور شدم ادامه بحث را اینجا …

    من تست کردم در 2014 هم رفتار این گونه است. (تخصیص فضا)
    پاسخ

  7. جواد زبیدی

       

    رفع مشکل Fragmentation به طور دایم
    الان راه حل خرید رم بود یا اینکه من به عنوان DBA تصمیم بگیرم که چه موقع 
    Rebuild یا Reorganize  کنم؟
    پاسخ

  8. پرهام

    اینجاست که باید پرسید لیلی زن بود یا مرد👌😂😊
    ببینید به نظر من باز هم مثل همیشه این یک trade-off هست و باید با سبک و سنگین کردن وضعیتی که شما از پروژه خودتون درک کردین یکسری انتخاب ها رو انجام بدید

    پاسخ

ارسال یک نظر

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

تمامی حقوق مادی و معنوی این وب سایت متعلق به نیک آموز می باشد.
این سایت توسط تیم آموزش برنامه نویسی نیک آموز مدیریت می شود.