خانه SQL Server دیگر نگران Fragmentation نباشید!!! SQL Server نوشته شده توسط: میلاد فیروزی ۰۳ بهمن ۱۳۹۴ زمان مطالعه: 9 دقیقه ۵ (۱) مقدمه خوب خیلی ها حتما اصطلاح Fragmentation را شنیده اید و نگران این مساله هستید که شاید Index های شما هم دچار این مساله شده باشند! فکر می کنم بهتر است ابتدا کمی عقب تر رفته و روی مفهوم Fragmentation تمرکز کنیم تا ببینیم دقیقا مشکل کجاست و از چه چیزی ناشی می شود. فرض کنید Index های شما عملکردی مشابه دفترچه تلفن داشته باشد ، اگر صفحه ای پر شده باشد ناچارید یا فشرده بنویسید و یا اگر این کار ممکن نباشد مجبور می شوید برگه ای سفید در انتهای دفترچه تلفن به نام های جدید اختصاص بدهید که این کار باعث به هم خوردن ترتیب اطلاعاتتان می شود و با دو مشکل بزرگ روبرو خواهید شد، یک صفحه ی جدید اضافه شده که اطلاعات کمی روی آن قرار دارد (Internal Fragmentation) ترتیب صفحات دفترچه تلفن شما به هم می خورد (External Fragmentation) خوب شاید در این حالت دفترچه تلفن شما چیزی شبیه شکل زیر بشود یک راه حل پیش پا افتاده می تواند این باشد که صفحات دفترچه تلفن خود را به نحوی پر کنید که در هر صفحه کمی فضای خالی وجود داشته باشد ، به این ترتیب اگر نام جدیدی اضافه شد می تواند در این فضای خالی جای بگیرد ولی خوب این راه حل خراب شدن دفترچه تلفن را به تعویق می اندازد و نمی تواند کامل جلوی این اتفاق را بگیرد ، SQL Server هم عملی مشابه را با مفهوم Fill Factor انجام می دهد ، با معین کردن درصد Fill Factor به SQL می گوییم که صفحاتمان تا چند درصد پر باشند تا کمی فضای خالی برای درج رکوردهای جدید وجود داشته باشد. آپدیت کردن رکوردها هم می تواند مشکل ساز شود ، فرض کنید خانم Pat Down که تا دیروز مجرد بود و نامش در ردیف D قرار داشت امروز با آقای Phil McCann ازدواج می کند و نام خانوادگی اش به McCann تغییر می کند ، حال باید نام وی از ردیف D پاک شود و در ردیف M جا داده شود ، DELETEها هم به دلیل جا گذاشتن فضای خالی مشکل ساز می شوند.(Internal Fragmentation) Fragmentation چگونه می تواند به عملکرد SQL Server آسیب بزند؟؟؟! Internal Fragmentation بد (داشتن فضاهای خالی زیاد در صفحات) بدان معناست که Index شما از آن اندازه ای که می بایست بزرگتر شده است. به جای اینکه دفترچه تلفن ما ۱۰۰۰ صفحه ای که صد در صد پر هستند ممکن است ۱۱۰۰ صفحه داشته باشیم که ۹۰درصد پر باشند و این بدان معناست که هر زمان نیاز باشد که Index را Scan کنیم ۱۰% بیشتر طول خواهد کشید و چون SQL صفحات خالی را نیز Cache می کند این باز هم بدان معناست که به ۱۰% حافظه RAM بیشتر برای Cache کردن اطلاعات نیازمندیم.پایین ترین سطح Caching در SQL Server یک صفحه می باشد نه یک رکورد. External Fragmentation بد نیز دردسرهای خودش را دارد ، عملکرد ذخیره سازی کندتر خواهد شد ، SQL به جای اینکه صفحات را به ترتیب پیمایش کند مجبور است تا صفحات را به خاطر رکوردهای متفاوت عقب و جلو پیمایش کند. رفع مشکل Fragmentation به صورت موقت مشکل Fragmentation را می توان توسط Rebuild و یا Reorganize کردن ایندکس ها برطرف نمود ، خیلی ها این کار را با Maintenance Plan انجام می دهند ، مشکلی که این برنامه دارد این است که تمامی ایندکس های شما را بدون این که ضرورت یا عدم ضرورت این کار را در نظر بگیرد Rebuild یا Reorganize می کند. ممکن است از آخرین باری که این کار انجام شده روی برخی از جداول شما حتی یک رکورد هم Insert نشده باشد Maintenance Plan این نکته را هم نادیده می گیرد. خوب این مساله مشکلاتی را به همراه دارد ، Rebuild و یا Reorganize کردن ایندکس ها باعث می شود تا SQL Server در Transaction Log بنویسد و حجم Log شما افزایش یابد ، هرچقدر این Log بزرگتر شود Log Backupها بیشتر طول خواهد کشید ، اطلاعات بیشتری را برای بحث Mirroring می بایستی از طریق Network انتقال دهیم و Restoreها بیشتر طول خواهد کشید. اتفاق های ناگوارتری هم ممکن است رخ دهد ، برخی از DBAها تصمیم می گیرند تا Fill Factor را مقدار کمتری در نظر بگیرند مثلا ۵۰% . با این کا رنصف هر صفحه خالی خواهد ماند و Insertها سریع تر خواهد شد ولی اتفاقی که می افتد این است که Readها دوبرابر کند تر خواهد شد.فرض کنید دفترچه تلفنتان بجای ۱۰۰۰ صفحه پر ۲۰۰۰ صفحه نیمه پرداشته باشد. رفع مشکل Fragmentation به طور دایم خوب می توانیم با Cache کردن دیتابیس و یا حداقل اطلاعاتی که بیشتر در دسترس هستند شروع کنیم ، External Fragmentation (ترتیب نادرست صفحات در دیسک) تا زمانی که اطلاعات را از رم می خوانیم اهمیتی ندارند ، اطلاعات رو Cache کرده و خیال خودتان را راحت کنید ، ۳۴۸ گیگ رم چیزی حدود ۱۵ میلیون تومان آب خواهد خورد. Queryهای خود را بررسی کنید و ببینید آیا Query که واقعا تعداد فراخوانی آن زیاد بوده و گیر ایندکس های شما می باشد دارید یا خیر؟ اگر داشتید به فکر اصلاح ایندکس ها باشید ، همیشه Rebuild و یا Reorganize کردن ایندکس ها اولین راه حل نیست. می توانید توسط Query زیر درصد Fragmentation ایندکس های خود را بفهمید و روی آن ها تصمیم بگیرید ، معمولا برای عددی بین ۵ تا ۳۰ Reorganize کردن و برای عددی بالای ۳۰ Rebuild کردن پیشنهاد می شود ، ولی یادتان باشد این فرمول همیشه درست نیست و بهتر است همیشه خودتان ایندکس ها را با توجه به Queryهایتان بررسی کنید و به عنوان یک DBA بهترین تصمیم را بگیرید. SELECT dbschemas.[name] as 'Schema', dbtables.[name] as 'Table', dbindexes.[name] as 'Index', indexstats.avg_fragmentation_in_percent, indexstats.page_count FROM sys.dm_db_index_physical_stats (DB_ID(), NULL, NULL, NULL, NULL) AS indexstats INNER JOIN sys.tables dbtables on dbtables.[object_id] = indexstats.[object_id] INNER JOIN sys.schemas dbschemas on dbtables.[schema_id] = dbschemas.[schema_id] INNER JOIN sys.indexes AS dbindexes ON dbindexes.[object_id] = indexstats.[object_id] AND indexstats.index_id = dbindexes.index_id WHERE indexstats.database_id = DB_ID() ORDER BY indexstats.avg_fragmentation_in_percent desc چه رتبه ای میدهید؟ میانگین ۵ / ۵. از مجموع ۱ اولین نفر باش برچسب ها # Fragmentation# Index# Rebuild کردن ایندکسها# SQL Server# آموزش SQL Server# رفع مشکل Fragmentation معرفی نویسنده مقالات 8 مقاله توسط این نویسنده محصولات 0 دوره توسط این نویسنده میلاد فیروزی پروفایل نویسنده معرفی محصول مسعود طاهری دوره آموزشی Performance Tuning در SQL Server 5.700.000 تومان مقالات مرتبط ۰۴ مهر SQL Server دستور Case در SQL Server – قسمت اول محمد سلیم آبادی ۳۰ شهریور SQL Server استور پروسیجر (Stored Procedure) چیست؟ تیم فنی نیک آموز ۰۶ تیر SQL Server معرفی Ledger در SQL Server 2022 مسعود طاهری ۱۰ اردیبهشت SQL Server استفاده از Credential و Proxy در SQL Server Agent حسن سلیمانی دیدگاه کاربران لغو پاسخ دیدگاه نام و نام خانوادگی ایمیل ذخیره نام، ایمیل و وبسایت من در مرورگر برای زمانی که دوباره دیدگاهی مینویسم. موبایل برای اطلاع از پاسخ لطفاً مرا با خبر کن ثبت دیدگاه Δ پرهام ۳۰ / ۰۳ / ۰۱ - ۰۳:۳۷ اینجاست که باید پرسید لیلی زن بود یا مرد👌😂😊 ببینید به نظر من باز هم مثل همیشه این یک trade-off هست و باید با سبک و سنگین کردن وضعیتی که شما از پروژه خودتون درک کردین یکسری انتخاب ها رو انجام بدید پاسخ به دیدگاه جواد زبیدی ۱۳ / ۱۱ / ۹۴ - ۰۵:۲۷ رفع مشکل Fragmentation به طور دایم الان راه حل خرید رم بود یا اینکه من به عنوان DBA تصمیم بگیرم که چه موقع Rebuild یا Reorganize کنم؟ پاسخ به دیدگاه جواد زبیدی ۱۳ / ۱۱ / ۹۴ - ۰۵:۲۷ رفع مشکل Fragmentation به طور دایم الان راه حل خرید رم بود یا اینکه من به عنوان DBA تصمیم بگیرم که چه موقع Rebuild یا Reorganize کنم؟ پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۱۰:۳۹ حمید با توجه به اینکه امکان پاسخ تو در تو تا ۸ سطح فعال مجبور شدم ادامه بحث را اینجا … من تست کردم در ۲۰۱۴ هم رفتار این گونه است. (تخصیص فضا) پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۱۰:۳۹ حمید با توجه به اینکه امکان پاسخ تو در تو تا ۸ سطح فعال مجبور شدم ادامه بحث را اینجا … من تست کردم در ۲۰۱۴ هم رفتار این گونه است. (تخصیص فضا) پاسخ به دیدگاه فرشید علی اکبری ۰۴ / ۱۱ / ۹۴ - ۱۰:۱۲ سلام خاطرم هست که حدود سه سال پیش در انجمن سابق نیک آموز، آقای مسعود طاهری مقدار FillFactor برای جداول بزرگ با عملیات CRUD بالا را بین ۸۰-۸۵ توصیه کرده بودند ولی شما بین ۷۰-۸۰. دلیل فنی این تفاوت چی می تونه باشه و در کل برای سیستم های اتوماسیون اداری که با زیاد شدن تعداد مشتریان و استفاده کنندگان از آن، امکان مواجه شدن با اینگونه مشکلات برای برنامه نویس وجود داره، بهتره مقدار Fillfactor ایندکس (های) جداول مورد نظر روی چه عددی تنظیم شود؟ پاسخ به دیدگاه Hamid J. Fard ۰۴ / ۱۱ / ۹۴ - ۱۰:۲۴ برای تمامی ایندکس های نباید یک مقدار تعیین شود. اگر جدول شما تغییرات زیاد دارد این مقدار باید بین ۷۰ تا ۸۰ باشد تا از عملیات Page Split جلوگیری شود. همانطور که گفتم هزینه عملیات Page Split , Forwarded Records بیشتر از این است که یک مقدار حافظه بیشتر تخصیص داده شود. تیم سازنده در مایکروسافت مقدار ۷۰ را پیشنهاد می کنند. پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۱۰:۵۶ سلام این مقدار مابین است. در نظر داشته باشید توصیه مفید و دقیق این گونه است. به یکبار مقدار را کاهش ندهیم. کم کم شروع به کاهش کنید و مدام مانیتور کنید تا به یک مقدار مناسب برسید. پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۱۰:۵۵ در نظر داشته باشید که وجود فضای خالی بیش از حد در Pageها باعث بوجود آمدن Internal Fragmentation شده که این موضوع دردسرهای خاص خودش را به همراه دارد پاسخ به دیدگاه فرشید علی اکبری ۰۴ / ۱۱ / ۹۴ - ۱۰:۱۲ سلام خاطرم هست که حدود سه سال پیش در انجمن سابق نیک آموز، آقای مسعود طاهری مقدار FillFactor برای جداول بزرگ با عملیات CRUD بالا را بین ۸۰-۸۵ توصیه کرده بودند ولی شما بین ۷۰-۸۰. دلیل فنی این تفاوت چی می تونه باشه و در کل برای سیستم های اتوماسیون اداری که با زیاد شدن تعداد مشتریان و استفاده کنندگان از آن، امکان مواجه شدن با اینگونه مشکلات برای برنامه نویس وجود داره، بهتره مقدار Fillfactor ایندکس (های) جداول مورد نظر روی چه عددی تنظیم شود؟ پاسخ به دیدگاه Hamid J. Fard ۰۴ / ۱۱ / ۹۴ - ۱۰:۲۴ برای تمامی ایندکس های نباید یک مقدار تعیین شود. اگر جدول شما تغییرات زیاد دارد این مقدار باید بین ۷۰ تا ۸۰ باشد تا از عملیات Page Split جلوگیری شود. همانطور که گفتم هزینه عملیات Page Split , Forwarded Records بیشتر از این است که یک مقدار حافظه بیشتر تخصیص داده شود. تیم سازنده در مایکروسافت مقدار ۷۰ را پیشنهاد می کنند. پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۱۰:۵۶ سلام این مقدار مابین است. در نظر داشته باشید توصیه مفید و دقیق این گونه است. به یکبار مقدار را کاهش ندهیم. کم کم شروع به کاهش کنید و مدام مانیتور کنید تا به یک مقدار مناسب برسید. پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۱۰:۵۵ در نظر داشته باشید که وجود فضای خالی بیش از حد در Pageها باعث بوجود آمدن Internal Fragmentation شده که این موضوع دردسرهای خاص خودش را به همراه دارد پاسخ به دیدگاه مهدی ربانی ذبیحی ۰۴ / ۱۱ / ۹۴ - ۰۷:۵۷ با سلام و تشکر از مقاله خوبتون.من هم با دوست عزیز موافقم در صورت خروجی pdf ماندگاری مقالات بیشتر میشه با تشکر پاسخ به دیدگاه مهدی ربانی ذبیحی ۰۴ / ۱۱ / ۹۴ - ۰۷:۵۷ با سلام و تشکر از مقاله خوبتون.من هم با دوست عزیز موافقم در صورت خروجی pdf ماندگاری مقالات بیشتر میشه با تشکر پاسخ به دیدگاه Hamid J. Fard ۰۴ / ۱۱ / ۹۴ - ۰۵:۰۸ متاسفانه مقاله مشکلات تکنیکی داشت که در نکته نظر ها گفتم. به هر حال برای شروع خوب است. نکته اول: ” با معین کردن درصد Fill Factor به SQL می گوییم که صفحاتمان تا چند درصد پر باشند تا کمی فضای خالی برای درج رکوردهای جدید وجود داشته باشد.” نکته اینجا است که فضای خالی برای تغییرات رکوردهای موجود در صفحه است نه درج رکورد جدید. Fillfactor از عملیات Page Split جلوگیری می کند و در نتیجه از External Fragmentation. نکته دوم: هیچ data page نباید ۱۰۰ درصد پر باشد به دلیل به وجود آمد عملیات Page Split و Forwarded Records که هزینه ای بیش از استفاده مازاد حافظه را دارد. اصولا Fillfactor برای جداول با تغییرات بالا باید بین ۷۰ تا ۸۰ باشد. پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۰۸:۰۲ سلام حمید جان متشکر از نظرات خوبت به نظر من این موضوع برای رکورد جدید هم صدق می کند مثال زیر را در نظر بگیرید تا جایی که یادم می آید در کتاب Pro SQL Server Internals به این موضوع هم اشاره شده است. (البته شک دارم اسم کتاب را) USE tempdb GO IF OBJECT_ID(‘TB1’)>0 DROP TABLE TB1 GO CREATE TABLE TB1 ( C1 CHAR(900), C2 CHAR(1100) ) GO –ایجاد ایندکس CREATE CLUSTERED INDEX IX1 ON TB1 (C1) WITH (FILLFACTOR=70) GO –درج تعدادی رکورد در جدول این ۳ رکورد در یک پیچ ذخیره می شوند INSERT INTO TB1 (C1) VALUES (‘100’) GO INSERT INTO TB1 (C1) VALUES (‘400’) GO INSERT INTO TB1 (C1) VALUES (‘600’) GO –درج تعدادی رکورد در جدول این ۳ رکورد در یک پیچ دیگر ذخیره می شوند INSERT INTO TB1 (C1) VALUES (‘900’) GO INSERT INTO TB1 (C1) VALUES (‘1000’) GO INSERT INTO TB1 (C1) VALUES (‘1100’) GO –مشاهده پیج های تخصیص یافته به جدول DBCC IND(‘tempdb’,’TB1′,-1) WITH NO_INFOMSGS GO –هر کدام از رکوردها در چه پیچی درج می شوند SELECT * FROM TB1 AS T CROSS APPLY sys.fn_PhysLocCracker(%%physloc%%) AS FPLC ORDER BY FPLC.file_id, FPLC.page_id, FPLC.slot_id GO –درج تک رکورد جدید INSERT INTO TB1 (C1) VALUES (‘200’) GO –هر کدام از رکوردها در چه پیچی درج می شوند –اگر دقت کنید برای درج رکورد جدید پیجی تخصیص داده نشد –Using Fillfactor SELECT * FROM TB1 AS T CROSS APPLY sys.fn_PhysLocCracker(%%physloc%%) AS FPLC ORDER BY FPLC.file_id, FPLC.page_id, FPLC.slot_id GO پاسخ به دیدگاه Hamid J. Fard ۰۴ / ۱۱ / ۹۴ - ۰۸:۲۲ و البته اینکه شما فقط دارید در ستون اولی داده وارد می کنید و ستون دوم به صورت Nullable است پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۰۹:۳۸ سلام تا جایی که به خاطر دارم دیتا تایپ های Fixed Length حتی اگرمقدارشان Null باشد فضای خود را در Data Page اشغال می کنند. پاسخ به دیدگاه Hamid J. Fard ۰۴ / ۱۱ / ۹۴ - ۰۹:۲۶ مسعود جان به نظر میاد مطالب را فراموش کردی! 🙂 بهتر است که یک مروری بکنی در داخل Record Structure ستونهای Null چه Fixed Length و چه var Length اگر خالی باشند فقط ۲ بایت فضا اشغال می کنند. مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۰۹:۵۹ سلام مجدد حمید جان به این لینک نگاه کنید http://weblogs.sqlteam.com/mladenp/archive/2007/09/06/How_does_SQL_Server_really_store_NULL-s.aspx اگر بخواهیم که این فضا واقعا در Page تخصیص داده نشود باید سراغ Sparse Column برویم که دردسرهای خاص خودش را دارد Hamid J. Fard ۰۴ / ۱۱ / ۹۴ - ۱۰:۰۹ البته در نظر داشته باشید که مقاله این که شما منبع دادید برای SQL Server 2005 است که درست است ولی از SQL Server 2008 به بعد روند اختصاص داده در Storage Engine تغییر کرده است. مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۰۲:۳۲ سلام حمید جان من این موضوع را تست کردم در SQL Server 2014 هم دیتا تایپ Fixed Length دقیقا فضای کامل را اشغال می کند حتی اگر Null باشد. موفق باشید بابک جهانگیری ۱۳ / ۰۲ / ۹۵ - ۱۲:۴۵ لطفا وضعیت را در SQL Server 2016 نیز تست بفرمایید که آیا Fixed Length بازهم فضای کامل را اشغال می کند؟ مسعود طاهری ۱۵ / ۰۲ / ۹۵ - ۰۶:۲۷ یک نکته دیگر بابک عزیز اگر بخواهید SQL SERVER از این فضا صرف نظر کند می توانید از Sparse Column و در برخی موارد Data Compression را استفاده کنید. البته توجه داشته باشید رفتن به سمت هر کدام چالش و… خود را به همراه دارد مسعود طاهری ۱۳ / ۰۲ / ۹۵ - ۱۰:۳۶ بابک عزیز سلام بلی این قانون در SQL Server 2016 هم وجود دارد این موارد به ریز در دوره Performance Tuning بررسی شده است. موفق باشید مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۰۹:۰۹ البته بهتر است که دیتا تبدیل به Varchar شود. اما اگر مطمئن هستیم که واقعا دیتا دقیقا طولش ثابت است و همیشه همان فضا را اشغال می کتد و درصد Null Value کم است بهتر است Fixed Length دیتا تایپ استفاده کنیم. Hamid J. Fard ۰۴ / ۱۱ / ۹۴ - ۰۸:۴۳ مسعود جان این مثالی که شما گذاشتید به دلیل وجود CHAR است حالا اگر ما بیایم نوع داده ای را به VarChar تغییر دهیم رکوردهای بیشتری جای می شود ولی اگر یکی از رکورد ها را به روز رسانی کنیم و مقدار fillfactor 100 باشد باعث Page Split می شود. در مثال شما به دلیل اینکه حجم صفحه به ۷۰ درصد رسیده است رکوردهای جدید را به صفحه جدید منتقل می کند. پاسخ به دیدگاه مسعود طاهری ۰۴ / ۱۱ / ۹۴ - ۰۹:۵۵ بلی دقیقا به خاطر اینکه این مورد را نشان دهم از قصد دیتا تایپ Char که از نوع Fixed Length است را ایجاد کردم. در خصوص Varchar هم همین جریان وجود دارد. (استفاده Fillfactor به ازای درج رکورد جدید). در مثال شما به دلیل اینکه حجم صفحه به ۷۰ درصد رسیده است رکوردهای جدید را به صفحه جدید منتقل می کند. اگر دقت کنید رکورد آخر که درج شد به جای تخصیص یک Page جدید در Page مربوط به خودش جا گرفت. بنابراین Page جدیدی به ازای آن ایجاد نشده است و Fragmentation رخ نداده بلکه مسئاله Fill factor به ازای Insert صدق می کند. نکته که شما هم فرمودید درست است Fillfactor صفر و صد یکی هستند پاسخ به دیدگاه 1 2