نقش پارامتر در ایجاد آدرس دهی با مثال وب اسکرپینگ سایت

وب اسکرپینگ سایت به ما کمک میکند، مسیر خروجی فایل یا هر آیتم متغیر دیگر را به صورت پویا تعریف کرده و آن را مدیریت کنیم. در این صورت مجبور به تغییر مسیر هر دیتا سورس نخواهیم بود. در واقع با تعریف پارامتر و تبدیل آن به تابع میتوانیم قابلیت استفاده مجدد داشته باشیم.

وب اسکرپینگ سایت با مثال واقعی

میخواهیم وب اسکرپینگ سایت سازمان بورس اوراق بهادار را بصورت گام به گام انجام بدهیم، تا نقش پارامتر ها در ایجاد آدرس دهی را مشاهده کنید.

پیاده سازی تغییر دستی منبع سورس داده برای جداول 

تغییر دستی منبع سورس داده برای هر آیتم در جوین جداول سایت بورس اوراق بهادار کشور به صورت زیر است:

راه حل: استفاده از پارامتر در محیط Power Query.

پیاده سازی: ابتدا لینک مرتبط با یک نماد در سایت را کپی و به عنوان سورس ورودی با نرم افزار پاور بی آی باز میکنیم. مقاله  Power Query چیست؟ مطالعه شود. به محیط پاور کوئری رفته و به صورت زیر شروع میکنیم:

 گام اول

با توجه به محدودیت های وب اسکرپینگ سایت بورس جداول را نشان نمیدهد. از گزینه Add Table Using Examples استفاده میکنیم و جداول مورد نیاز را با سعی و خطا بدست می آوریم:

برای این کار به عنوان مثال محتوای هر جدول مورد نیاز با وارد کردن، دو آیتم تشخیص داده میشود و خروجی میدهد.

گام دوم

برای تعریف پارامتر از قسمت Manage Parameters لیستی از لینک های سایت را به عنوان تابع ورودی تعریف میکنیم. دقت داشته باشید فرمت حتما به صورت Text باشد.

با تغییر اندکی در کد در پنجره Advanced Editor جدول Table 1 پارامتر ورودی رو برای تمامی متغیرهای آن (نماد) نمایش میدهیم . و به این ترتیب فانکشن یا تابع مورد نظر ساخته میشود.

برای استفاده از این تابع جدولی از لینک های نماد و اسامی را ایمپورت میکنیم. اینجا بنام Symbol و از ریبون Add Column گزینه Invoke Custom Function را انتخاب کرده تابع را در قسمت Function Query صدا میزنیم:

جداول تابع به لیست جدول اضافه میشود.

سخن پایانی

در آخر مشاهده میکنیم اطلاعات جدول برای هر نماد تکرار میشود. دقت کنید، استفاده از این روش برای تعداد کمی از نماد ها قابل انجام است و تعداد بیشتر سبب کندی و اختلال میشود. ما در نیک آموز منتظر نظرات ارزشمند شما درباره این مقاله هستیم.  ما در نیک آموز بخش نظرات این مقاله، مشتاق خواندن دیدگاه ارزشمندتان هستیم.