آموزش وب اسکرپینگ با پایتون

برای رشد بیشتر و حرفه ای تر شدن در هر حوزه ای، ما نیازمند خارج شدن از منطقه امن خود هستیم. شاید شما بعد از یادگیری زبان پایتون، مراحل بسیار زیادی را برای حرفه ای تر شدن خود از قبل برنامه ریزی کرده باشید، اما میتوان یکی از بهترین مراحل برای رشد و پیشرفت در حوزه پایتون را (وب اسکرپینگ) دانست. وب اسکرپینگ، یکی از بهینه ترین و جذاب ترین روش های استخراج داده های گوناگون در سال 2023 بشمار می رود. این مهارت، به زبان ساده به فرآیند جمع آوری داده های گوناگون با ساختار های متفاوت در دنیای وب سایت ها می گویند.

شاید برای شما هم پیش آمده باشد که اطلاعات یک وب سایت را از روی علاقه مندی تان برای خودتان کپی کرده باشید تا بتوانید در زمان دیگر از آن داده ها استفاده کنید. اما نکته مهم این است که شما داده ها را بصورت دستی استخراج کردید و از ابزار هایی مثل وب اسکرپینگ بهره ای نبرده اید. در این دوره آموزشی فرا میگیریم که چگونه این داده ها را بصورت اتوماتیک و بهینه استخراج کنیم. در ادامه به معرفی دوره آموزش وب اسکرپینگ در پایتون می‌پردازیم.

هدف دوره آموزش Web Scraping با پایتون

برای یادگیری هر مهارتی به صورت دقیق و کامل، ما نیازمند یک دوره آموزشی جامع هستیم تا بتوانیم طبق راهبرد ها و اهداف آن برای کسب آن مهارت به صورت کامل پیش برویم. بر این اساس ما در کدیاد دوره آموزش وب اسکرپینگ را طراحی کردیم تا بتوانیم تجربه ها و یک آموزش کامل را در اختیار شما دانشجویان عزیز قرار دهیم.

پس از گذراندن این دوره، شما عزیزان به صورت کامل به مهارت استخراج داده (وب اسکرپینگ) مسلط خواهید شد تا بتوانید با روش های گوناگون با استفاده از این مهارت هرگونه داده ای را از یک وب سایت استخراج کنید.

کاربرد های وب اسکرپینگ

جمع آوری داده ها امروزه یکی از نیاز های بشریت است که هر فردی روزانه به حجم زیادی از این داده ها در سراسر اینترنت دسترسی دارد، که برخی مواقع ما علاقه مند به جمع آوری اینگونه داده ها هستیم. وب اسکرپینگ به دلیل کاربرد های بسیار زیادی که دارد این روزها مورد توجه بسیار زیادی قرار گرفته است که از جمله می توان به کاربرد های زیر اشاره کرد:

تحلیل رقبا: با استخراج داده‌های رقبا می‌توان به تحلیل و بررسی استراتژی‌های آن‌ها پرداخت.
تحلیل بازار: با جمع‌آوری داده‌های مربوط به قیمت محصولات و نظرات مشتریان می‌توان به تحلیل بازار و پیش‌بینی روندها پرداخت.
خودکارسازی فرآیندها: با استفاده از وب اسکرپینگ می‌توان بسیاری از فرآیندهای دستی و وقت‌گیر را خودکارسازی کرد.

معرفی دوره آموزش وب اسکرپینگ با پایتون

همه تلاش های ما در این دوره آموزشی کامل و جامع برای شما، بر این باور بوده است که بتوانیم این ابزار مهم را به صورت پروژه محور به شما عزیزان آموزش دهیم. دلیل اصلی پروژه محور بودن این دوره تسهیل فراگیری شما عزیزان می باشد تا بتوانید بعد از هر مبحث آن را به صورت عملی در پروژه خود استفاده کنید.

بیایید تا نگاهی به مراحل آموزش وب اسکرپینگ با پایتون بیندازیم:

در فصل اول، شما پیش نیاز های اصلی این دوره را فرا خواهید گرفت. پیش نیازهایی همچون (نصب ابزار های مورد نیاز، پروتکل، کوکی ها و نشست ها و...) که قبل از شروع کار با وب اسکرپینگ لازم به دانستن آنها هستید.
در فصل دوم، شروع کار با کتابخانه Request است که به شما اجازه استخراج داده ها نظیر (تصاویر کم حجم باینری، ویدیو ها، داده های دریافت شده از دیتابیس و… ) می دهد.
در فصل سوم، شما با کتابخانه Beautiful Soap کار خواهید کرد که به آنالیز داده ها، تبدیل داده ها، ردیابی برخی داده ها می پردازید که شما در مبحث وب اسکرپینگ بسیار کمک خواهد کرد.
در فصل چهارم و پنجم شما با فریم ورک های متعدد دیگری کار خواهید کرد که یک پله شما را در وب اسکرپینگ داده های گوناگون حرفه ای تر خواهد کرد.

مخاطبین دوره آموزش وب اسکرپینگ با پایتون چه کسانی هستند؟

این دوره آموزشی برای برنامه نویسان و توسعه دهندگان وب، تحلیلگران داده و افرادی که به دنبال جمع آوری داده های مختلف هستند، طراحی شده است. شما با گذراندن این دوره آموزشی پرکاربرد، میتوانید به یک پله بالاتر در حوزه برنامه نویسی پایتون صعود کنید. با شروع این دوره آموزشی جذاب پروژه محور، شما به وب اسکرپینگ کاملا مسلط خواهید شد و قادر به استخراج هر نوع داده ای از هر نوع وب سایتی خواهید بود.

پیش‌نیازهای دوره آموزش وب اسکرپینگ

برخی از دوره های آموزشی نیازمند داشتن پیش نیاز های از قبل هستند که به ما در پروسه یادگیری بسیار کمک میکنند و باعث تسریع روند آموزش خواهد شد. طبیعتا این دوره بسیار جذاب پیش نیاز اصلی آن زبان برنامه نویسی پایتون می باشد. بدین منظور که شما قبل از شروع این دوره ، و کار با ابزار وب اسکرپینگ اول باید دانش خوب و کافی از پایتون داشته باشید.

ما در پلتفرم آموزش برنامه نویسی کدیاد در قدم اول دوره مقدماتی تا پیشرفته پایتون را به شما معرفی میکنیم که نخست با گذراندن آن دوره بتوانید آشنایی کامل با این زبان را پیدا کنید و در ادامه به سراغ این مهارت جذاب بیایید.

ویژگی‌های اصلی دوره آموزش وب اسکرپینگ با پایتون

اساسا یک دوره آموزشی جذاب و کارآمد، ویژگی های منحصر به فردی نسبت به دوره های دیگر دارد. ما در دوره آموزش وب اسکرپینگ با پایتون در کدیاد پشتیبانی کاملا رایگان توسط مدرس خواهیم داشت که دانشجویان عزیز در هر مرحله ای از یادگیری بتوانند با مدرس ارتباط داشته باشند. یکی دیگر از ویژگی های مهم این دوره آموزشی، جامع بودن و همچنین پروژه محور بودن این دوره می باشد که شما دانشجویان عزیز در طول دوره برای یادگیری بهتر این ابزار، پروژه های متعددی را توسعه خواهید داد.

چالش های وب اسکرپینگ

طبیعتا هر ابزار قدرتمندی به غیر از مزایا و ویژگی های جذابش، با چالش هایی هم روبرو می باشد که ابزار مهم وب اسکرپینگ هم به نوبه خودش با چالش های مهمی روبرو است از جمله:

محدودیت‌های قانونی: برخی وب‌سایت‌ها سیاست‌های مشخصی در مورد جمع‌آوری داده‌های خود دارند و ممکن است اقدامات قانونی علیه وب اسکرپرها اتخاذ کنند.
تغییرات ساختاری: ساختار صفحات وب ممکن است به مرور زمان تغییر کند که این امر نیاز به بروزرسانی کدهای اسکرپینگ را ایجاد می‌کند.
مدیریت داده‌ها: حجم بزرگ داده‌های استخراج شده نیازمند مدیریت و ذخیره‌سازی مؤثر است.

سرفصل های دوره

فصل صفرم: توضیحاتی در مورد دوره

توضیحاتی در مورد دوره و پشتیبانی دوره

00:04:50

گروه تلگرام (نحوه ارسال تمرین ها و پشتیبانی)

منتشرشده 00:01:30

فصل اول :پیشنیاز ها

پیشنیاز و نصب ابزارهای مورد نیاز

00:12:47

پروتوکل http (Hypertext Transfer Protocol)

منتشرشده 00:19:48

کوکی و کشینگ

منتشرشده 00:09:11

ریکوئست هدر request header

منتشرشده 00:09:56

متد GET & POST

منتشرشده 00:16:30

فصل دوم :کتابخانه Requests

شروع کار با requests

00:13:28

ارسال آرگومان یا داده به سمت get & post

00:13:07

دانلود عکس ها یا فایل های کم حجم باینری

منتشرشده 00:10:53

دانلود فایل های باینری(ویدیو) با حجم بالا

منتشرشده 00:09:05

کنترل و دور زدن محدودیت های request headers

منتشرشده 00:18:24

api با متد GET (دریافت اطلاعات از api و ذخیره در دیکشنری)

منتشرشده 00:16:57

تبدیل دیکشنری داده ها به فایل CSV

منتشرشده 00:10:17

api با متد POST (ارسال JSON به سمت سرور)

منتشرشده 00:20:52

ذخیره اطلاعات دریافت شده در دیتابیس

منتشرشده 00:18:32

کوکی ها

منتشرشده 00:13:41

نکاتی در مورد کوکی ها

منتشرشده 00:13:51

نشست(session)

منتشرشده 00:16:04

رویدادهای درخواست و پراکسی ها (event hook_proxy)

منتشرشده 00:13:39

متد پست در api چت جی بی تی

منتشرشده 00:06:43

فصل سوم : کتابخانه Beautiful Soup

نصب و آشنایی اولیه با bs

00:11:20

آنالیز داکیومنت

منتشرشده 00:16:08

متد find وfind_all

منتشرشده 00:09:36

متد find وfind_all پارت 2

منتشرشده 00:15:21

سلکتور ها در bs

منتشرشده 00:23:27

دریافت اطلاعات از جداول سایت etherscan

منتشرشده 00:23:40

دریافت اطلاعات از جداول با pagination

منتشرشده 00:22:24

تبدیل داده های اسکرپ شده به json

منتشرشده 00:06:04

ردیاب قیمت بیتکویین در بایننس

منتشرشده 00:10:17

پروژه 1: اسکرپ سایت باما قسمت (1)

منتشرشده 00:16:08

پروژه 1: اسکرپ سایت باما قسمت (2)

منتشرشده 00:20:07

پروژه 1: اسکرپ سایت باما قسمت (3)

منتشرشده 00:17:18

پروژه 1: اسکرپ سایت باما قسمت (4)

منتشرشده 00:15:16

پروژه 1: تبدیل داده های اسکرپ شده به فایل اکسل

منتشرشده 00:10:37

عبارات با قاعده RegEx (1)

منتشرشده 00:16:55

عبارات با قاعده RegEx (2)

منتشرشده 00:15:46

عبارات با قاعده RegEx (3)

منتشرشده 00:19:18

مثال regex با bs

منتشرشده 00:10:12

پروژه 2: اسکرپ سایت دیجیکالا قسمت (1)_داینامیک رندرینگ

منتشرشده 00:26:40

پروژه 2: اسکرپ سایت دیجیکالا قسمت (2)

منتشرشده 00:15:03

پروژه 2: اسکرپ سایت دیجیکالا قسمت (3)

00:14:52

پروژه 2: اسکرپ سایت دیجیکالا قسمت (4)

منتشرشده 00:22:00

پروژه 2: اسکرپ سایت دیجیکالا قسمت (5)_ساخت پایگاه داده

منتشرشده 00:16:06

پروژه 2: اسکرپ سایت دیجیکالا قسمت (6)مدیریت خطا و ذخیره اطلاعات در پایگاه داده

منتشرشده 00:11:39

فصل چهارم:فریم ورک Scrapy

معماری فریم ورک اسکرپی

منتشرشده 00:08:08

ایجاد یک پروژه scrapy

منتشرشده 00:19:34

اسپایدر

منتشرشده 00:12:26

سلکتور ها در scrapy

منتشرشده 00:23:32

ارسال آرگومان به سمت url

منتشرشده 00:12:05

مثال blog

منتشرشده 00:14:54

pagination در اسکرپی

منتشرشده 00:12:06

آیتم ها در اسکرپی

منتشرشده 00:17:26

مقدار دهی به آیتم ها

منتشرشده 00:23:12

آیتم لودر

منتشرشده 00:29:35

آیتم لودر اختصاصی

منتشرشده 00:10:16

نکاتی مهم در مورد لودر ها

منتشرشده 00:04:21

pipelines در اسکرپی (1)

منتشرشده 00:14:57

pipelines در اسکرپی (2)

منتشرشده 00:10:41

pipelines در اسکرپی (3)

منتشرشده 00:08:56

pipelines در اسکرپی (4)

منتشرشده 00:13:20

ورود به جزییات محصول با scrapy.request

منتشرشده 00:10:39

کرالینگ جزییات با dictionary comprehension

منتشرشده 00:10:54

دانلود فایل ها و عکس ها

منتشرشده 00:12:32

آیتم برای عکس ها

منتشرشده 00:10:42

شخصی سازی پایپ لاین های فایل و عکس

منتشرشده 00:16:11

crawlspider

منتشرشده 00:07:36

استخراج لینک ها با Link Extractors

منتشرشده 00:18:32

Rule مدیریت وظیفه در crawlspider

منتشرشده 00:15:50

pagination و استفاده از چند Rule در کرالر ها

منتشرشده 00:10:59

جزییات صفحه با کرالر

00:10:42

اسپایدر میدلویر

منتشرشده 00:21:05

دانلودر میدلویر (1)

منتشرشده 00:06:18

دانلودر میدلویر (2)

منتشرشده 00:19:09

نصب داکر و اسپلش برای رندر داینامیک

منتشرشده 00:12:55

نحوه کار با splash در اسکرپی

منتشرشده 00:12:47

فصل پنجم :سلنیوم (Selenium)

درحال حاضر هیج بخشی برای این فصل منتشر نشده است

پیشنیاز های دوره چه چیزهایی هستند؟

آموزش رایگان پایتون (python)
آموزش رایگان HTML و CSS از مقدماتی تا پیشرفته

نظرات دانشجویان

محسن سرابی | دانشجوی دوره آموزش وب اسکرپینگ با پایتون

استاد عزیز ممنونم از توضیحات آموزنده تون و تدریس فوق العاده تون

احمد علی پور | دانشجوی دوره آموزش وب اسکرپینگ با پایتون

تشکر میکنم که چنین دوره فوق العاده ای رو ارئه دادید! سبک تدریس آقای دزیانیان بسیار حرفه ای و در عین حال شیوا و رسا است.

mahdi khoobroyan | دانشجوی دوره آموزش وب اسکرپینگ با پایتون

من به تازگی دوره رو شروع کردم اما به خوبه می تونم با استاد ارتباط برقرار کنم امیدوارم بتونیم دوره خوبی داشته باشیم

...hamiedeh.mohammad | دانشجوی دوره آموزش وب اسکرپینگ با پایتون

بسیار ممنونم بابت تدریس عالیتون ، ابهاماتی که درمورد این مبحث داشتم یکی یکی بادیدن آموزشهای شما داره برطرف میشه . خیلی حس خوبیه

مدرس دوره

سجاد دزیانیان

ذهنم تشنه تحلیل مسئله بود رفتم برنامه نویس شدم

با این که یک اقیانوس رو به روی من قرار گرفته

باز هم تشنه تمرین ، تفکر و تحلیل مسائل برنامه نویسیم

رزومه

سوالات متداول

وب اسکرپینگ چیست؟

وب اسکرپینگ (Web Scraping) یک تکنیک قدرتمند در دنیای فناوری اطلاعات است که به استخراج داده‌ها از وب‌سایت‌ها می‌پردازد. با استفاده از این روش، می‌توان اطلاعات مختلفی مانند قیمت محصولات، نظرات کاربران، مقالات، تصاویر و سایر داده‌های موجود در صفحات وب را به صورت خودکار جمع‌آوری کرد.

مزیتی که این دوره را خاص جلوه می دهد چیست؟

یکی از بهترین مزیت های این دوره آموزشی ، پروژه محور بودن آن است که به شما اجازه می دهد در طی فرایند آموزشی بصورت عملی هم از این ابزار استفاده کنید.

چرا وب اسکرپینگ با چالش های متعددی روبرو می باشد؟

بدلیل طراحی برخی سیاست ها از سمت مدیریت هر وب سایتی و برای محافظت از داده ها و منحصر به فرد بودن آن ها، این ابزار در برخی مواقع با چالش های قانونی ، تغییرات ساختاری و مدیریت داده های بزرگ مواجه می شود.

پیش نیاز اصلی این دوره آموزشی چیست؟

پیش نیاز اصلی این دوره آموزشی، آشنایی با زبان برنامه نویسی پایتون می باشد.