برگزیده های پرشین تولز

Web Scraping،‌ Data Mining و Data Serving با پایتان -> ۳۵ هزار تومان در ساعت

Chuck N00b

Registered User
تاریخ عضویت
10 آگوست 2008
نوشته‌ها
321
لایک‌ها
244
با سلام. من ۱۱ ساله برنامه نویسی میکنم (گیتهاب از سال ۲۰۱۳) و مدت زیادیه پروژه با ایرانیها برنداشتم. بیشتر تو سایت ردیت و آپوورک و انجل کار پیدا میکنم. اما جدیدا تمام کلاینتهای وب اسکریپینگ، دیتا سروینگ و دیتا ماینینگم رو از دست دادم. دلیلش کمپانیهای هندی هست که همه چی رو اوتسورس کردن. من هم یک چند وقته مشغول یک پروژه ی ام وی سی مالتی پلتفورم با یک سرمایه گذار آلمانی هستم و نمیتونم پروژهه های طولانی مدت ام وی سی بردارم. بیشتر دنبال همین پروژه هایی هستم که فوقش بین ۳ تا ۸ ساعت وقت میبرن. من تو آپوورک ۴۵ یورو بید میزارم اما کی تو ایران این پول رو داره. من فقط میخوام پول رانده ووم رو در بیارم و این پروژه ها برام فوت آبه.

فکر نکنم خیلی ها متوجه شده باشن که حتی وب اسکریپینگ و یا دیتا ماینینگ رو در بیزینسشون لازم دارن. شاید براتون سوال باشه که اصلا وب اسکریپینگ چیه؟ دیتا ماینینگ چیه؟ بذارید بهتون توضیح بدم.

۱- وب اسکریپینگ: فرض کنید هزار تا سایت دارید. این هزارتا سایت یک الگو دارن در دومینشون. میخواید ازین هزارتا سایت،‌ اونهایی که صفحه ی اولشون میگه «سلام» رو ازونهایی که میگه «بدرود» جدا کنید. اینجاست که وب اسکریپینگ به کار میاد. اسکریپینگ به عبارتی استخراج اطلاعات اچ تی ام ال و پارس کردن اونهاست. وقتی اطلاعات پارس شد میذارمیشون توی یک فایل سی اس وی یا اکسل برای ماینینگ.

۲- دیتا ماینینگ: فرض کنید ۵۰۰ تا سایتی که میگه «سلام» رو به دست آوردید. اسم نویسنده های هر سایت هم به دست آوردید. میخواید ببینید چند نفر ازین نویسنده ها زنن،‌ چند نفر مرد. دیتا ماینینگ به عبارتی به دست آوردن الگوها و آنالیز کردن دیتاست. یادتون باشه که سایز دیتا مهم نیست. چون مشتریهای زیادی داشتم که خیال کردن چون مقدار دیتاشون کمه نمیتونن ماین کنن. با ۱۰ تا ردیف هم میشه ماین کرد. فقط سقیم نخواهد بود. مشین لرنینگ مثل ریگرشن و پراسس کردن زبون انسانی هم درش تداخل داره. من مشین لرنینگ هم کلاسیکم خوبه هم نورونی. شاید براتون سوال باشه مگه این دیتا ساینس نیست؟ جوابش اینجاست که اسم علمش دیتا ساینسه. اسم عملش دیتا ماینینگ.

۳- دیتا سروینگ: من یک رست ای پی آي یا کوچیک با فلسک میسازم که دیتای شما رو سرو میکنه. میتونید تو هر هاستی یا سایت پلتفورم از سرویس مثل هروکو یا دیجیتال اوشن اجراش کنید.

اطلاعات ایمیلم توی پروفایل گیتهابم هست که بالا لینکش رو دادم. حتما حتما پروفایلم رو ببینید. موبایلم رو نمیدم ایمیل بزنید فقط. یا هم تلگرامم t.me/bidpaafx.

مرسی چوبک.
 
Last edited:
بالا