spider

[firebird]

شما حتماً با برنامه هایی مثل teleport یا webzip یا webcopier و امثال اونها کار کردید. سوال من اینه که مشابه چنین برنامه هایی برای php سراغ دارید یا نه؟ البته نوشتنش مشکل نیست ولی چون استفاده ای به اون صورت نداره دنبالشم یکی پیدا کنم کارم راحت بشه. البته من میدونم اسکریپت های spider زیادی هستند اما اونها متن رو میریزن تو دیتابیس یا دنبال ایمیل ها هستند و ... در صورتی که من میخوام یه چیزی باشه فایل ها - عکس ها و استایل ها و کلاً همه چیز رو از سایت طرف داونلود کنه بریزه رو هاست ما.

 

[firebird]

چقدر اینجا سوت و کور بید !!!

 

[Pedram_carp3]

ابراهیم یکی نوشته بود .... ( ebrahimj ) بش بگو شاید بهت داد .

 

[firebird]

ابراهیم یکی نوشته بود .... ( ebrahimj ) بش بگو شاید بهت داد .

مرسی. براش pm فرستادم.

 

[Parsa_361]

فکر میکنم webcopier همه ی این کارا رو بکنه
کل هاست رو ازش copy میگیره

 

[ebrahimj]

اون دو تايي كه گزاشته بودم چون داشتم روشون كار ميكردم مشكل دارشتن . اين يكي الان يه جا داره كار ميكنه . http://rapidshare.com/files/2385497/WebDownloader.rar.html

 

[firebird]

مرسی آقا. من اجراش کردم ولی این خطا رو داد . راهی هست درستش کنم ؟

Server Error
The following error occurred:

 The server closed the connection while reading the response. Contact your system administrator.[/LEFT]

 

[ebrahimj]

ببين ،‌ شما اينو رو سرور نميتوني خوب استفاده كني چون ريسورس زيادي ميگيره و زمان زيادي براي اجرا ميخاد . من الان دارم خودم يه كارايي براي بهتر شدن روش ميكنم .

رو لوكال تستش كن .

 

[Pedram_carp3]

به نظرم اول باید Buffer رو غیر فعال کنه که سرور سریع جواب بده time out نشه . بعد هم هر فایلی رو که دانلود کرد یه خط بده بیرون . اینجوری اگه چند ساعت هم کار کنه بازم مشکلی ایجاد نمیشه ( البته اگه safe mod نباشه )‌

 

[firebird]

اما من فکر میکنم فقط با refresh بشه این کار رو کرد. با ajax که چه بهتر.

 

[firebird]

ببين ،‌ شما اينو رو سرور نميتوني خوب استفاده كني چون ريسورس زيادي ميگيره و زمان زيادي براي اجرا ميخاد . من الان دارم خودم يه كارايي براي بهتر شدن روش ميكنم .

رو لوكال تستش كن .

من رو سرور لازمش دارم. سایت بزرگ هست و همش عکسه. ضمن اینکه فیلتر هم هست البته اونشو میشه یک کاری کرد. ضمناً xxx هم نیست

 

[ebrahimj]

من رو سرور لازمش دارم. سایت بزرگ هست و همش عکسه. ضمن اینکه فیلتر هم هست البته اونشو میشه یک کاری کرد. ضمناً xxx هم نیست

اگر بشه كل runtime يه جوري serialize بشه ميشه همچين كاري كرد .

البطه نميدونم بايد تحقيق كنم .

به اين راحتي هم كه ميگي نيست .

 

[firebird]

اگه بشه گسترشش داد چیز خوبی از آب در میاد.

 

[ebrahimj]

با php خالي نميشه ،

اينترفيس php

موتور VC++ .

چون بايد Mulithread كار بشه .

ببين برنامه من اول مياد فايل يك رو ميخونه و تفسير ميكنه بعد ميره سر فايل 2 !!

اگه multi thread كار كنه ، مياد 10 تافايلو باهم ميخونه وميره سره 10 تاي بعدي .

 

[firebird]

ببین مزیت php اینه که روی سرور اجرا میشه با اون پهنای باند وحشتناک. عیب نداره یک فایل یک فایل کارا رو انجام بده فقط باید اطلاعات رو یه جا ذخیره کنه و توی هر بار refresh از اون محل اطلاعات فایل ها و لینک های جدید رو بخونه و کارها انجام بده و دوباره اطلاعات رو ذخیره کنه برای refresh بعد. من برنامه که با refresh کار کنه رو قبلاً چندین بار نوشتم و الان که کد تو رو میخونم فکر میکنم عملی باشه.

 

[ebrahimj]

منم نگفتم كه انجين روي سيستم شما احرا بشه ،

انيجين ميتونه روي سرور اختصاصي اجرا شه !

يا يك اكستنشن ISAPI نوشته بشه ، كه اگه وقت كنم مينويسم . اما حيف كه وقت ندارم .

 

[firebird]

سرور اختصاصی گرون درمیاد. فکر کنم یه راه حل ارزونتر که همه بتونن استفاده کنند بهتر باشه.

 

[H_R]

من خودم با asp.net چند تا نوشتم تا حالا ، البته قسمت اصلی کارش استخراج اطلاعات از توی صفحه ها بوده !
من فکر میکنم توی http://sourceforge.net/ بگردی باید یه چیزایی پیدا کنی !

 

[ebrahimj]

استخراج اطلاعت مشكلي نيست ! همش regexp سادست ! بعدش بايد مسير هاي نصفه نيمه و ... كامل بشن ،

بعدش با استفاده از حلقه بايد ! صفحات درون اون صفحات استخراج بشن و اين چرخه ادامه داره !

اما يك مشكلي كه هست بالا هم گفتم ! نبود امكان multi thread هست !!

 

[ebrahimj]

اگه ميخواهيد بحث كنيم ، بيايد به My.blackmice.com .

زضا و حسين ايميل هاتونو بگيد تا براتون اينوايت بفرستم ! من نميتونم بيشتر از اين اينجا ادامه بدم !