چرا یوز yooz.ir رو باید جدی بگیریم ؟

[moalax]

شباهت زیادی بین گرگر و یوز هست .

بزرگانی مثل روح الله رحمانی کم نداریم اما جای سوال است چرا این مقدار پول برای این پروژه های صرف می شود ؟

خوش بینانه هم اگر بتوان گفت این ها همه ایرانی هست اما چه موتور جست و جویی ؟

بحث موتور جست و جو خیلی گسترده هست ، گوگل هم هنوز نقص هایی داره اما روز به روز داره کامل میشه ، ایراد کار این جاست که ما قصد داریم یک روزه با این مبلغ رقیبی برای گوگل بسازیم .

خب این از ریشه غلط است . البته من افتخار می کنم به تک تک جوانان ایرانی خدا رو شکر این همه نابغه چرا باید اینطور باشه ؟ شده حکایت پارسیک که جایزه ی ذره بین طلایی رو میگره و به عنوان یه موتور جست و جو شناخته میشه ولی میشه به این گفت موتور جست و جو ؟ موتور جست و جو کجا و استفاده از API ام اس ان کجا !؟

فردا میاییم میبینیم اساتید میرن دنبال اسکریپت های موجود و به اصطلاح موتور جست و جو . حرف از شباهت یوز و داک داک گو نیست .

شمایی که داری وضعیت مردم و میبینی و به عنوان یک وزیر خوانده میشی ، یه مسولیت بزرگ برگردن داری 170 میلیارد تو این شرایط رو بهتر از هر کس دیگه ای می فهمی .

جنابی که مسول شدی و نخبگان کشوری رو در چنین پروژه هایی سهیم می کنی به عنوان یکی از جوانان ایران قصد نداریم بگیم چرخ رو دوباره اختراع کنند اما وقتی اسم موتور جست و جوی ملی کنار این کار میاد سعی کنید ارزش کلمه ی ملی حفظ بشه .

حالا فردا روزی مجددا دنبال هزینه کردن 3 میلیون برای خرید یک اسپایدر و خزنده بیافتید و میلیاردها خرج کنید که اینو براتون فارسی کنند و بومی بهش بگید .

داستان تاسیس گوگل رو بخوانید : ( فارسی ، تاریخچه)

یک مورد واقعا جالب که توی سایت های فارسی کم تر به اون اشاره شده : (( منبع ، منبع 2 ))
یک :
"We had to buy a terabyte [which cost about $15,000]... and put it on credit cards."
دو :
Google is indexing pages quickly, and Larry and Sergey need much more capacity on their hard drives. They have to buy a terabyte, and finally get discount buy several hard drives, all for $ 15,000.

و سخت افزار های گوگل در آن زمان ها :

The original hardware used by Google included:

• Sun Ultra II with dual 200MHz processors, and 256MB of RAM. This was the main machine for the original Backrub system.

• 2 x 300 MHz Dual Pentium II Servers donated by Intel, they included 512MB of RAM and 9 x 9GB hard drives between the two. It was on these that the main search ran.

• F50 IBM RS6000 donated by IBM, included 4 processors, 512MB of memory and 8 x 9GB hard drives.

• Two additional boxes included 3 x 9GB hard drives and 6 x 4GB hard drives respectively (the original storage for Backrub). These were attached to the Sun Ultra II.

• IBM disk expansion box with another 8 x 9GB hard drives donated by IBM.

• Homemade disk box which contained 10 x 9GB SCSI hard drives

اوایل سال۱۹۹۸بود که آنها ( «لری پیچ» و «سرگئی برین» )توانستند در یک حراجی در لس‌آنجلس، یک هارددیسک ارزان‌قیمت، با ظرفیت یک ترابایت تهیه کنند و در اتاق «لری» در خوابگاه دانشگاه استنفورد، ساختن کامپیوتر سرور مورد نظرشان را شروع کردند. اولین دفتر کار آنها اتاق کوچکی بود در پارکینیگ خانه یکی از دوستانشان.

حرف آخر : یک موتور جست و جو از پایه توسط جوان های ایرانی طراحی بشود و به مرور زمان تکمیلش شود همه جوره پشتیبانی خواهیم کرد .

سلام خدمت کلیه‌ی دوستان
من یکی از بچه‌های تیم فنی موتور یوز هستم.
اومدم اینجا دیدم چه خبره!
سعی می‌کنم یکی یکی حرف‌هایی که زده شده رو پاسخ بدم. امیدوارم بحث خوبی اینجا در بگیره و درگیر حاشیه‌های بی‌خود نشیم.


خوب انتظار که ندارید یه موتور جستجوی تازه‌کار هر چی توش سرچ می‌کنید همه رو درست جواب بده! من شخصاً تمام جستجوهای فارسیم رو توی یوز می‌زنم، اکثراً جواب می‌گیرم. اونایی که جواب نمی‌گیرم می‌رم توی گوگل. البته مدتیه جستجوهای انگلیسیم رو هم توی یوز آزمایش می‌کنم، بعضی وقت‌ها جواب می‌گیرم، ولی در مجموع جوابای جستجوهای انگلیسی توی یوز اصلاً خوب نیست. دلیلش هم اینه که تمرکز ما تا به حال روی سایت‌های فارسی زبان بوده. ان‌شاءالله توی برنامه‌ی فاز بعدیمون (یعنی امسال) ورود به سایت‌های انگلیسی هست.
یه نکته هم همینجا بگم: نتیجه‌ی نوزدهم همین جستجو، سایت autotrader.ca هست که انگلیسی هست. قابل توجه دوستی که می‌گفت گوگل مترجمش رو با جستجوش تلفیق کرده (البته ما هنوز در این زمینه ادعایی نداریم چون راه خیلی طولانیه و کار زیاده. ولی اینطوری هم نیست که ما هیچ کاری نکرده باشیم!).

در مورد هزینه‌ی موتور: همونطور که یکی از دوستان اشاره کردند، کل هزینه‌ای که این موتور داشته ۷ میلیارد بوده نه ۱۷۰ میلیارد. اگه یه حساب خیلی ساده بکنید، می‌بینید که ۷ میلیارد خیلی هزینه‌ی کمی بوده. بیش از ۴ سال هزینه‌ی نیروها رو جمع بزنید با هزینه‌ی سرورها و پهنای باند و غیره.

اما در مورد این که گوگل هست و مگه ما بیکاریم موتور بسازیم و ...: دوستانی که نمی‌دونن اگه یه تحقیقی در مورد موتورهای جستجو بکنن، متوجه می‌شن که موتور جستجو در دنیا به عنوان لکوموتیو IT شناخته می‌شه. یعنی زیرساختی که موتور جستجو فراهم می‌کنه می‌تونه IT کشور رو تکون بده. گوگل هم از یه موتور جستجوی ساده شروع کرده و الان IT جهان رو داره تکون می‌ده. همین الان ما زیرساختی درست کردیم که باهاش می‌شه خیییییلی کارها انجام داد. به عنوان مثال انواع پروژه‌های دانشگاهی رو می‌شه تعریف کرد و بهشون سرویس داد. ما الان هم data داریم و هم قدرت پردازش کافی و هم تکنولوژی پردازش داده‌ی حجیم (big data).


این رو قبول دارم که باید یه توضیح اجمالی در مورد الگوریتم‌های رتبه‌بندی‌مون منتشر کنیم تا دوستانی که می‌خوان کارهای seo انجام بدن بدونن چه کاری تأثیر داره. ان‌شاءالله در آینده‌ی نزدیک این کار رو می‌کنیم. ما تا به حال تقریباً تمام انرژی‌مون رو روی کار فنی موتور گذاشتیم و قصد داریم از این به بعد بیشتر روی ارتباط با کاربرا و مدیران سایت وقت بذاریم تا بتونیم کاربر جذب کنیم و سرویس خوبی ارائه بدیم. البته توجه کنید که پایه‌ی رتبه‌بندی توی تمام موتورهای جستجو یکسان هستن و یه سری نکات هستند که تفاوت ایجاد می‌کنن. بنابراین به طور کلی اگه یه سایت رفتار اسپم مانند داشته باشه، رتبه‌اش میاد پایین (البته دیگه این هنر موتوره که چقدر بتونه سایت‌های اسپم رو درست تشخیص بده، که همونطور که می‌دونید توی فارسی گوگل هم خیلی در تشخیص اسپم موفق نیست). یا مثلاً تیتر صفحه بخش مهمی هست، ولی اگه توی تیتر یه صفحه انشا بنویسید ارزشش میاد پایین! این کلیات توی موتور یوز هم هستن ولی در مورد جزئیاتش ان‌شاءالله بعداً توضیح می‌دیم.
اما این رو خیلی با قاطعیت می‌گم: ما هیچ کار خاصی توی رتبه‌بندی نتایج نکردیم که مثلاً فکر کنید فلان سایت رو همیشه بالاتر میاریم (با توجه به ارتباط تنگاتنگی که با تیم رتبه‌بندیمون دارم (چون الگوریتم‌های رتبه‌بندی باید توی index اعمال بشن)، در جریان ریز کارهاشون هستم). حتی ویکیپدیا رو هم یه مدت بهش فکر کردیم که توی نتایج بالاتر از بقیه‌ی سایت‌ها بیاریم، اما دیدیم نتایج به هم می‌ریزه و برگردوندیمش. یعنی شما توی رتبه‌بندی 1,000,000,000 صفحه، هر کاری که خارج از الگوریتم‌های هوشمند انجام بشه، کار رو کلاً خراب می‌کنه. یعنی اصلاً شدنی نیست که دستی فلان سایت رو توی نتایج بیاریم بالا! به جز تبلیغات که هنوز ما روش کار نکردیم.


منظورتون رو متوجه نمی‌شم. یعنی انتظار دارن از هیچ کتابخونه‌ای استفاده نکنیم و همممممممه‌ی همه‌اش رو خودمون بنویسیم؟! مثلاً از MySql یا MSSql یا هر پایگاه داده‌ی دیگه‌ای استفاده نکنیم و خودمون بنویسیم!!! خوب قطعاً این کار منطقی نیست! همونطور که احتمالاً خبر دارید، گوگل هم از MySql استفاده می‌کرده که البته به MariaDb تغییر داده (نگفتم موتور جستجوش با MySql پیاده‌سازی شده ها! تو بخش‌هایی از سیستم‌های مختلفش از MySql استفاده می‌کنه) و حتی یه نیرو فرستاده کمک تیم MariaDb:
http://www.i-programmer.info/news/84-database/6386-google-drops-mysql-for-mariadb.html
(این صفحه رو با جستجوی «google mariadb» توی یوز پیدا کردم)
و همچنین یکی از کاربران اساسی MySql، فیس بوک هست:
http://www.mysql.com/customers/view/?id=757
صد البته این شرکت‌ها بعد از این که از این تکنولوژی‌ها استفاده می‌کنن، بعد از چند سال بهشون مسلط می‌شن و شروع می‌کنن توشون تغییرات اساسی می‌دن و در واقع تکنولوژی رو دستشون می‌گیرن.
خوب توی پروژه‌ی ما هم این اتفاق تو بخش‌های مختلف افتاده، با این تفاوت که موتور جستجوی متن‌باز آماده‌ای در scale ای که ما می‌خواستیم وجود نداشت که بگیریم ازش استفاده کنیم. برای همین بعد از امتحان کردن solution های مختلف، مجبور شدیم بیشتر بخش‌های موتور رو خودمون بسازیم (همونطور که می‌دونید گوگل و بینگ و غیره هیچ وقت نه کدشون رو منتشر می‌کنن و نه تکنولوژیشون رو). الان بعد از این همه کار، من که مسئول تیم index هستم خدمتتون می‌گم که به معماری distributed, scalable, realtime و fault-tolerant رسیدیم که دوستانی که زمینه‌ی نرم‌افزار داشته باشن می‌دونن که فراهم کردن همه‌ی اینها یا هم چقدر سخته. گوگل که ۱۷ ساله داره سرویس جستجو ارائه می‌ده، تنها چهار ساله که به معماری realtime رسیده. یعنی چی؟ یعنی این که اکثر موتورهای جستجو به صورت batch کار می‌کنن: یه index دارن که جواب جستجوهای کاربران رو می‌ده، و یه index دیگه دارن که به‌روزرسانی می‌شه. بعد از یه مدت (مثلاً هر هفته، یا هر شب) جای این دو تا رو با هم عوض می‌کنن و در نتیجه نتایجی که مثلاً دیروز خزش شدن، امروز توسط کاربرا دیده می‌شن. اما توی سیستم realtime، هر صفحه‌ای که خزش می‌شه، با یه فاصله خیلی کوتاه قابل جستجو می‌شه (که این فاصله توی موتور یوز حدود یک دقیقه هست).
توجه کنید! منظور من از این همه سخنرانی این نیست که موتور یوز خیلی هم خوب هست و هیچ مشکلی هم نداره و حرف هم نباشه! منظور اینه که توی بخش‌های مختلفی که موتور داره، ما سعی کردیم بهترین کار ممکن رو انجام بدیم و البته می‌دونیم توی رتبه‌بندی هنوز کار زیاد داریم. یه بخشی از این کار هم از طریق استفاده‌ی کاربرا از موتور انجام می‌شه. هر چقدر جستجو توی موتور بیشتر باشه، پروسه‌ی learning موتور بهتر انجام می‌شه.
نتیجه‌گیری اخلاقی: الان تکنولوژی موتور کاملاً در دست ماست و کاملاً بومی هست.

در مورد جستجوی «how i can paint my car»: دوست من ما هنوز روی انگلیسی تمرکز نکردیم. بعد هم شما یه مدت از یوز استفاده‌ی واقعی بکن، بعد بگو چقدر ازش راضی بودی. با یه جستجو که نمی‌شه چیزی رو نفی یا اثبات کرد!


در مورد ف.ی.ل.ت.ر کردن گوگل: اصلاً قرار نیست چنین چیزی اتفاق بیافته. چون مشخصه که اگه این اتفاق بیافته، اولین کسی که ضررش رو می‌بینه، موتور یوز هست چون همه از چشم اون می‌بینن. بنابراین هیچ یک از مسئولین موتور قصد چنین کاری رو ندارن.
اون حرفی هم که یکی از دوستان زده که:

دقیقاً حرفیه که ما می‌زنیم.


:|
دوست من، حداقل قبلش یه سر خبرای منتشر شده در مورد موتور یوز رو می‌خوندی! همونجا گفتن که هشتاد نفر روی این موتور کار کردن. بازم :|


این که بینگ نتونسته به پای گوگل برسه، یه دلیل عمده داره: گوگل دیتای کاربرا رو داره! و البته یه زیرساخت خیلی قوی. ما توی موتورمون زیرساخت قوی داریم (نمی‌خوام با گوگل مقایسه کنم! در scale خودمون زیرساختمون مناسب هست)، ولی دیتای کاربرا رو نداریم! (البته توی این یکی دو ماهه یه مقداری دیتا به دست اوردیم که داریم روش کار می‌کنیم تا موتور از روش learn بشه) به لطف دوستانی هم که می‌گن ما از این موتور استفاده نمی‌کنیم هیچ وقت این دیتا رو به دست نخواهیم اورد! :|
اما یه نکته‌ی دیگه رو توجه کنید: بینگ داره تو scale بین‌المللی با گوگل رقابت می‌کنه در حالی که یوز می‌خواد تو ۳ فاز اولش در scale ایران با گوگل رقابت کنه. این خیلی فرق می‌کنه!


خزشگر ما به صورت خودکار صفحات رو استخراج می‌کنه و خزش می‌کنه. اما بالاخره ممکنه یه سایتی رو پیدا نکنه، یا تعداد صفحاتی که از یه سایت داره کم باشه. برای رفع این جور موارد، می‌تونید آدرس سایتتون رو به [email protected] بفرستید تا سایت رو در اسرع وقت در فهرست خزش قرار بدیم.


به قول فامیل دور: من دیگه حرفی ندارم!
دوست گرامی! اولاً که اون اسپایدر که شما می‌گی، برای خودش عظمتی داره! فقط در نظر داشته باش که بیش از چهار میلیارد link رو آماده داریم، که یک میلیاردشون رو خزش کردیم! و این یک میلیارد صفحه نیاز به update شدن دارن! علاوه بر این باید صفحات جدید هم گرفته بشن! حالا شما با توجه به محدودیت پهنای باند، باید بتونی از بین این چهار میلیارد صفحه انتخاب کنی که کدوم صفحات جدید خزش بشن، و کدوما update بشن!
ثانیاً همونطور که یکی از دوستان اشاره کرد، شما بیا و برای ما یک میلیارد صفحه رو با تابع FULLTEXT شاخص‌گذاری و جستجو کن! ببینم به ده برابر این زمانهای جستجویی که یوز داره جواب می‌ده می‌رسی؟! همونطور که قبلاً گفتم index ما توزیع‌شده، realtime، مقیاس پذیر (یعنی برای افزایش گنجایشش کافیه بهش سرور اضافه کنید و خود خوشه به صورت dynamic داده‌ها رو balance می‌کنه و نیازی به restart کردن و از این قبیل کارها نیست) و با قابلیت تحمل خطا هست (یعنی اگه یک یا چند سرور crash کنن، کل خوشه مشکلی پیدا نمی‌کنه و به صورت خودکار سرورهای دیگه رو جایگزین می‌کنه). حالا شما بیا این رو با FULLTEXT مقایسه کن!
یکی از دوستان هم گفته بودن:

در جواب باید بگم که نخیر این طور نیست و تمام یک میلیارد رکورد ما دارای محتوای کامل صفحه هستن. تمام هنر ما هم همین بوده! البته روی کوتاه کردن متن صفحات کارهایی کردیم، اما کار سختیه که بتونید متن رو کوتاه کنید، و کیفیت جستجو رو از دست ندید (بعضی وقت‌ها جستجو روی کلمات خاصی هست که ممکنه شما موقع کوتاه کردن متن حذفش کرده باشید و در نتیجه، نتیجه‌ی جستجوتون خراب خواهد شد).
فقط بگم که حجم index ما بیش از دو ساله که از یک ترابایت گذشته.


خوب دوست من اشتباه می‌کنی! ما crawler و index خودمون رو داریم و کاری به bing یا گوگل یا هر موتور دیگه‌ای نداریم. البته انصافاً واقعاً خوشحال شدم که شما از لفظ «اگه اشتباه نکنم» استفاده کردید. مورد داشتیم توی یه فروم دیگه یه بنده خدایی با اطمینان کامل گفته بود که یوز از بینگ استفاده می‌کنه!


دوست من ما از هیچ تکنیک خاصی برای دزدیدن کلیک و بالا بردن رتبه‌ی الکسا استفاده نمی‌کنیم چون این کار برای موتور جستجو بی‌معنیه. یعنی ایده زیاد داشتیم ها! ولی استفاده نکردیم (می‌تونید سایت رو زیر و رو کنید تا ببینید هیچ کار اضافه‌ای توی موتور انجام نمی‌شه، بر خلاف سایت‌هایی که تا یه جا کلیک می‌کنی ده تا popup باز می‌کنن!). البته رتبه‌ی الکسامون به ۱۱۹ هم رسید که به خاطر استفاده‌ی کاربرا بوده نه چیز دیگه‌ای. البته‌تر(!) این که الان رتبه‌ی الکسامون توی ایران افت کرده (جهانیش داره هنوز رشد می‌کنه) که دلیلش ضعف ما توی تبلیغات بوده و این که به هر دلیل نتونستیم همه‌ی کاربرامون رو حفظ کنیم. این رو می‌دونیم و داریم سعی می‌کنیم کیفیت سرویس رو بالاتر ببریم تا بتونیم کاربرا رو نگه داریم.


در جواب باید بگم که همونطور که قبلاً هم مدیر پروژه توضیح داده ( http://itiran.com/d/68499 ) تیم یوز از تیم گرگر کمک گرفته. در واقع فقط شباهت توی بخش UI سیستم هست و حتی الگوریتم‌های رتبه‌بندی گرگر با یوز خیلی فرق می‌کنه (با چند تا جستجو توی دو تا موتور و مقایسه‌ی نتایج متوجه موضوع خواهید شد). توجه دارید که UI فقط یکی از کامپوننت‌های متعدد موتور جستجو هست (Crawler, Parser, Ranker (Offline, Online), Indexer, Searcher, ...).

یکی از دوستان حرف خوبی زده:

واقعاً همینطوره. ما موتور رو برای کاربرا ساختیم نه برای دل خودمون! فکر هم نکنید چقدر پول گرفتیم و خوردیم! الان نزدیک ۲ ساله که شخص بنده از چند جای دیگه با حقوق نزدیک به دو برابر اینجا پیشنهاد کار دارم، اما نرفتم، چون معتقدم این پروژه می‌تونه کشور رو تکون بده. بقیه‌ی نیروهامون هم کم و بیش همینطوری هستن. بالاخره بچه‌ها فارغ‌التحصیلای دانشگاه‌های تراز اول کشورن و جاهای مختلفی می‌تونن کار بکنن. بگذریم!


نخیر دوست من! اولاً که zal به تنهایی قابل استفاده نیست و فقط از طریق salam قابل استفاده هست که خود salam یه meta search engine هست، یعنی نتیجه رو از چندین موتور جستجو می‌گیره و ترکیب می‌کنه و نمایش می‌ده (البته این کار، اگه قرار باشه درست انجام بشه کار سختیه. فکر نکنید که با دو خط کد می‌شه این کارو کرد! بچه‌های salam زحمت کشیدن روی این پروژه. ولی مقایسه‌اش با یوز درست نیست). بقیه‌ی اونایی هم که به اسم موتور جستجو عنوان می‌شن، تماماً یا موتور جستجوی خاص منظوره هستن (مثلاً موتور جستجوی خانه، یا ماشین)، یا meta search engine هستن، یا تعداد صفحاتشون خیلی کمه (زیر ۱۰ میلیون صفحه) که عملاً نمی‌شه ازشون استفاده کرد! فقط پارسی‌جو هست که ۲۰۰ میلیون صفحه داره، و یوز که یک میلیارد صفحه داره. گرگر هم که قبلاً درباره‌اش صحبت کردم.


نخیر اینطور نیست! ما خزش رو خودمون انجام می‌دیم. دلیل این که یه همچین اتفاقی افتاده، همونه که بالاتر توضیح دادم. خزشگر کار سختی داره! توی یک میلیارد صفحه باید همه رو بره update کنه که در نتیجه ممکنه بعضیا از دستش در بره. شما بی‌زحمت آدرس سایتتون رو برای ما به آدرس [email protected] بفرستید تا بررسی کنیم مشکل از کجاس.

در مورد جستجوی عکس: جستجوی عکس یوز خیلی تازه کار هست و در نتیجه کاملاً قابل انتظاره که توش اشکال زیاد باشه. البته بچه‌های تیم عکس دارن شدیداً روش کار می‌کنن و خیلی از اشکالا رو اخیراً برطرف کردن. تعداد عکس‌هامون هم قراره به زودی به حدود ۱۵ برابر برسه.


من عاجزانه درخواست می‌کنم یه همچین چیزایی رو به ما خبر بدید، تا بررسی کنیم اشکال کار از کجاس. دوستان ما تمام ایمیل‌هایی که به آدرس [email protected] می‌فرستید رو می‌خونن و برای رفعش به بخش مربوطه ارجاع می‌دن.


ببخشید می‌شه منبع خبرتون رو برای این که روسیه برای یاندکس ۴۲ میلیون دلار هزینه کرده بفرمایید؟ من خبر ندارم yandex چقدر هزینه برده، ولی این عدد یه کم، همچین یه کم به شدت کم به نظر می‌رسه! شما فرض بگیر که yandex کلهم اجمعین ۵۰ هزار تا سرور بیشتر نداشته باشه! (توجه داشته باشید که گوگل بیش از ۲ میلیون سرور داره!) هر سرور رو چند حساب کنیم خوبه؟! دیگه سرور در پیت هم بگیرید قیمتش ۲۰۰۰ دلار هست! چقدر می‌شه؟ می‌شه ۱۰۰ میلیون دلار! فقط هزینه‌ی سرور! هزینه‌ی دیتاسنتر، پهنای باند، نیروها و بقیه‌ی هزینه‌ها رو هم بذارید روش! من نمی‌دونم شما این عدد رو از کجا اوردید! بعد هم مقایسه‌اش کردید با عدد موهومی ۲۰۰ میلیارد تومن! که درستش ۷ میلیارد تومن بوده!


خوب این دوستمون حسابی از خجالت تیم ما در اومدن! :|


یکی دیگه از دوستان گفتن «اگه اشتباه نکنم طراحان یوز انتی ویروس شید رو هم قبلا ارایه کردن که از موتور انتی ویروس های دیگه استفاده میکرد.»
خوب دوست من اشتباه می‌کنید! ما هیچ ربطی به آنتی ویروس نداریم!


فقط ما نفهمیدیم چرا تا حالا گوگل yandex و baidu و امثالهم رو نخریده!


خوب برادر من! این همه فک زدم که بگم این موتور از پایه توسط جوان‌های ایرانی طراحی شده! به مرور زمان هم تکمیل شده. ما بیش از چهار ساله داریم روی این موتور کار می‌کنیم. یه شبه که هواش نکردیم! خوب پس بسم‌الله: پای حرفت باش و همه جوره ما رو پشتیبانی کن.


من دیگه چیزی نگم بهتره! واضحه که خزشگر به صورت خودکار صفحات رو استخراج می‌کنه!

آقا به جان بچه‌ام خسته شدم! چقدر تایپ کنم!

بازم خوشحال می‌شم اگه دوستی سؤال داره بپرسه.

برای شروع یوزایرانی رو به عنوان هوم پیج انتخاب کردم ، بنده چیزی شبیه changelog در یوز مشاهده نکردم ، اگر وجود دارد برای کاربران به نمایش بگذارید تا از روال پیشرفت یوز مطلع شویم ، با سپاس

 

[Ali-Ahmari]

به جای اینکه بیان هفت میلیارد(و بیشتر) سرمایه بزارن برای یک ایده تکراری! برن اینترنت رو درست کنن که تو 24 ساعت بالای 10ساعت قطعی نداشته باشیم.

 

[rizak]

پس شمام هم از چیزی که اطلاع ندارین بیخودی دفاع نکنید.
جدا از Search Engine یا Meta Search Engine بودن الان یوز چه فرقی با این 2 تا سایت پایین داره؟تلفیقی از جفتشونه.2تاشونم اسپمر

Spoiler: s

gooni/ir
shahrekhabar/com

http://gooni.ir اسپمر بزرگ کسری =))

 

[sayyid]

قدرت گوگل برای کل برنامه نویسهای ایران حتی قابل تصور نیست چه برسه به اینکه قابل رقابت باشه.پس مقایسه یوز با گوگل بیشتر شبیه جوکه و در موردش حرفی نزنیم بهتره.نه تنها در ایران بلکه در کل منظومه شمسی نه الان بلکه 10 سال دیگه و 100 سال دیگه هم کسی توان رقابت با گوگل رو نداره و نخواهد داشت.
من امروز کل این تاپیک رو خوندم و بحثای جالبی شده بود.
نگاه خوشبینانه من به این پروژه:
نظر شخص من اینه که اینجوری هزینه کردن از بیت المال برای کاری که عملا نه سودی داره و کاملا فلسفه وجودیش زیر سواله(چه نیازی به موتور جستجوی ملی داریم؟) یعنی حیف و میل و اتلاف منابع مالی و انسانی و تجهیزات و پهنای باند و ... .نه اینکه لزوما بگیم عده ای بخور بخور کردن بلکه همینکه 5 سال وقت و انرژی و دانش چندین متخصص (به قول خودشون) ، چندین میلیارد پول از جیب ملت و کلی تجهیزات و سرور که مییتونست جای مفیدتری ازشون استفاده بشه ، هدر رفته برای کاری که نه توجیه اقتصادی داره و نه توجیه علمی و فقط برای ارائه بیلان وزارتخانه برای مصرف بودجه هستش ، همین یعنی حیف و میل بیت المال که برای ریال به ریالش باید پاسخگو باشن.
وقتی بستر فنی اینترنت در سراسر کشور انقدر ضعیفه و با این کیفیت و سرعت بسیار پایین اینترنت اینکه وزارت ارتباطات ده ها میلیارد تومن و بلکه بیشتر رو اختصاص بده به موضوع ساخت موتور جستجوی ملی در خوشبینانه ترین حالت حماقته و در حالت واقع بینانه تر خیانت به مال و ثروت تمام ملت نه ارث پدرشون.
اگر اینها ادعا دارن که برای ملت کار میکنن و هدفشون جلب رضایت مردمه و پولهای هنگفتی هم که در اختیارشون قرار داره متعلق به تک تک مردم ایرانه پس باید پاسخگو باشن که آیا الان اولویت مردم ایران در زمینه آی‌تی ساخت موتور جستجو هست که در بهترین حالت خودش ، با وجود گوگل کمترین نیازی بهش احساس نمیشه ، یا ارتقای کیفیت خدمات اینترنتی و افزایش پهنای باند و سرعت و کاهش هزینه های استفاده از اینترنت؟
چه کسی واقعا پاسخگوی این هدررفت بیت المال بدون اینکه کمترین اهمیتی به خواست و نیاز واقعی مردم داده بشه هست؟!

تبصره: شخصا نظری دارم که میتونه باعث بشه ، اگر هزینه های اضافی این پروژه کاهش پیدا کنه و رقم معقولی صرفش بشه ، کمتر بابت اتلاف سرمایه ملی افسوس بخوریم اونم اینه که فرض بکنیم این پروژه میتونه کمکی باشه برای خودکفایی علمی در یک زمینه مهم آی تی.به شرط اینکه اولا به صورت کاملا علمی تمام فرایند این پروژه از A to Z مستندسازی بشه و دوما تجربیات و آزمون و خطاهای این گروه بعدها بتونه در اختیار متخصصین گذاشته بشه برای زمانی در آینده که ممکنه بنا به دلیلی کشورهای غربی و پیشرفته تصمیم بگیرن به ایرانیها هیچگونه خدمات موتور جستجو ارائه ندن و در اون صورت با استفاده از اون مستندات و زیرساخت همچین پروژه ای بشه در زمان کمی تا حد قابل قبولی این کمبود رو رفع کرد.(البته احتمال رخداد همچین مساله ای خیلی خیلی اندکه اما به هر حال همه چیز ممکنه و آینده غیرقابل پیش بینی)

نگاه بدبینانه:
سرمایه گذاری روی اینگونه پروژه ها عموما با عنوانهای دهن پر کن ملی یا بومی یا اسلامی زمینه سازی برای روزیه که بخوان به قول خودشون شبکه ملی اطلاعات رو راه اندازی کنن و در واقع ایران رو از کل دانش و اطلاعات و تکنولوژی بشریت جدا بکنن فقط برای تامین منافع سیاسی-امنیتی-اقتصادی-ایدئولوژیک یک اقلیت خاص.و یقین داشته باشید که این اتفاق روزی خواهد افتاد در آینده نه چندان دور.فعلا بسترش آماده نیست و این پروژه ها برای آماده کردن بستر همون اتفاق شومه.
و احتمال دیگه هم همونطور که دوستان هم اشاره کردند و اساسا یکی از اهداف پروژه موهوم شبکه ملی اطلاعات هم همینه دسترسی آسان و طبقه بندی شده به فعالیت تک تک مردم ایران و شناسایی افراد یا گروه هایی که از نظر اونها مخل امنیت ملی (یا امنیت اقلیتی قدرتمند ) هستند.(مثلا فرض کنید که همه مجبور باشن از سرویسهای ایمیل ملی و موتورهای جستجوی ملی استفاده کنند و عملا امکان رد و بدل کردن یک خط پیام به صورتی که تحت کنترل حکومت نباشه ، وجود نداشته باشه).این میتونه به شناسایی افرادی که واقعا اهداف جاسوسی و ضد امنیتی داشته باشند کمک بزرگی بکنه و این خوبه اما به شدت نقض حقوق شهروندی همه شهروندان و نقض احترام به حریم خصوصی افراد حقیقی و حقوقی و نقض آزادیهای قانونی برای فعالیت سیاسی اجتماعی فرهنگی اقتصادی و ... شهروندان هست و این مساله بسیار خطرناکیه.

من اول یه تشکر از شما می‌کنم، و دوستان رو توجه می‌دم به این که می‌شه آدم با یه چیزی کاملاً مخالف باشه، ولی حرفش رو بدون توهین و تمسخر بزنه.
نکته‌ی بعد این که این جمله‌تون اشکال داره: «کاملا فلسفه وجودیش زیر سواله» و این: «نه توجیه اقتصادی داره و نه توجیه علمی»
این کار هم توجیه اقتصادی داره هم توجیه علمی. از نظر اقتصادی، در شروع کار تا چند سال صرفه‌ی اقتصادی نخواهد داشت، اما بعدش چرا (به صورت بالقوه ها، این که در عمل چه اتفاقی می‌افته رو باید ببینیم). از نظر علمی هم کاملاً توجیه داره. ما همین الان با چندین استاد از چند دانشگاه کشور داریم تعامل می‌کنیم و کارهای مختلفی رو انجام می‌دیم (البته تازه شروع کردیم، مدتی طول می‌کشه تا به نتیجه برسه). یکی از ساده‌ترین کارهایی که می‌شه کرد، اینه که داده‌هامون (که شامل کل وب ایران هست) و قدرت پردازشمون رو در اختیار دانشگاه‌ها قرار بدیم تا بتونن روش انواع مطالعات رو انجام بدن و انواع پروژه‌ها رو روش تعریف کنن. نه فقط دانشگاه‌ها، خیلی جاهای دیگه هستن که علمش رو یاد می‌گیرن، اما داده ندارن تا بتونن به صورت واقعی علمشون رو پیاده کنن. ما در مقیاس پتابایت داده می‌تونیم در اختیارشون قرار بدیم. یا یه مثال دیگه‌اش انواع آماری هست که ما می‌تونیم ارائه بدیم. مثلاً این که فلان چیز توی وب ایران داره پررنگ می‌شه، در نتیجه باید روش سرمایه‌گذاری کرد.

در مورد تبصره‌تون: این که شما گفتید حالت extreme قضیه هست، که کلاً فیتیله‌ی گوگل رو بکشن پایین! و من هم بعید می‌دونم هیچ وقت این کار رو بکنن، چون سودی که اونا دارن از دیتای ما می‌برن خیلی بیشتر از سودی هست که ما داریم از گوگل می‌بریم. برای همین براشون نمی‌صرفه که گوگل رو برای ایران ببندن. یعنی واقعاً فکر کردین با این همه تحریم، دلشون برای ما سوخته که گوگل رو روی ایران نبستن؟!
حالا اگه یه مقدار قضیه رو واقع‌بینانه‌تر ببینیم، اینه که به سادگی می‌تونن توسط چنین سرویس‌هایی به ما فشار بیارن که اگه فلان کار رو نکنین ما فلان چیز رو می‌بندیم، و ما چون مجبوریم که از اون سرویس استفاده کنیم، مجبوریم به حرفشون گوش کنیم. اما این قضیه یه گوشه‌ی قضیه هست! چیزی که مهمتره، همون چیزیه که شما بهش اشاره کردین، که من کاملش می‌کنم: موتور جستجو، زیربنای تکنولوژی‌های مختلف توی IT هست. شما نباید موتور جستجو رو فقط موتور جستجو ببینید و بگید گوگل که هست! ما به کمک یه موتور جستجو می‌تونیم یه زیربنا برای رشد IT کشور درست کنیم. الان ما توی یوز به تکنولوژی موتور جستجو دست پیدا کردیم (بله می‌دونم گوگل تکنولوژیش از ما خیلی جلوتره، ادعا هم نداریم که به تکنولوژی گوگل دست پیدا کردیم، ولی حداقل دیگه برامون یه چیز فضایی نیست که ندونیم توش چه خبره و تا یه جاهایی از تکنولوژی اونا جلو رفتیم). این رو هم در نظر داشته باشید که توی موتور جستجو خیلی مسائل مختلف علمی باید در کنار هم قرار بگیرن تا بتونه خوب کار کنه. یعنی مسائلی که توی دانشگاه‌ها به صورت تئوری درس داده می‌شه (مثلاً IR) اینجا باید به خوبی پیاده‌سازی بشن تا کار کنن. شما فکر کن که ما داریم بیش از ۱.۵ میلیارد صفحه رو زیر ثانیه امتیازدهی و رتبه‌بندی می‌کنیم! این کم چیزی نیست (البته از نظر برخی دوستان که این کار با یه MySql و یه FULLTEXT ساده قابل انجامه!!!!!!!).
الان تکنولوژی ما در حدیه که راه‌اندازی سرویس‌های جانبی مثل ایمیل و غیره برامون واقعاً در مقابل موتور جستجو چیزی نیست (البته سرویس ایمیل هم ساده و پیشرفته داره، و هر چقدر بخوای پیشرفته‌ترش کنی سخت‌تر می‌شه. دلیل این که هنوز راه‌اندازی نکردیم اینه که سرویس ایمیل پشتیبانی خوب می‌خواد و در نتیجه نیروی متناسب، که فعلاً نداریم، چون تمام توان نیروهامون صرف موتور می‌شه. ولی توی برنامه‌هامون هست).

در مورد دسترسی به اطلاعات مردم و حقوق شهروندی و ...: همونطور که گفتید، همچین بستری می‌تونه به خوبی کمک کنه که اقدامات ضد امنیتی شناسایی بشن و این خیلی خوبه. در کنارش هم ممکنه ازش سوء استفاده بشه که این خیلی بده. در نتیجه این قضیه یه چاقوی دو لبه هست. اما نکته‌ی مهمی که اینجا هست اینه که آیا شرکتهای آمریکایی مثل گوگل و فیس‌بوک و ...، این سوء استفاده رو نمی‌کنن؟ الان گوگل تقریباً به تمااااااااام اطلاعاتی که شما رد و بدل می‌کنید دسترسی داره. تمام زندگی شما رو می‌دونه. یعنی سازمان‌های امنیتی آمریکا از اطلاعات اونا استفاده نمی‌کنن؟ پس به همین دلیل باید بگیم که اونا هم نباید ساخته می‌شدن.
اشتباه نشه، من هیچ نظری در مورد این که شبکه‌ی ملی اطلاعات خوبه یا نه ندادم ها! من فقط دارم می‌گم که چنین بستری برای دسترسی سازمان‌های امنیتی به اطلاعات محرمانه، یه چاقوی دو لبه هست. هم خیلی جاها خوبه و لازمه، و هم خیلی جاها می‌تونه مورد سوء استفاده قرار بگیره. شما وقتی اطلاعات درستی نداشته باشی، وقتی می‌خوای برخورد کنی (و یه جاهایی مجبور می‌شی برخورد کنی)، می‌ری فله‌ای برخورد می‌کنی! یعنی هزار نفر رو با هم دستگیر می‌کنی، که شاید توشون فقط ۱۰۰ نفر حقشون بوده که دستگیر بشن. و بقیه‌ی ناعدالتی‌هایی که پیش میاد.

در نهایت هم بگم که این درسته که سرعت اینترنت افتضاحه و باید زیرساخت رو درست کنن و ... ولی این دلیل نمی‌شه که روی موتور جستجو سرمایه‌گذاری نکنن. من به هیچ وجه نمی‌خوام از هیچ دولتی یا وزارت ارتباطات دفاع کنم، ما خودمون اینجا کلی از دست وزارت ارتباطات شاکی هستیم (همونطور که قبلاً هم گفتم ما یه شرکت خصوصی هستیم که وزارت داره (به خیال خودش!) از ما حمایت می‌کنه). ولی به نظرم نباید مسائل رو با هم قاطی کرد. باید زیرساخت رو درست کنن. باید روی موتور جستجو هم (به دلایلی که بالاتر بعضیاشو گفتم) سرمایه‌گذاری کنن. و این شدنی هست. دلیل این که تا به حال نشده، اینه که خیلیا این وسط می‌خورن و کار رو درست انجام نمی‌دن. وگرنه سرمایه‌گذاری این مقداری (که خیلی کم هست به نسبت چیزی که باید باشه برای موتور جستجو - کافیه یه نگاهی به آمار سرمایه‌گذاری کشورهای دیگه روی موتور جستجو بندازیم (گوگل رو بذاریم کنار چون خیلی چیزا اونجا با اینجا فرق می‌کنه. می‌تونیم بریم سراغ yandex یا baidu یا naver یا seznam)) هیچ ضربه‌ای به درست کردن زیرساخت نمی‌زنه.

پس شمام هم از چیزی که اطلاع ندارین بیخودی دفاع نکنید.

من دفاع نکردم! گفتم حمله‌ی شما منصفانه نیست! وگرنه نظر خودمو گفتم که باید ببندیمش.

جدا از Search Engine یا Meta Search Engine بودن الان یوز چه فرقی با این 2 تا سایت پایین داره؟تلفیقی از جفتشونه.2تاشونم اسپمر

Spoiler: s

temsara/ir
shahrekhabar/com

اولاً که شهر خبر موتور جستجوی خبره، نه موتور جستجوی وب. خیییییییییییییییلی فرقه بین این دو تا! نسبت خبرها به کل وب می‌دونید چقدره؟! ما هم توی یوز پوشش خبر رو داریم، منابع سخت‌افزاری‌ای که برای این کار اختصاص دادیم در حد یک درصد کل منابع سخت‌افزاریمون هست! یعنی مقیاس کار موتور جستجوی وب، در حد ۱۰۰ برابر موتور جستجوی خبر هست! شما با یه دونه تک سرور می‌تونید همه‌ی خبرهای همه‌ی خبرگذاری‌های فعلی کشور رو پوشش بدید! برای ۱۰ سال آینده هم فکر نکنم کم بیاد! ولی برای موتور جستجوی وب در این مقیاس (بالای ۱.۵ میلیارد صفحه) مجبورید به سراغ تکنولوژی‌های توزیع‌شده برین و از چندین component در کنار هم دیگه استفاده کنین. شاید در آینده‌ی نزدیک یه نمایی از معماری موتور جستجو رو عمومی کنیم تا دوستان بیشتر با مقیاس کار آشنا بشن. کلاً مدیر پروژه‌مون همیشه می‌گه که من آدم اوپنی هستم! یعنی علاقه‌مندیم که دانش و داده‌هامون رو با بقیه share کنیم. البته هنوز شرایطش مهیا نشده (مهم‌ترینش وقته!).
ثانیاً اون یکی سایت رو که باز کردم، اولین کلیک که کردم ۲ تا popup باز کرد! خوب رفتار این سایت مشخصه که چه فرقی با یوز داره! من چنین سایتی رو ندیده می‌گم که اسپمه!
در نهایت اون بخش اول جمله‌تون خیلی مهم بود ها! «جدا از Search Engine یا Meta Search Engine بودن ...» یکی از فرق‌های اصلی همینه! تکنولوژی‌ای که برای یه Search Engine مورد نیاز هست، نصفش هم توی Meta Search Engine مورد نیاز نیست! سختی کار توی Search Engine خیلی بیشتر از Meta Search Engine هست.

برای شروع یوزایرانی رو به عنوان هوم پیج انتخاب کردم ، بنده چیزی شبیه changelog در یوز مشاهده نکردم ، اگر وجود دارد برای کاربران به نمایش بگذارید تا از روال پیشرفت یوز مطلع شویم ، با سپاس

نکته‌ی خوبی بود. ما به صورت خیلی محدود این کارو کردیم و توی بلاگ یه مقدار اطلاع‌رسانی کردیم. ولی بعدش انقدر درگیر کارای پشتیبانی و رفع باگ وغیره شدیم که دیگه تقریباً چیزی اون تو ننوشتیم! موافقم که این کار حس خیلی خوبی به کاربر می‌ده که واقعاً داره یه کارایی انجام می‌شه. ممنون از پیشنهاد عالیتون.

به جای اینکه بیان هفت میلیارد(و بیشتر) سرمایه بزارن برای یک ایده تکراری! برن اینترنت رو درست کنن که تو 24 ساعت بالای 10ساعت قطعی نداشته باشیم.

همونطور که گفتم، این که به این تکنولوژی دست پیدا کنیم خیلی مهمه و یه کار زیربنایی هست. درسته خود موتور جستجو یه ایده‌ی تکراری هست (به قول یکی از مشاورای پروژه‌مون: دیگه ته ته تهش می‌شیم گوگل (لطفاً نگین امکان نداره گوگل بشین! گفتم ته ته تهش!)! خوب گوگل که الان هست! برای چی انقد زور بزنیم؟)، مهم چیزایی هست که کنارش به وجود میاد، از جمله تکنولوژی‌ها و سرویس‌های جانبی.
در ضمن ما ایده‌هایی داریم که گوگل یا نمی‌تونه ارائه بده، یا به دلیل عدم نیاز، ارائه نمی‌ده. مثلاً یه سری سرویس‌ها رو داره داخل آمریکا می‌ده، ولی توی ایران نمی‌ده.

 

[rezatak6]

ینه که داده‌هامون (که شامل کل وب ایران هست) و قدرت پردازشمون رو در اختیار دانشگاه‌ها قرار بدیم

مجید دلبندم اون پلیسه پلیس

 

[Ali-Ahmari]

من اول یه تشکر از شما می‌کنم، و دوستان رو توجه می‌دم به این که می‌شه آدم با یه چیزی کاملاً مخالف باشه، ولی حرفش رو بدون توهین و تمسخر بزنه.
نکته‌ی بعد این که این جمله‌تون اشکال داره: «کاملا فلسفه وجودیش زیر سواله» و این: «نه توجیه اقتصادی داره و نه توجیه علمی»
این کار هم توجیه اقتصادی داره هم توجیه علمی. از نظر اقتصادی، در شروع کار تا چند سال صرفه‌ی اقتصادی نخواهد داشت، اما بعدش چرا (به صورت بالقوه ها، این که در عمل چه اتفاقی می‌افته رو باید ببینیم). از نظر علمی هم کاملاً توجیه داره. ما همین الان با چندین استاد از چند دانشگاه کشور داریم تعامل می‌کنیم و کارهای مختلفی رو انجام می‌دیم (البته تازه شروع کردیم، مدتی طول می‌کشه تا به نتیجه برسه). یکی از ساده‌ترین کارهایی که می‌شه کرد، اینه که داده‌هامون (که شامل کل وب ایران هست) و قدرت پردازشمون رو در اختیار دانشگاه‌ها قرار بدیم تا بتونن روش انواع مطالعات رو انجام بدن و انواع پروژه‌ها رو روش تعریف کنن. نه فقط دانشگاه‌ها، خیلی جاهای دیگه هستن که علمش رو یاد می‌گیرن، اما داده ندارن تا بتونن به صورت واقعی علمشون رو پیاده کنن. ما در مقیاس پتابایت داده می‌تونیم در اختیارشون قرار بدیم. یا یه مثال دیگه‌اش انواع آماری هست که ما می‌تونیم ارائه بدیم. مثلاً این که فلان چیز توی وب ایران داره پررنگ می‌شه، در نتیجه باید روش سرمایه‌گذاری کرد.

در مورد تبصره‌تون: این که شما گفتید حالت extreme قضیه هست، که کلاً فیتیله‌ی گوگل رو بکشن پایین! و من هم بعید می‌دونم هیچ وقت این کار رو بکنن، چون سودی که اونا دارن از دیتای ما می‌برن خیلی بیشتر از سودی هست که ما داریم از گوگل می‌بریم. برای همین براشون نمی‌صرفه که گوگل رو برای ایران ببندن. یعنی واقعاً فکر کردین با این همه تحریم، دلشون برای ما سوخته که گوگل رو روی ایران نبستن؟!
حالا اگه یه مقدار قضیه رو واقع‌بینانه‌تر ببینیم، اینه که به سادگی می‌تونن توسط چنین سرویس‌هایی به ما فشار بیارن که اگه فلان کار رو نکنین ما فلان چیز رو می‌بندیم، و ما چون مجبوریم که از اون سرویس استفاده کنیم، مجبوریم به حرفشون گوش کنیم. اما این قضیه یه گوشه‌ی قضیه هست! چیزی که مهمتره، همون چیزیه که شما بهش اشاره کردین، که من کاملش می‌کنم: موتور جستجو، زیربنای تکنولوژی‌های مختلف توی IT هست. شما نباید موتور جستجو رو فقط موتور جستجو ببینید و بگید گوگل که هست! ما به کمک یه موتور جستجو می‌تونیم یه زیربنا برای رشد IT کشور درست کنیم. الان ما توی یوز به تکنولوژی موتور جستجو دست پیدا کردیم (بله می‌دونم گوگل تکنولوژیش از ما خیلی جلوتره، ادعا هم نداریم که به تکنولوژی گوگل دست پیدا کردیم، ولی حداقل دیگه برامون یه چیز فضایی نیست که ندونیم توش چه خبره و تا یه جاهایی از تکنولوژی اونا جلو رفتیم). این رو هم در نظر داشته باشید که توی موتور جستجو خیلی مسائل مختلف علمی باید در کنار هم قرار بگیرن تا بتونه خوب کار کنه. یعنی مسائلی که توی دانشگاه‌ها به صورت تئوری درس داده می‌شه (مثلاً IR) اینجا باید به خوبی پیاده‌سازی بشن تا کار کنن. شما فکر کن که ما داریم بیش از ۱.۵ میلیارد صفحه رو زیر ثانیه امتیازدهی و رتبه‌بندی می‌کنیم! این کم چیزی نیست (البته از نظر برخی دوستان که این کار با یه MySql و یه FULLTEXT ساده قابل انجامه!!!!!!!).
الان تکنولوژی ما در حدیه که راه‌اندازی سرویس‌های جانبی مثل ایمیل و غیره برامون واقعاً در مقابل موتور جستجو چیزی نیست (البته سرویس ایمیل هم ساده و پیشرفته داره، و هر چقدر بخوای پیشرفته‌ترش کنی سخت‌تر می‌شه. دلیل این که هنوز راه‌اندازی نکردیم اینه که سرویس ایمیل پشتیبانی خوب می‌خواد و در نتیجه نیروی متناسب، که فعلاً نداریم، چون تمام توان نیروهامون صرف موتور می‌شه. ولی توی برنامه‌هامون هست).

در مورد دسترسی به اطلاعات مردم و حقوق شهروندی و ...: همونطور که گفتید، همچین بستری می‌تونه به خوبی کمک کنه که اقدامات ضد امنیتی شناسایی بشن و این خیلی خوبه. در کنارش هم ممکنه ازش سوء استفاده بشه که این خیلی بده. در نتیجه این قضیه یه چاقوی دو لبه هست. اما نکته‌ی مهمی که اینجا هست اینه که آیا شرکتهای آمریکایی مثل گوگل و فیس‌بوک و ...، این سوء استفاده رو نمی‌کنن؟ الان گوگل تقریباً به تمااااااااام اطلاعاتی که شما رد و بدل می‌کنید دسترسی داره. تمام زندگی شما رو می‌دونه. یعنی سازمان‌های امنیتی آمریکا از اطلاعات اونا استفاده نمی‌کنن؟ پس به همین دلیل باید بگیم که اونا هم نباید ساخته می‌شدن.
اشتباه نشه، من هیچ نظری در مورد این که شبکه‌ی ملی اطلاعات خوبه یا نه ندادم ها! من فقط دارم می‌گم که چنین بستری برای دسترسی سازمان‌های امنیتی به اطلاعات محرمانه، یه چاقوی دو لبه هست. هم خیلی جاها خوبه و لازمه، و هم خیلی جاها می‌تونه مورد سوء استفاده قرار بگیره. شما وقتی اطلاعات درستی نداشته باشی، وقتی می‌خوای برخورد کنی (و یه جاهایی مجبور می‌شی برخورد کنی)، می‌ری فله‌ای برخورد می‌کنی! یعنی هزار نفر رو با هم دستگیر می‌کنی، که شاید توشون فقط ۱۰۰ نفر حقشون بوده که دستگیر بشن. و بقیه‌ی ناعدالتی‌هایی که پیش میاد.

در نهایت هم بگم که این درسته که سرعت اینترنت افتضاحه و باید زیرساخت رو درست کنن و ... ولی این دلیل نمی‌شه که روی موتور جستجو سرمایه‌گذاری نکنن. من به هیچ وجه نمی‌خوام از هیچ دولتی یا وزارت ارتباطات دفاع کنم، ما خودمون اینجا کلی از دست وزارت ارتباطات شاکی هستیم (همونطور که قبلاً هم گفتم ما یه شرکت خصوصی هستیم که وزارت داره (به خیال خودش!) از ما حمایت می‌کنه). ولی به نظرم نباید مسائل رو با هم قاطی کرد. باید زیرساخت رو درست کنن. باید روی موتور جستجو هم (به دلایلی که بالاتر بعضیاشو گفتم) سرمایه‌گذاری کنن. و این شدنی هست. دلیل این که تا به حال نشده، اینه که خیلیا این وسط می‌خورن و کار رو درست انجام نمی‌دن. وگرنه سرمایه‌گذاری این مقداری (که خیلی کم هست به نسبت چیزی که باید باشه برای موتور جستجو - کافیه یه نگاهی به آمار سرمایه‌گذاری کشورهای دیگه روی موتور جستجو بندازیم (گوگل رو بذاریم کنار چون خیلی چیزا اونجا با اینجا فرق می‌کنه. می‌تونیم بریم سراغ yandex یا baidu یا naver یا seznam)) هیچ ضربه‌ای به درست کردن زیرساخت نمی‌زنه.


من دفاع نکردم! گفتم حمله‌ی شما منصفانه نیست! وگرنه نظر خودمو گفتم که باید ببندیمش.


اولاً که شهر خبر موتور جستجوی خبره، نه موتور جستجوی وب. خیییییییییییییییلی فرقه بین این دو تا! نسبت خبرها به کل وب می‌دونید چقدره؟! ما هم توی یوز پوشش خبر رو داریم، منابع سخت‌افزاری‌ای که برای این کار اختصاص دادیم در حد یک درصد کل منابع سخت‌افزاریمون هست! یعنی مقیاس کار موتور جستجوی وب، در حد ۱۰۰ برابر موتور جستجوی خبر هست! شما با یه دونه تک سرور می‌تونید همه‌ی خبرهای همه‌ی خبرگذاری‌های فعلی کشور رو پوشش بدید! برای ۱۰ سال آینده هم فکر نکنم کم بیاد! ولی برای موتور جستجوی وب در این مقیاس (بالای ۱.۵ میلیارد صفحه) مجبورید به سراغ تکنولوژی‌های توزیع‌شده برین و از چندین component در کنار هم دیگه استفاده کنین. شاید در آینده‌ی نزدیک یه نمایی از معماری موتور جستجو رو عمومی کنیم تا دوستان بیشتر با مقیاس کار آشنا بشن. کلاً مدیر پروژه‌مون همیشه می‌گه که من آدم اوپنی هستم! یعنی علاقه‌مندیم که دانش و داده‌هامون رو با بقیه share کنیم. البته هنوز شرایطش مهیا نشده (مهم‌ترینش وقته!).
ثانیاً اون یکی سایت رو که باز کردم، اولین کلیک که کردم ۲ تا popup باز کرد! خوب رفتار این سایت مشخصه که چه فرقی با یوز داره! من چنین سایتی رو ندیده می‌گم که اسپمه!
در نهایت اون بخش اول جمله‌تون خیلی مهم بود ها! «جدا از Search Engine یا Meta Search Engine بودن ...» یکی از فرق‌های اصلی همینه! تکنولوژی‌ای که برای یه Search Engine مورد نیاز هست، نصفش هم توی Meta Search Engine مورد نیاز نیست! سختی کار توی Search Engine خیلی بیشتر از Meta Search Engine هست.


نکته‌ی خوبی بود. ما به صورت خیلی محدود این کارو کردیم و توی بلاگ یه مقدار اطلاع‌رسانی کردیم. ولی بعدش انقدر درگیر کارای پشتیبانی و رفع باگ وغیره شدیم که دیگه تقریباً چیزی اون تو ننوشتیم! موافقم که این کار حس خیلی خوبی به کاربر می‌ده که واقعاً داره یه کارایی انجام می‌شه. ممنون از پیشنهاد عالیتون.


همونطور که گفتم، این که به این تکنولوژی دست پیدا کنیم خیلی مهمه و یه کار زیربنایی هست. درسته خود موتور جستجو یه ایده‌ی تکراری هست (به قول یکی از مشاورای پروژه‌مون: دیگه ته ته تهش می‌شیم گوگل (لطفاً نگین امکان نداره گوگل بشین! گفتم ته ته تهش!)! خوب گوگل که الان هست! برای چی انقد زور بزنیم؟)، مهم چیزایی هست که کنارش به وجود میاد، از جمله تکنولوژی‌ها و سرویس‌های جانبی.
در ضمن ما ایده‌هایی داریم که گوگل یا نمی‌تونه ارائه بده، یا به دلیل عدم نیاز، ارائه نمی‌ده. مثلاً یه سری سرویس‌ها رو داره داخل آمریکا می‌ده، ولی توی ایران نمی‌ده.

یعنی ما موتور جست و جو داشته باشیم قطعی های اینترنتمون درست میشه؟ چطوری یه موتور جست و جو کار زیر بنایی برای بهتر شدن کیفیت اینترنتمون بشه؟

 

[rizak]

یعنی ما موتور جست و جو داشته باشیم قطعی های اینترنتمون درست میشه؟ چطوری یه موتور جست و جو کار زیر بنایی برای بهتر شدن کیفیت اینترنتمون بشه؟

دلیل نمیشه چون اینترنت خوبی نداریم از اجرای هدف های این مدلی برای پیشرفت جلوگیری کنیم

 

[sayyid]

یعنی ما موتور جست و جو داشته باشیم قطعی های اینترنتمون درست میشه؟ چطوری یه موتور جست و جو کار زیر بنایی برای بهتر شدن کیفیت اینترنتمون بشه؟

همونطور که اون دوستمون هم گفتن، اینا دو تا مسئله‌ی جدا هستن. یعنی موتور جستجو به صورت مستقیم ارتباطی به کیفیت و سرعت اینترنت نداره، موتور جستجو بیشتر روی تکنولوژی‌های نرم‌افزاری IT تمرکز می‌کنه. یعنی موتور جستجو می‌تونه به شدت کمک کنه علوم مرتبط با IT پیشرفت کنه (فعلاً در حد کشور خودمون، نه لبه‌ی علم دنیا!). ولی نمی‌شه گفت چون کیفیت اینترنت پایینه پس کاری به موتور جستجو نداشته باشیم.
البته توجه کنید که الان گوگل داره کل اینترنت رو دستکاری می‌کنه! یعنی هم مباحث نرم‌افزاری، هم مباحث سخت‌افزاری و غیره. این که گفتم به صورت مستقیم مرتبط نیست، منظورم همین بود که اگه یه موتور جستجو بتونه خوب کار کنه، به علت اشرافی که روی وب پیدا می‌کنه می‌تونه تو همه‌ی زمینه‌ها کمک کنه. البته اینا بیشتر تئوری هست و در عمل توی کشور ما خیلی سخته! برای همین فعلاً اینو اصلاً در نظر نمی‌گیریم!

 

[cup]

به نظرم باید مینوشتید :چرا نباید یوز را جدی بگیریم. :دی

 

[rizak]

همونطور که اون دوستمون هم گفتن، اینا دو تا مسئله‌ی جدا هستن. یعنی موتور جستجو به صورت مستقیم ارتباطی به کیفیت و سرعت اینترنت نداره، موتور جستجو بیشتر روی تکنولوژی‌های نرم‌افزاری IT تمرکز می‌کنه. یعنی موتور جستجو می‌تونه به شدت کمک کنه علوم مرتبط با IT پیشرفت کنه (فعلاً در حد کشور خودمون، نه لبه‌ی علم دنیا!). ولی نمی‌شه گفت چون کیفیت اینترنت پایینه پس کاری به موتور جستجو نداشته باشیم.
البته توجه کنید که الان گوگل داره کل اینترنت رو دستکاری می‌کنه! یعنی هم مباحث نرم‌افزاری، هم مباحث سخت‌افزاری و غیره. این که گفتم به صورت مستقیم مرتبط نیست، منظورم همین بود که اگه یه موتور جستجو بتونه خوب کار کنه، به علت اشرافی که روی وب پیدا می‌کنه می‌تونه تو همه‌ی زمینه‌ها کمک کنه. البته اینا بیشتر تئوری هست و در عمل توی کشور ما خیلی سخته! برای همین فعلاً اینو اصلاً در نظر نمی‌گیریم!

یه جواب بهتون دادم چون به مزاج بعضی ها خوش نیومد و چون پارتی بازی در ایران همیشه حرف اولو میزنه سریعا حذف شد
خلاصش این بود که خودتو خسته نکن برادر برای بعضیا که فرق html با php رو نمیدونن
فقط اینو میبینن که فلان هزینه شده اما طرف دیگه مسالرون میبینن

 

[Ali-Ahmari]

همونطور که اون دوستمون هم گفتن، اینا دو تا مسئله‌ی جدا هستن. یعنی موتور جستجو به صورت مستقیم ارتباطی به کیفیت و سرعت اینترنت نداره، موتور جستجو بیشتر روی تکنولوژی‌های نرم‌افزاری IT تمرکز می‌کنه. یعنی موتور جستجو می‌تونه به شدت کمک کنه علوم مرتبط با IT پیشرفت کنه (فعلاً در حد کشور خودمون، نه لبه‌ی علم دنیا!). ولی نمی‌شه گفت چون کیفیت اینترنت پایینه پس کاری به موتور جستجو نداشته باشیم.
البته توجه کنید که الان گوگل داره کل اینترنت رو دستکاری می‌کنه! یعنی هم مباحث نرم‌افزاری، هم مباحث سخت‌افزاری و غیره. این که گفتم به صورت مستقیم مرتبط نیست، منظورم همین بود که اگه یه موتور جستجو بتونه خوب کار کنه، به علت اشرافی که روی وب پیدا می‌کنه می‌تونه تو همه‌ی زمینه‌ها کمک کنه. البته اینا بیشتر تئوری هست و در عمل توی کشور ما خیلی سخته! برای همین فعلاً اینو اصلاً در نظر نمی‌گیریم!

من گفتم که هفت میلیارد و بیشتر رو خرج اینترنت میکردن و کیفیتش رو میبردن بالا و در جواب به صحبتم شما گفتید که :

همونطور که گفتم، این که به این تکنولوژی دست پیدا کنیم خیلی مهمه و یه کار زیربنایی هست.

من برداشتم از این حرف این بود که موتور جست و جو میتونه کیفیت اینترنت رو ببره بالا.
مثل این میمونه که ما هنوز یه ساختمون رو نساختیم و تکمیل نشده بریم براش مبل بخریم

 

[sayyid]

یه جواب بهتون دادم چون به مزاج بعضی ها خوش نیومد و چون پارتی بازی در ایران همیشه حرف اولو میزنه سریعا حذف شد
خلاصش این بود که خودتو خسته نکن برادر برای بعضیا که فرق html با php رو نمیدونن
فقط اینو میبینن که فلان هزینه شده اما طرف دیگه مسالرون میبینن

من تمام سعیم رو می‌کنم که تا جایی که انرژی داشته باشم (و وقت!) شفاف‌سازی کنم. این رو مطمئنم که خیلی از واکنش‌هایی که نسبت به موتور دیدم، یا احساسی بوده، یا از روی ندونستن قضیه. برای همین دارم سعیم رو می‌کنم که قضیه رو روشن کنم.

من گفتم که هفت میلیارد و بیشتر رو خرج اینترنت میکردن و کیفیتش رو میبردن بالا و در جواب به صحبتم شما گفتید که :

من برداشتم از این حرف این بود که موتور جست و جو میتونه کیفیت اینترنت رو ببره بالا.
مثل این میمونه که ما هنوز یه ساختمون رو نساختیم و تکمیل نشده بریم براش مبل بخریم

مثالتون خوب نیست! چون ساختمون رو ساختیم، ولی مشکل داره. فکر کنم این مثال مناسب‌تره:
ما یه بزرگراه ساختیم، ولی بزرگراهمون پر چاله هست! طراحیش هم افتضاح بوده، در نتیجه همیشه سر مدرس ترافیکه!!! خیلی هم کج و کوله هست! به جای این که خط صاف باشه!
حالا ما میایم ۹۴٪ از بودجه‌ای که داریم رو خرج می‌کنیم و یه طبقه روی بزرگراهمون می‌سازیم. این پروژه خیلی گنده هست و کلی هم طول می‌کشه، و مشکل ترافیک رو یه مقدار بهتر می‌کنه (حل نمی‌کنه!).
کنار این پروژه، ۶٪ از بودجه‌مون رو هم خرج ساختن ماشین می‌کنیم. به جای این که بگیم خوب این همه شرکت خارجی ماشین ساختن، ما چرا بسازیم؟ ما هم سعی می‌کنیم به تکنولوژی ساخت ماشین دست پیدا کنیم (البته واقعاً این مثال همه‌ی نیاز IT به موتور جستجو رو نشون نمی‌ده. یعنی توی این قضیه خیلی می‌شه ان قلت اورد که شاید نیازی به ساخت ماشین نباشه، ولی در مورد موتور جستجو نمی‌شه همون ان قلت‌ها رو اورد). پس شروع می‌کنیم به ساختن ماشین و دستیابی به تکنولوژی ساختش.
قطعاً ساختن ماشین به طور مستقیم کمکی به مشکلات بزرگراه نمی‌کنه (حتی بعضیهاش مثل ترافیک رو شدیدتر هم می‌کنه!)، ولی دلیل نمی‌شه که چون بزرگراهمون کلللللللللی مشکل داره، پس دیگه نریم ماشین بسازیم.

یه بار دیگه به عددای بودجه‌ی کشور و درصد بودجه‌ی اختصاص داده شده به موتور جستجو از وزارت ارتباطات توجه کنید (حدود ۶٪ بود). نکته اینه که این عددا برای من و شما خیلی زیاده. توی مقیاس بالا که می‌ری، این عددا کاملاً معمولیه. ۷ میلیارد تومن خیلی نمی‌تونه دردی از اینترنت کشور دوا کنه. همونطور که ۱۰۰ میلیارد تومن تا به حال نتونسته! ولی ۷ میلیارد تومن می‌تونه یه دردی از جاهای دیگه رو دوا کنه. اصلاً هنر دولتمردان (که خیلی وقتا این هنر رو به درستی ندارن!) اینه که بتونن بودجه‌ی کل کشور رو درست بین کارهای مختلف تقسیم کنن. اگه همه‌اش رو خرج یه جا بکنن، بقیه‌ی جاها می‌مونه.

البته این رو هم بگم که این تخصیص بودجه کار راحتی نیست! اگه من و شما هم بریم جای اونا بشینیم واقعاً معلوم نیست چقدر بهتر از اونا می‌تونیم بودجه رو تخصیص بدیم. هدفم دفاع از عملکردهای بد دولتمردان نیست ها! حرفم اینه که ما ایرانی‌ها (یا شاید همه‌ی مردم دنیا) عادت داریم بشینیم از دور فقط مشکلات رو ببینیم و بگیم فلانی داره گند می‌زنه! اگه خودمون هم بریم جاش از اون بدتر گند می‌زنیم!

 

[Ali-Ahmari]

من تمام سعیم رو می‌کنم که تا جایی که انرژی داشته باشم (و وقت!) شفاف‌سازی کنم. این رو مطمئنم که خیلی از واکنش‌هایی که نسبت به موتور دیدم، یا احساسی بوده، یا از روی ندونستن قضیه. برای همین دارم سعیم رو می‌کنم که قضیه رو روشن کنم.


مثالتون خوب نیست! چون ساختمون رو ساختیم، ولی مشکل داره. فکر کنم این مثال مناسب‌تره:
ما یه بزرگراه ساختیم، ولی بزرگراهمون پر چاله هست! طراحیش هم افتضاح بوده، در نتیجه همیشه سر مدرس ترافیکه!!! خیلی هم کج و کوله هست! به جای این که خط صاف باشه!
حالا ما میایم ۹۴٪ از بودجه‌ای که داریم رو خرج می‌کنیم و یه طبقه روی بزرگراهمون می‌سازیم. این پروژه خیلی گنده هست و کلی هم طول می‌کشه، و مشکل ترافیک رو یه مقدار بهتر می‌کنه (حل نمی‌کنه!).
کنار این پروژه، ۶٪ از بودجه‌مون رو هم خرج ساختن ماشین می‌کنیم. به جای این که بگیم خوب این همه شرکت خارجی ماشین ساختن، ما چرا بسازیم؟ ما هم سعی می‌کنیم به تکنولوژی ساخت ماشین دست پیدا کنیم (البته واقعاً این مثال همه‌ی نیاز IT به موتور جستجو رو نشون نمی‌ده. یعنی توی این قضیه خیلی می‌شه ان قلت اورد که شاید نیازی به ساخت ماشین نباشه، ولی در مورد موتور جستجو نمی‌شه همون ان قلت‌ها رو اورد). پس شروع می‌کنیم به ساختن ماشین و دستیابی به تکنولوژی ساختش.
قطعاً ساختن ماشین به طور مستقیم کمکی به مشکلات بزرگراه نمی‌کنه (حتی بعضیهاش مثل ترافیک رو شدیدتر هم می‌کنه!)، ولی دلیل نمی‌شه که چون بزرگراهمون کلللللللللی مشکل داره، پس دیگه نریم ماشین بسازیم.

یه بار دیگه به عددای بودجه‌ی کشور و درصد بودجه‌ی اختصاص داده شده به موتور جستجو از وزارت ارتباطات توجه کنید (حدود ۶٪ بود). نکته اینه که این عددا برای من و شما خیلی زیاده. توی مقیاس بالا که می‌ری، این عددا کاملاً معمولیه. ۷ میلیارد تومن خیلی نمی‌تونه دردی از اینترنت کشور دوا کنه. همونطور که ۱۰۰ میلیارد تومن تا به حال نتونسته! ولی ۷ میلیارد تومن می‌تونه یه دردی از جاهای دیگه رو دوا کنه. اصلاً هنر دولتمردان (که خیلی وقتا این هنر رو به درستی ندارن!) اینه که بتونن بودجه‌ی کل کشور رو درست بین کارهای مختلف تقسیم کنن. اگه همه‌اش رو خرج یه جا بکنن، بقیه‌ی جاها می‌مونه.

البته این رو هم بگم که این تخصیص بودجه کار راحتی نیست! اگه من و شما هم بریم جای اونا بشینیم واقعاً معلوم نیست چقدر بهتر از اونا می‌تونیم بودجه رو تخصیص بدیم. هدفم دفاع از عملکردهای بد دولتمردان نیست ها! حرفم اینه که ما ایرانی‌ها (یا شاید همه‌ی مردم دنیا) عادت داریم بشینیم از دور فقط مشکلات رو ببینیم و بگیم فلانی داره گند می‌زنه! اگه خودمون هم بریم جاش از اون بدتر گند می‌زنیم!

شاید مثالم جالب نبود ولی هنوز نتونستم خودم رو قانع کنم که این موتور جست و جو خوبه، به شما هم میگیم این چه فرقی با گوگل داره و چه نفعی به ما داره. میگید که یه سری چیزا هست که گوگل نمیتونه ارائه بده و یا نمیخواد ارائه بده و ما میخوایم روش کار کنیم و خدمات بدیم، مثلا میخواید سرنشین بدون هواپیما تولید کنید؟ یا یوزروید برای ایران تولید کنید و یوز استور براش بسازید یا بیاید تو هر سرچ بیوگرافی هر شخصیت رو نشون بدید؟ یا بگید سرعت ما از گوگل بالاتره؟ یا یوز میل بسازید؟ یا...؟

 

[افتک!!]

طرف نوشته " شاید این پروژه به هیچ دردی نخوره، اما توش بخور بخوری انجام نشده " ..... احتمالا ایشون فکر میکنه بخور بخور یعنی هزار تومنی رو تیلیت کنن توی آبگوشت بهش بدن بخوره یکی بیاد ایشون رو توجیه کنه که بخور بخور یعنی همین که یک پروژه ای که به درد نمی خوره تعریف کنی و از بودجه دولتی 5 سال خرج کنی و حقوق بگیری

 

[sayyid]

شاید مثالم جالب نبود ولی هنوز نتونستم خودم رو قانع کنم که این موتور جست و جو خوبه، به شما هم میگیم این چه فرقی با گوگل داره و چه نفعی به ما داره. میگید که یه سری چیزا هست که گوگل نمیتونه ارائه بده و یا نمیخواد ارائه بده و ما میخوایم روش کار کنیم و خدمات بدیم، مثلا میخواید سرنشین بدون هواپیما تولید کنید؟ یا یوزروید برای ایران تولید کنید و یوز استور براش بسازید یا بیاید تو هر سرچ بیوگرافی هر شخصیت رو نشون بدید؟ یا بگید سرعت ما از گوگل بالاتره؟ یا یوز میل بسازید؟ یا...؟

من کلی لکچر ارائه دادم برای فواید موتور جستجو! شما فقط اون یه بخشش رو خوندی که «یه سری چیزا هست که گوگل نمی‌تونه یا نمی‌خواد ارائه بده»!
همونطور که گفتم، بحث زیرساخت هست. شما فقط خروجی معمولی موتور جستجو رو نگاه نکنید، سرویس‌هایی رو ببینید که می‌تونه ارائه بده (نه فقط سرویس‌هایی که به کاربر عادی می‌ده، API منظورمه). مثال بزنم:
ما الان به سادگی می‌تونیم انواع تحلیل‌ها رو روی وب ایران انجام بدیم. مثلاً فرض کن شما یه دانشجوی علوم اجتماعی هستی. یا روانشناسی. می‌خوای در یه موردی در ایران تحقیق کنی. چی کار می‌کنی؟ داده از کجا میاری که روش تحقیق کنی؟ ما می‌تونیم اینجور موارد رو جلو ببریم.
یا مثلاً مثال از رشته‌ی خودمون بزنم:
ما هنوز که هنوزه، در سال ۲۰۱۵، بعد از این همه سال، هنوز یه پیکره‌ی دادگان درست و حسابی فارسی توی کشور نداریم. توضیح در مورد پیکره:
http://dadegan.ir
در نتیجه، هر کار آماری‌ای توی دانشگاه‌ها یا مراکز تحقیقاتی یا شرکت‌هایی که نیاز به این داده‌ها دارن می‌خواد انجام بشه، روی هوا هست! ما خودمون از اول شروع این پروژه این مشکل رو داشتیم. هر چی پیکره‌ی دادگان توی کشور موجود بود رو بررسی کردیم. بهترینشون رو که گرفتیم و آزمایش کردیم، دیدیم صد تا مشکل داره! با خودشون هم که صحبت می‌کردیم، قبول داشتن که مشکل اساسی داره.
خوب دلیل این موضوع چیه؟ یکی از نیازمندیهای اصلی پیکره‌ی دادگان، داده هست! و همچنین قدرت پردازش داده. الان ما این داده و قدرت پردازشش رو داریم (و البته تکنولوژی پردازشش رو). برای همین داریم روی تولید پیکره‌ی دادگان هم کار می‌کنیم. دیدین ترجمه‌ی فارسی Google Translate چقدر مشکل داره و بعد از این همه مدت هنوز سوتی‌های اساسی می‌ده؟ دلیلش اینه که ترجمه‌ی ماشینی یکی از پایه‌هاش کار آماری هست و برای کار آماری درست، باید پیکره‌ی دادگان درست وجود داشته باشه. این پیکره برای زبان انگلیسی وجود داره (خیلی هم کامل هست)، ولی برای فارسی نه.

و دهها مثال دیگه. برای این که دقیقتر مثالهاش رو بدونید، می‌تونید از یه استاد دانشگاه (فیلد مهندسی نرم‌افزار یا هوش مصنوعی مثلاً) بپرسید. ما همین الان با چندین دانشگاه و اساتید دانشگاه در ارتباطیم و داریم پروژه تعریف می‌کنیم. دیدین دانشگاه‌هامون چقدر مشکل دارن؟ چقدر کار تخیلی و تئوری تعریف می‌کنن که در عمل به هیچ دردی نمی‌خوره؟ این به خاطر اینه که ارتباطشون با صنعت ضعیفه. ما داریم سعی می‌کنیم یه بخشی از این ارتباط رو برقرار کنیم. دقیقاً یکی از نقاط قوت سیستم آمریکا توی ارتباط قوی دانشگاه با صنعتشون هست. ما هم اگه بتونیم یه همچین چیزی رو درست کنیم، یه بخش زیادی از انرژی دانشجوها و اساتید میاد توی کارهای به درد بخور استفاده می‌شه.

 

[omid7092]

این موتور جست و جو گر دقیقا مثل duckduckgo.com میمونه الگوریتمش که میاد از سایت های بزرگ مثل گوگل و یاهو سرچ میکنه .
جالبه

 

[aalireza439]

این موتور جست و جو گر دقیقا مثل duckduckgo.com میمونه الگوریتمش که میاد از سایت های بزرگ مثل گوگل و یاهو سرچ میکنه .
جالبه

DuckDuckGo یک موتور جستجوی مستقل هست ، تمامی نتایج اش توسط خودش تولید میشه ، البته با موتور های جستجوی Yandex, Yahoo!, Bing همکاری داره ، اما نه به اون صورت که از نتایج شون استفاده کنه.
https://en.wikipedia.org/wiki/DuckDuckGo

 

[rezatak6]

DuckDuckGo یک موتور جستجوی مستقل هست ، تمامی نتایج اش توسط خودش تولید میشه ، البته با موتور های جستجوی Yandex, Yahoo!, Bing همکاری داره ، اما نه به اون صورت که از نتایج شون استفاده کنه.
https://en.wikipedia.org/wiki/DuckDuckGo

جستجوی عکسش خیلی شبیه یوز هستش.(یعنی جستجوی عکس یوز خیلی شبیه اینه)

 

[sayyid]

DuckDuckGo یک موتور جستجوی مستقل هست ، تمامی نتایج اش توسط خودش تولید میشه ، البته با موتور های جستجوی Yandex, Yahoo!, Bing همکاری داره ، اما نه به اون صورت که از نتایج شون استفاده کنه.
https://en.wikipedia.org/wiki/DuckDuckGo

البته اینطور هم که گفتید نیست. توی توضیحات خود داک‌داک‌گو اگه بخونید، گفته که index شون خیلی هم بزرگ نیست، و هدفشون هم این نیست که index شون رو بزرگ کنن. بنابراین تمام نتایجش توسط خودش تولید نمی‌شه و در واقع یه Meta search engine هست. دقیقاً مدل سلام هست که خودش هم index داره، نتایج اون رو با نتایج موتورهای دیگه ترکیب می‌کنه و نمایش می‌ده (البته فهرست موتورهایی که استفاده می‌کنن با هم فرق داره).

این موتور جست و جو گر دقیقا مثل duckduckgo.com میمونه الگوریتمش که میاد از سایت های بزرگ مثل گوگل و یاهو سرچ میکنه .
جالبه

دوست گرامی همونطور که قبلاً هم بارها گفتم، موتور یوز یه Meta search engine نیست و یه موتور کاملاً مستقل هست و به هیچ وجه نتایج رو از گوگل یا بینگ یا هر موتور دیگه‌ای نمی‌گیره. ما index خودمون رو داریم که بیش از یک و نیم میلیارد صفحه توش هست (و البته برنامه‌مون اینه که توی فاز بعدی به بالای ۶ میلیارد صفحه برسونیمش) که داخل خوشه‌های خودمون روی سرورهای خودمون داخل دیتاسنتر داخلی هست. البته شباهتی که به داک‌داک‌گو داریم اینه که ما هم تلاش می‌کنیم اون بالا توی بخش پاسخ مستقیم (که داک‌داک‌گو بهش می‌گه Zero-Click info) جواب کاربر رو مستقیماً بدیم. توی اون بخش از داده‌های مختلفی مثل داده‌های ویکیپدیا استفاده می‌کنیم (که البته این کار هم به صورت آنلاین انجام نمی‌شه، یعنی روی جستجوی کاربر نمی‌ریم درخواست بدیم به ویکیپدیا و غیره و ازشون جواب بگیریم (کاری که meta search engine ها می‌کنن و در نتیجه اگه به هر دلیلی ارتباطشون با اون موتور منبع قطع بشه، توی این مدت نمی‌تونن جواب جستجوی کاربرا رو بدن (مگر از توی cache))، بلکه قبلاً این منابع رو crawl کردیم و اینجا جواب رو ازشون استخراج می‌کنیم).
نکته‌ای که قابل توجهه، اینه که برای یه meta search engine دهها سرور و این همه هزینه لازم نیست! و در کنارش اون کارایی که توی یه موتور جستجوی واقعی که داده‌ها و قدرت پردازششون رو در اختیار داره می‌شه انجام داد، قطعاً نمی‌شه توی یه meta search engine انجام داد.

جستجوی عکسش خیلی شبیه یوز هستش.(یعنی جستجوی عکس یوز خیلی شبیه اینه)

جالبه، می‌شه بگین کدوم بخش جستجوی عکس یوز بیشتر به نظرتون شبیه داک‌داک‌گو هست؟ یعنی خود نتایج جستجو، قیافه‌اش، یا چیز دیگه؟ ما کلاً به فیدبک کاربران شدیداً علاقه‌مند هستیم! و البته ان‌شاءالله به زودی بخش فیدبک رو داخل خود سایت اضافه می‌کنیم که کاربرا راحت بتونن نظرشون رو به ما منتقل کنن.

 

[alalalk71]

170 میلیارد معادل 48 میلیون دلار خرج کردید تا حالا ، نوش جونتون