اول از همه تشکر می‌کنم که به دور از حاشیه و بدون فحاشی(!) وارد بحث شدید.
حتما سال 93 اسم یوز روش خورده، همون اول که اسم موتور جستجو، یوز نبوده. اینطوری معلومه نباید تا قبل 93 اسمی از یوز باشه
خوب برادر من! من حرفم چی بود؟ حرفم اینه که اگه ما به خاطر مسائل سال ۸۸ این کار رو استارت زده بودیم، نمیومدیم جار بزنیم بگیم اواخر سال ۸۸ کار استارت خورده! می‌گفتیم سال ۸۷ استارت خورده! یا ۸۶! حالا اون دوستمون میگه انقدر خبرش پخش شده بود که از دستتون در رفت و نتونستین جلوشو بگیرین! حرف من اینه که کجا خبرش پخش شده بود؟
همونطور که قبلاً هم گفتم:
اما اون «اعلام رسانه‌ها» که توی اون خبر گفته، منظورش این خبر هست:
http://www.farsnews.com/13940809001557
«
دبیر شورای راهبری جویشگر بومی از اختصاص 170 میلیارد تومان برای موتور جستجوهای بومی خبر داد و گفت: تاکنون 15 درصد پروژه عملیاتی شده و 10 درصد اعتبار معادل 20 میلیارد تومان هزینه شده است.
وی خاطرنشان کرد: این پروژه به حدود 200 میلیارد تومان طی 5 سال نیاز دارد.
»
و جمله‌ی بالاییش:
«
یاری خاطرنشان کرد: در مرحله اعلام فراخوان شناسایی فعالان موتور جست‌وجوی بومی، 107 شرکت اعلام آمادگی کردند که 40 طرح در فهرست کوتاه قرار گرفته است.
»
خوب همونطور که می‌بینید، تا به حال ۲۰ میلیارد تومن روی کل طرح هزینه شده. از این مقدار چقدرش روی موتورهای جستجوی متنی بوده؟ چقدرش روی یوز بوده؟
http://www.khabaronline.ir/detail/400804/ict/ict
«
معاون برنامه‌ریزی وزارت ارتباطات در مراسم رونمایی از موتور «یوز»، اعلام کرد که ساخت این جست‌وجوگر ایرانی تاکنون هزینه‌ای 7 میلیارد تومانی را برای این وزارت‌خانه داشته است.
»
و این رو هم من اضافه کنم که طرح جویشگر یک سال و خرده‌ای هست که استارت خورده، در حالی که موتور یوز از اول اولش که تحقیقاتش شروع شد، حدوداً ۷ سال و نیم می‌گذره. خبر بالا هم مال ۱ سال و نیم پیش هست. پس موتور کلاً در طول ۶ سال، نزدیک ۷ میلیارد تومن برای وزارت هزینه داشته، یعنی حدوداً سالی ۱ میلیارد و ۲۰۰ میلیون تومن. دقت کنید، ۷ میلیارد تومن هزینه داشته، معنیش این نیست که ۷ میلیارد تومن پول دادن! هزینه‌ی پهنای باند و دیتا سنتر و سرور و غیره رو هم حساب کنید.
Sun co-founder Andy Bechtolsheim writes a check for $100,000 to an entity that doesn't exist yet—a company called Google Inc.
https://www.google.com/about/company/history/
100 هزار دلار تو سال 1998 میشه 146000 دلار الان (511 میلیون تومان) 511 میلیون کجا بودجه چندین میلیاردی کجا
اون چک 100000 دلاری هم از طرف دولت نبوده
موتور جست جو به این صورتی الان که میبینیم نبوده
اولین کامپیوتر اپل (اپل 1) که تو سال 1976 ساخته شده اینطوری بوده ، ممکنه چند ده هزار دلار هزینه برده باشه ... معلومه الان یه دانش آموز دبیرستانی با یه هزینه خیلی کمتر میتونه بهتر از این رو بسازه ... الان یوز رو با گوگل 1998 مقایسه نکن. یوز تو 1998 کجای دنیا بوده؟
بله اون چک ۱۰۰ هزار دلاری از طرف دولت نبوده، همونطور که گفتم شما اینجا یه سرمایه‌گذار پیدا کن حاضر باشه چنین سرمایه‌گذاری‌ای انجام بده!
الان یوز رو هم با گوگل ۹۸ مقایسه نکردم. گوگل در ابتدای کارش چند ده میلیون صفحه رو ایندکس کرده بود. ما در ابتدای کارمون بالای یک میلیارد صفحه رو ایندکس کردیم. منظورم اصلاً این نیست که «پس ما از گوگل خفن‌تریم»!!! حرفم اینه که اون ۱۰۰ هزار دلار، الان نمی‌تونه مقیاسی رو که یوز می‌خواد توش کار کنه جواب بده. سیستم ما کاملاً توزیع‌شده هست، حتماً می‌دونید که سیستم‌های توزیع‌شده هزینه‌ی تولید و نگهداری به مراتب بالاتری نسبت به سیستم‌های متمرکز دارن. یعنی ایندکس کردن ۲۵ میلیون صفحه توی یه سیستم متمرکز هزینه‌اش خیییییییییییلی کمتر از ایندکس کردن همون ۲۵ میلیون صفحه توی یه سیستم توزیع‌شده هست. ولی خوب وقتی این عدد رو می‌برید بالا مجبور می‌شید به سمت سیستم‌های توزیع‌شده حرکت کنید. یعنی شما اگه بخواین مثلاً ۵۰۰ میلیون صفحه رو ایندکس کنید، دیگه توی یه سیستم متمرکز هزینه‌تون به مراتب بالاتر از سیستم معادل توزیع‌شده‌اش میشه، چون باید از یه سوپر کامپیوتر برای سیستم متمرکزش استفاده کنید.
در هر صورت، همونطور که گفتم می‌تونید بر اساس منابع دقیق محاسبه کنید که یه موتور جستجو در مقیاس یوز چقدر هزینه لازم داره. چند تا مثال می‌ذارم:
https://www.quora.com/How-much-it-will-cost-to-do-web-crawling-using-an-open-source-search-engine
Google received a $100,000 investment in 1998, and a $25m investment in 1999. They started crawling from the Stanford university website when still writing their thesis and expanded from there.
Blekko (
http://www.blekko.com), a small and relatively new search engine, received a $25m investment when they were starting out. I believe they have 800 servers and index about 2 billion pages.
Microsoft spent in the realm of billions when they revamped their search engine in a move that brought us Bing.
SEOmoz maintains an active web index with regular crawls each month. They store about 66 billion URLs, and it costs them between
$200k-$300k each month. See
How much does SEOMOZ Linkscape infrastructure cost? and
http://www.seomoz.org/blog/febru...
همین هزینه‌ی SEOmoz رو بیارین توی مقیاس ما. ما نزدیک به ۵ میلیارد صفحه رو خزش کردیم، تقریباً میشه ۷.۵ درصد این ۶۶ میلیاردی که گفته. اگه هزینه رو هم به همون نسبت حساب کنیم، میشه حدود ۱۵ تا ۲۰ هزار دلار در ماه. میشه حدود ۵۰ تا ۷۰ میلیون تومن در ماه، که میشه حدود ۶۰۰ تا ۸۰۰ میلیون تومان در سال (صد البته این محاسبه‌ها تقریبی هست).
حالا این تازه مال SEOmoz هست که اصلاً موتور جستجو نیست. blekko گزینه‌ی مناسب‌تریه برای مقایسه. برای ۲ میلیارد صفحه، با ۲۵ میلیون دلار کارشون رو شروع کردن. فرض کنید یوز ۱ میلیارد صفحه داره (که البته بیشتره). پس هزینه رو نصف میکنیم: میشه ۱۰ میلیون دلار (خرده‌اش رو هم نمی‌خوایم!)، میشه حدود ۳۵ میلیارد تومن. خوب حالا هنوز می‌گین ۷ میلیارد تومن کل هزینه که در طول ۵-۶ سال شده زیاد بوده؟
سایتتون دوباره بالا اومد! توش چند تا سرچ فارسی و انگلیسی زدم.
سایتتون کاملاً مستقل از سرچ انجین ها و سرویس های دیگه عمل میکنه؟
بله، یوز موتور جستجوی مستقلی هست. ما خزشگر و ایندکس خودمون رو داریم. قابل ذکره که در حال حاضر توی ایران ۲ تا موتور جستجوی همه منظوره‌ی وب مستقل وجود دارن: پارسی‌جو و یوز.
به نظر نتایج فارسیش بد نیست! برای بازاریابیش چه برنامه ای دارید ؟ از نظر فنی چی؟
البته این که نتایج فارسیش بد نیست، نظر لطفتونه، دوستان که اینجا ما رو به طور کامل مورد عنایت قرار دادن...
برای پیشبرد فنی که خیییییییییییلی برنامه داریم، همین الان هم در حال اجراش هستیم. سیستم جدیدمون رو ان‌شاءالله همین یکی دو روزه زیر بار می‌ذاریم (البته این سیستم جدید مرتبط با زیرساخت موتور هست و داده‌های ایندکس شده، شاید به وضوح توی خروجی قابل مشاهده نباشه، ولی کمک میکنه که با سرعت بیشتری بتونیم کیفیت رتبه‌بندی نتایج رو بهبود بدیم).
برای بازاریابی هم برنامه‌هایی داریم، ان‌شاءالله یه سری مشکلاتمون حل بشه کار رو جلو می‌بریم (مثلاً همین مشکل قطع شدن اینترنت... چون خیلی ضایع هست که شما مثلاً تبلیغات بکنی، بعد به خاطر قطع شدن اینترنت توسط یه سری آدم ...، کل کارت بره زیر سؤال).
به فکر این هستید که سرویس رو روی یه دامنه دات کام و بین المللی هم بیارید بالا؟
در کل امیدوارم بتونید با بودجه دولتی ، با کار آموز دانشگاهی و نیروی کار ارزون و ... یک سیستم عالی بسازید ... ولی به فکر دات کام بودن سایتتون باشید ... یه ذره از اون بودجه رو بگیرید یه دامین خوب بخرید و سیستم رو بندازید روی اون. بخش های زیادی میشه به سایت اضافه کرد که در کوتاه مدت تر بتونن به سود دهی برسن. همینطور سیستم تبلیغات متنی و فروش کلمه کلیدی ! نمیدونم تو ایران شرکت های وارد کننده گوشی یا تولید کننده گوشی چطوری کار میکنن این روزا ، شاید بتونید یه خورده بودجه بازاریابی جور کنید و با هماهنگی اون شرکت ها به طور دیفالت اپتون رو روی گوشی های نو نصب کنید یا ... یا با روش های مالی و غیر مالی صاحبان سایت ها رو تشویق کنید که از سیستم شما به جای سرچ انجین های داخلی سایتشون یا حتی به طور تبلیغاتی استفاده کنن و از طریق سایت های اون ها بشه توی موتور شما سرچ کرد و ...
ممنون، اکثر مسائلی که مطرح می‌کنید توی برنامه‌مون هست. دامنه‌ی دات کام خودش مسئله‌ی مهمیه... به این راحتی نمی‌فروشنش! با «یه ذره از بودجه» نمیشه خریدش!
سیستم تبلیغات متنی و فروش کلمه کلیدی رو هم روش یه کارایی کردیم، ولی هنوز خیلی اولیه هستن.
در مورد صحبت با واردکننده‌ها و تولیدکننده‌های گوشی هم توی برنامه‌مون هست.
با بعضی سایت‌ها هم مذاکره کردیم که سرچ انجین داخلی رو بذارن یوز، بعضی موافق بودن، بعضی نه. بعضی هم باهاشون به توافق نرسیدیم.
در مجموع خیلی خوشحالم که این همه پیشنهاد سازنده دادید... ان‌شاءالله این مسائل رو جدی‌تر می‌گیریم (البته من توی تیم فنی هستم، خیلی نمی‌تونم این مسائل رو جدی بگیرم! چون خیلی کاری از دستم بر نمیاد!).
یک حدسی زدم و بر مبنای اون موتورتون رو تست کردم. حدسم درست بود، موتور شما یک سری از نتایج +18 رو کلاً نمیده ، این میتونه یک نقطه ضعف باشه و همچین قابلیتی باید قابل تنظیم باشه ...
همونطور که بارها گفتم، خزشگر ما مثل کاربرای معمولی هست، یعنی پشت فیلترینگ هست. بنابراین اصلاً سایت‌های فیلتر شده رو نمی‌بینه که بخواد خزش کنه که بخوایم ایندکس کنیم که بخوایم توی نتایج نشون بدیم!
نکته‌ی دوم اینه که حرفی که می‌زنید خیلی منطقی نیست! شما فرض کن ما یه جوری فیلترینگ رو پیچوندیم (پهنای باند بالایی لازم داریم، با روش‌های معمول دور زدن فیلترینگ کارمون راه نمی‌افته)، بعد بیایم سرویسی بدیم که توش نتایج ۱۸+ داشته باشه. مطمئن باش به ساعت نکشیده، یوز فیلتر میشه! بنابراین اصلاً ارائه‌ی چنین سرویسی متصور نیست که بخوایم در مورد چگونگیش صحبت کنیم!
نکته‌ی آخر هم خطاب به بعضی دوستان که فکر میکنن ما نتایج رو دستی فیلتر میکنیم! دوستان گرامی! یکی دو تا صفحه که نیست! یعنی نه تعداد کل صفحات ایندکس شده یکی دو تاس (بیش از ۵ میلیارد صفحه خزش شده)، و نه تعداد صفحاتی که شما فکر می‌کنید ما فیلتر کردیم یکی دو تاس! شما وقتی یه سرچ می‌زنید، سیستم میره توی میلیاردها صفحه، دهها یا صدها میلیون صفحه رو پیدا میکنه، رتبه‌بندی میکنه، و ۱۰ تای اول رو نمایش میده. همه‌ی این کارها هم در طول چند صد میلی‌ثانیه انجام میشه. اگه ما یه روز به چنین تکنولوژی‌ای برسیم که بتونیم سرچ‌ها رو به صورت دستی فیلتر کنیم، یا جهت‌دهی کنیم (مثلاً سیاسی)، اون موقع مطمئن باشید تکنولوژی‌مون از گوگل جلو زده!!! الگوریتم‌های رنکینگ رو که به این راحتی نمیشه بهشون دست زد. یه تغییر توش بدی، کل سیستم زیر و رو میشه...
