موتورهای جستجو را می توان بهترین ابزار کارآمد برای مدیریت، بازیابی و استخراج اطلاعات مهم از مجموعه عظیم داده های وب معرفی کرد. این موتورها پهنه وسیع وب را به طور زمان بندی شده پیمایش می کنند و به جمع آوری صفحات بی شمار ذخیره شده در گوشه کنار وب می پردازند. ارائه دهندگان موتورهای جستجو همواره به دنبال بهبود ارتباط نتایج و کاهش زمان پاسخ به کاربران هستند، اما هر دو این موارد می تواند تحت تاثیر ترافیک خودکار ارسال شده از سوی ربات ها قرار گیرد. در این مقاله ابتدا به تعریف ربات ها و چالش تشخیص آنها پرداخته شده است. سپس، روشی با نام بوف برای تشخیص ربات های جستجو ارائه شده است. در روش بوف برای دستیابی به دقتی بالا در تشخیص ربات های ناهنجار، از پارامترهای مختلف و نسبتا زیادی برای مدل کردن رفتار کاربران استفاده شده است. پس از تعیین اولویت پارامترها در تشخیص ماهیت کاربران، درخت تصمیمی ساخته شده و اقدام به دسته بندی کاربران در گروه های انسان، ربات مخرب، ربات مجاز و نامشخص می کند. ربات های تشخیص داده شده در درخت تصمیم، بخش دیگری از سامانه تشخیص ربات را فعال می کند که قادر است با توجه به الگوی رفتاری شبکه های رباتی، حتی ربات هایی با نرخ درخواست پایین را نیز شناسایی کند. ارزیابی روش پیشنهادی بر روی دادهای آزمون، صحت 97.7 درصدی را در تشخیص ماهیت کاربران نشان می دهد که حداقل بهبود دقت 9.9 درصدی را نسبت به روش های بررسی شده در این حوزه نشان می دهد. رقم قابل توجهی که در هر روز تصمیم گیری در مورد 2230 کاربر را تحت تاثیر قرار می دهد.

تحلیل محتوای اخبار منتشرشده، یکی از مسایل مهم در حوزه بازیابی اطلاعات است. امروزه تحقیقات زیادی برای تحلیل تک تک مقالات خبری انجام شده است، در حالی که اکثر رویدادهای خبری به شکل چندین مقاله مرتبط به هم به طور مکرر در رسانه ها منتشر می شوند. تشخیص رویداد، وظیفه کشف و گروه بندی اسنادی را دارد که رویدادی یکسان را شرح می دهد و با ارائه یک ساختار قابل درک از گزارش های خبری، هدایت بهتر کاربران در فضاهای خبری را تسهیل می کند. با رشد سریع و روزافزون اخبار برخط، نیاز به ایجاد موتورهای جستجو برای بازیابی رویدادهای خبری به منظور تسهیل جستجوی کاربران در این فضاهای خبری بیش از پیش احساس می شود. فرض اصلی تشخیص رویداد بر این است که به احتمال زیاد کلمات مرتبط به یک رویداد یکسان در دنیای واقعی، در اسناد و پنجره های زمانی مشابه ظاهر می شوند. بر همین اساس ما در این تحقیق روشی گذشته نگر و ویژگی محور پیشنهاد می کنیم که کلمات را بر اساس ویژگی های معنایی و زمانی گروه بندی می کند. سپس از این کلمات برای تولید یک بازه زمانی و توصیف متنی قابل درک برای انسان استفاده می کنیم. ارائه یک معماری مناسب و استفاده مؤثر از خوشه بندی جهت بازیابی رویدادها و همچنین تشخیص مناسب زمان رویداد، از نوآوری های این پژوهش به شمار می روند. روش پیشنهادی روی مجموعه داده AllTheNews که تقریباً شامل دویست هزار مقاله از 15 منبع خبری در سال 2016 می باشد ارزیابی شده و با روش های دیگر مقایسه گردیده است. ارزیابی ها نشان می دهد که روش پیشنهادی در دو معیار دقت و یادآوری نسبت به روش های پیشین عملکرد بهتری دارد.

در پژوهش حاضر، مجموعه ای برابر با 64 فراموتور جستجو شناسایی، و در نهایت 19 فراموتوری که رایگان، قابل دسترس، و سازگار با اهداف پژوهش بودند به عنوان جامعه پژوهش انتخاب شدند. برای جمع آوری اطلاعات، یک سیاهه وارسی محقق ساخته مورد استفاده قرار گرفت. بر مبنای نتایج به دستامده از پژوهش، مشخص شد که کلیه 19 فراموتور مورد بررسی از عملگر (AND) و، جستجوی عبارتی، تنظیم تعداد نتایج در هر صفحه، حفظ سوال جستجوشده، و راهنمای کمکی برخوردارند؛ اما امکانات جستجوی کلمات فرامتنی در سایت ها و نمایش حجم صفحات جستجوشده در هیچ فراموتوری مشاهده نشد. همچنین امکاناتی از قبیل کوتاه سازی، جستجوی کلیدواژه ها در عنوان و آدرس سایت، و نیز نمایش مختصری از متن، در حد بالایی (در 18 فراموتور جستجو) پشتیبانی می شود. سیاهه وارسی به کاررفته در این پژوهش می تواند به منزله یک مدل در جهت مطالعه امکانات جستجو در موتورهای جستجو، کتابخانه های دیجیتال، و دیگر ابزارهای جستجو در اینترنت، توسط دیگر محققین به کار برده شود.

یکی از بزرگ ترین مشکلات پیش روی موتورهای جستجو، رفع ابهاماتی است که در جستار کاربران وجود دارد. این ابهامات می تواند دلایل متعددی داشته باشد که از جمله آنها تعدد معانی و مفاهیم مرتبط با یک جستار یا کاربردهای مختلف آن جستار است. اگر موتور جستجو نتواند این ابهام را به شکل صحیح برطرف کند، در ارائه نتایج خود به کاربر دچار اختلال و خطا خواهد شد و نیاز کاربر را برطرف نخواهد کرد. این موضوع نقش مهمی در تعیین میزان کارایی موتور جستجو خواهد داشت. در این مقاله هدف آن است تا با جمع آوری اطلاعات زمینه کاربر در طول زمان، به تفسیر جستار کاربر کمک کرده و درنتیجه آن رتبه بندی نتایج موتور جستجو را بهبود بخشیم. زمینه کاربر به هر اطلاعاتی گفته می شود که به شناخت ویژگی ها و خصوصیات کاربر کمک کند. در این مقاله متن صفحات وبی که کاربر از آن ها بازدید می کند، مورد پردازش قرار می گیرند تا مفاهیم اصلی و کلیدی آن ها استخراج شود. استخراج این مفاهیم (زمینه کاربر) که در سمت کاربر و بر روی سیستم وی اتفاق خواهد افتاد، با افزونه ای خواهد بود که به همین منظور تولید و بر روی مرورگر نصب می شود؛ سپس زمینه کاربر، در ساختاری خاص در سمت کاربر و برای هر کاربر به صورت خصوصی نگهداری می شوند. هنگامی که جستجویی انجام می شود (با توجه به خلاصه ای که موتور جستجو در ازای معرفی هر پیوند ارائه می دهد)، میزان شباهت نتایج موتور جستجو با زمینه کاربر مورد محاسبه قرار گرفته و به ازای هر نتیجه میزان شباهت آن با زمینه کاربر محاسبه می شود؛ سپس آن نتایجی به کاربر پیشنهاد می شوند (در مرورگر پررنگ می شوند) که با زمینه وی تطبیق بیشتری داشته باشند. همان طور که از نتایج آزمایش های پایان مقاله مشهود است، استفاده از زمینه کاربر در رتبه بندی نتایج موتور جستجو تاثیر قابل توجهی دارد. بررسی ها نشان می دهد که در ارائه 10 نتیجه اول مربوط به 30 جستار دارای ابهام، به طور میانگین روش پیشنهادی 43% و موتور جستجوی گوگل 16% از نتایج خود را مرتبط با مفهوم اصلی جستار مورد نظر ارائه کرده اند.

امروزه با افزایش چشمگیر استفاده از اینترنت و همچنین رشد بسیار فزاینده صفحات وب، استفاده از موتورهای جستجو اهمیت بیشتری پیدا کرده است. در نتیجه بعضی از افراد برای بدست آوردن مخاطب بیشتر و افزایش سود ناشی از آن تلاش می کنند موتورهای جستجو را گمراه کنند و رتبه صفحات مورد نظر خود را با روش های نامشروع بالا ببرند. شناسایی این صفحات می تواند نقشی اساسی در بهبود عملکرد موتورهای جستجو و بالا بردن اطمینان کاربران به آنها گردد. نظر به اهمیت کشف صفحات وب فریب آمیز، در این مقاله روشی جدید بر مبنای اطلاعات پیوندها جهت شناسایی صفحات فریب آمیز در گراف وب فارسی ارائه می گردد. در این روش با بهره گیری از اطلاعات پیوندها، ابتدا توده های فریب آمیز شناسایی می شود و سپس امتیاز منفی آنها در کل گراف انتشار می یابد. برای بررسی صحت عملکرد الگوریتم ارائه شده، این روش بر روی داده های موتور جستجوی فارسی پارسی جو پیاده سازی شده است و نتایج ارزیابی های صورت گرفته بهبودی برابر با %21.2 را در فاکتور دقت نشان می دهد.