توهم در مدل های زبانی بزرگ به خروجی های در ظاهر صحیح اما در باطن برخلاف واقعیت یا عدم وفادار به منبع اطلاق می گردد. تشخیص توهم در مدل های زبانی بزرگ به جهت جلوگیری از انتشار این توهم ها در کاربردهایی که به طور مستقیم یا غیرمستقیم با مدل های زبانی بزرگ ارتباط دارند، اهمیت دارد. در این پژوهش از الگوریتم ساده ای جهت تشخیص متوهم بودن یک مدل زبانی بزرگ استفاده کرده ایم. فرضیه ما بر این اساس است که اگر مدل زبانی بزرگ به دگرنویسی های یک پرسش پاسخ دهد و در میان پاسخ های آن تناقضی کشف شود آن گاه گوییم دچار توهم شده است و اگر پاسخ ها سازگار باشند، به احتمال بالایی پاسخ درستی می دهد. این دو فرضیه را با آزمایش هایی بررسی و تأیید کرده ایم. به این ترتیب روش پیشنهادی ما برای کشف توهم در پاسخ به یک پرسش، ایجاد دگرنویسی های مختلف آن پرسش و بررسی وجود ناسازگاری یا تناقض در پاسخ های داده شده به پرسش های تولید شده است. وجود یا عدم ناسازگاری، وجود یا عدم توهم را تأیید می کند. آزمایشات نشان می دهند این روش با دقت بالایی قادر به کشف توهم در پاسخ به سؤالات است.

در حوزه پردازش زبان طبیعی (NLP)، ادغام مدل های زبانی بزرگ (LLMs) با تولید تقویت شده توسط بازیابی (RAG) نشان دهنده پیشرفت قابل توجهی در افزایش عمق و ارتباط پاسخ های تولیدشده توسط مدل است. این مقاله چهارچوب RAG ترکیبی نوآورانه ای را معرفی می کند که روش های Sentence-Window و Parent-Child را با مکانیزم بازرتبه بندی تلفیق می کند، با هدف بهینه سازی قابلیت های پاسخ گویی به پرسش ها توسط LLMها. با استفاده مؤثرتر از منابع دانش خارجی، روش پیشنهادی خروجی های LLM را با دقت، ارتباط و وفاداری اطلاعاتی بیشتری غنی سازی می کند. ما مدل ترکیبی خود را با استفاده از مجموعه داده ها و معیارهای مرجع مورد ارزیابی قرار می دهیم و عملکرد برتر آن را نسبت به تکنیک های RAG پیشرفته موجود نشان می دهیم. نتایج، توانایی بهبود یافته روش ما را در تولید پاسخ هایی که نه تنها مناسب با زمینه هستند، بلکه وفاداری بالایی به مواد منبع نیز نشان می دهند، برجسته می کند و بدین ترتیب یک استاندارد جدید برای بهبود پاسخ گویی در LLMها ایجاد می کند. مطالعه ما پتانسیل مدل های RAG ترکیبی را در پالایش تعامل بین LLMها و دانش خارجی مورد تأکید قرار می دهد و راه را برای تحقیقات آینده در زمینه NLP هموار می سازد.

در این مقاله، یک روش محاسباتی و تقریبی جدید برای مدل زبانی پیش بین ارائه شده است. مهمترین اثر مدل زبانی پیش بین هرس تیزتر فضای جستجو با تقریب زدن امتیاز مدل زبانی لغت تحت بازشناسی و استفاده هر چه سریع تر آن در پروسه دیکد می باشد. به هر حال مدل زبانی پیش بین دارای سربارهای محاسباتی و حافظه ای مخصوص خود است که با بزرگ شدن واژگان و بالاتر رفتن مرتبه مدل زبانی مورد استفاده، به شکل نامطلوبی افزایش می یابد و روند بازشناسی را تحت تاثیر قرار می دهد. روش ارائه شده برای به طور مشخص به این موضوع می پردازد و سعی دارد با استفاده از یک روش اشتراک گیری در بین داده های موجود در گره های درخت واژگان، علاوه بر فراهم کردن امکان استفاده از مدلهای زبانی ترایگرام در هرس مدل زبانی پیش بین، تعداد عملیات محاسبه احتمال مدل زبانی را نیز کاهش دهد به نحوی که در نهایت هم سرعت بازشناسی افزایش یابد و هم دقت بازشناسی بهبود یابد. در ا ین مقاله روش پیشنهادی بر روی واژگان فارسی و انگلیسی آزمایش شده است و در نهایت نشان داده شده است که با استفاده از این روش می توان سرعت و دقت بازشناسی را به شکل قابل توجهی بهبود داد.

بازشناسی متون، در سال های اخیر بسیار مورد توجه قرار گرفته است. در دهه های اخیر با توجه به کاربردهای گسترده مدل زبان، تحقیقات زیادی برای مدل سازی زبان های پرکاربرد جهانی و به خصوص زبان انگلیسی انجام شده است[1]. این مقاله تاثیر طبقه بندی واژه ای بر روی مدل های زبانی شبکه ای عصبی RNNLM را مورد بررسی قرار می دهد که اخیرا بسیاری از تکنیک های مدل سازی زبانی را معرفی کرده است. این به راحتی برای بهبود تشخیص گفتار موجود و سیستمهای ترجمه استفاده می شود. ما نگاه دقیق تری به این طبقه بندی انجام داده و دریافته ایم که طبقه بندی های پیشرفته می توانند با ترجمه مناسب عملکرد را نیز بهبود ببخشند. در این مقاله ما در مورد انتخاب پارامتر مطلوب و قابلیت های حالت های مختلف بحث می کنیم به خصوص استفاده از الگوریتم های قهوه ای را مورد بررسی قرار دادیم که روش کلاسیکی برای طبقه بندی است در آزمایشات استاندارد ما متوجه شدیم که 5 تا 7 درصد از پیچیدگی با استفاده از الگوریتم قهوه ای مسیر است.

در این مقاله طرح و پیاده سازی یک نمونه سیستم محاوره در زمینه اطلاع رسانی بانکی مورد توجه قرار گرفته، در همین راستا و برای توسعه واحد درک زبان گفتار، که با دریافت نتیجه بازشناسی گفتار، سعی در تشخیص منظور کاربر دارد، یک راه کار عملی مبتنی بر ترکیب مدل های زبانی ارائه شده است. این روش، ترکیبی از دو روش پایه است که برای درک زبان گفتار در یک بستر محاوره به کار گرفته شده و علاوه بر ارائه دقت و انعطاف بالا در درک گفتار، دارای اثرات مثبتی در بهبود خروجی بازشناسی گفتار پیوسته نیز می باشد. این مدل دارای یک ابر ساختار معنایی - نحوی سه جزئی و مبتنی بر گرامر مستقل از متن معنایی است، که جزء مرکزی آن می تواند دارای زیر ساختاری همانند خود می باشد، برای تکمیل این مدل از ترکیب آن با مدل آماری مبتنی بر n-gram بهره گرفته شده است و دقت نهایی این روش در تشخیص هدف برابر 96.8 درصد تخمین زده شده است.