مفهوم آنتروپی ، در مقاله ای که در سال 1948 توسط شانون مطرح شد . در این مقاله شانون در رابطه با موضوع کد گذاری نظریه ای مطرح کرده بود که بعدها در فیزیک و به خصوص ترمودینامیک کاربردهایی برای آن مطرح کرد . نظریه آنتروپی مورد توجه دانشمندان واقع شد . آنتروپی یک مفهوم علمی و یک ویژگی فیزیکی قابل اندازه گیری است .
آنتروپی معمولاً با حالت بی نظمی ، تصادفی یا عدم قطعیت همراه است . انتروپی شاخصی برای اندازه‌گیری میزان پخش و انتشار انرژی است . آنتروپی ، اندازه گیری انرژی حرارتی یک سیستم در واحد دمایی است که برای انجام کار مفید در دسترس نیست . از آنجایی که کار از حرکت مولکولی منظم بدست می آید ، مقدار آنتروپی نیز معیاری برای بی نظمی مولکولی یا تصادفی بودن یک سیستم است .
بیشینه آنتروپی یک توزیع چقدر است؟
می‌دانیم که آنتروپی بر اساس فرمول زیر محاسبه می‌شود:
که در آن مشاهده Xi ام و (Xi) P احتمال آن رخداد است. از آن‌جا که آنتروپی زمانی بیشینه می‌شود که ما کم‌ترین اطلاعات را داشته باشیم؛ توزیعی بالاترین آنتروپی را دارد که یکنواخت باشد. در چنین حالتی احتمال هر رخداد برابر با 1/n است. حال آنتروپی این توزیع را محاسبه می‌کنیم:
بنابراین همواره آنتروپی یک توزیع در حالت بیشینه برابر با لگاریتم تعداد مشاهدات است.
منبع :
زارع نژاد، م.، و ابراهیم زاده، ا. (1398). آنتروپی تیسالیس و آنتروپی تیسالیس شرطی افرازهای فازی. پژوهش های نوین در ریاضی (علوم پایه دانشگاه آزاد اسلامی), 5(19 ), 5-18. https://www.sid.ir/fa/journal/ViewPaper.aspx?id=486106
مکرم، رضا،1390،آنتروپی چیست؟،همایش منطقه ای پژوهشهای نوین در ریاضی،گرگان.