ما نرخ آنتروپی یک فرایند مارکوفی پنهان را مورد بررسی قرار می دهیم که از مشاهده های خروجی یک کانال تصادفی متقارن، با ورودی زنجیر مارکوفی مرتبه اول، تولید شده است. هرچند این تعریف بسیار ساده است ولی هنوز به دست آوردن مقدار دقیق نرخ آنتروپی مساله ای باز است. ما با توجه به پارامترهای زنجیر مارکوفی و کانال، ماتریس هایی تصادفی معرفی می کنیم. سپس تقریبی برای نرخ آنتروپی زنجیرهای مارکوفی پنهان، توسط جبر ماتریس ها و نمایش طیفی آن ها، به دست می آوریم. بدین منظور بسط تیلور را به کار می گیریم و به ترتیب برای نرخ آنتروپی یک فرایند مارکوفی پنهان و یک فرایند مارکوفی پنهان دودویی، تقریبی را با توجه به جمله های اول و دوم بسط محاسبه می کنیم. هنگامی که نرخ آنتروپی توسط جمله اول بسط تیلور محاسبه شود، برای є (پارامتر کانال) کوچک، ماکسیمم خطا O(e2) است و اگر جمله دوم نیز مورد استفاده قرار گیرد، ماکسیمم خطا O(e3) خواهد بود.