آنتروپی

هر سيگنال شامل دو قسمت است.
Entropy
Redundancy
Entropy : قسمت غير قابل پيش بيني سيگنال – تصادفي – غير منظم- قسمت اصلي اطلاعات
Redundancy: قسمت قابل پيش بيني – منظم – قسمت زايد اطلاعات.
در داده های متغییر مانند سیگنال که دارای تغییرات زیادی است، از این داده ها می توان اطلاعات مفید و ارزشمند را استخراج کرد این اطلاعات مفید آنتروپی می باشند که بی نظم و کاملا تصادفی هستند .[53] در یک داده متغییر، فرض کنید که متغییر تصادفی X حالت های سیستم را بیان می کند. مقدار های متغییر X به صورت زیر هستند.
X= {x_1,x_2,…,x_n } (N> 0) (4-5)
و احتمال هریک برابر است با :
P= {p_1,p_2,…,p_n } 0 <= p_1<= 1, i=1, 2 …n (5-5)
که باید داشته باشیم:
(6-5) ∑_(i=1)^n▒〖p_i=1〗
بنابر این اطلاعات آنتروپی از این سیستم به وسیله فرمول زیر بدست می آید:
H = – ∑_(i=1)^n▒p_i lnp_i (7-5)
یکی از این آنتروپی های مهم، آنتروپي طیف است.آنتروپي طيف، برآوردي از ميزان پيچيدگي سري زماني را ارائه مي كند. تبديلات مختلفي براي به‌دست آوردن طيف سيگنال وجود دارد. یکی از روش ها تبدیل فوریه است كه در آن چگالي طيف سيگنال به‌دست مي آيد.‌ ‌این تبدیل توزيع چگالی طیف را به صورت تابعي از فرکانس سیگنال بيان مي كند. ما در این پایان نامه از تبدیل والش برای بدست آوردن یک نوع ویژگی جدید به نام آنتروپی توالی استفاده می کنیم. این آنتروپی برآوردی از میزان تغییرات سیگنال است.