نمایش مبدأ برای نظریه اطلاعات

{{نظریه اطلاعات}}
'''نظریه اطلاعات'''<ref>{{یادکرد فرهنگستان|مصوب=نظریهٔ اطلاعات|بیگانه=information theory|بیگانه در فارسی=|حوزه=علوم کتابداری و اطلاع‌رسانی|دفتر=ششم|بخش=فارسی|سرواژه=نظریهٔ اطلاعات}}</ref> (انگلیسی: Information theory)، به مقداردهی (Quantification)، ذخیره و [[انتقال اطلاعات]] می‌پردازد. این نظریه، [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در پردازش و انتقال [[اطلاعات]] (داده‌ها) به‌دست می‌دهد. تمرکز این نظریه بر محدودیت‌های بنیادین ارسال و [[پردازش اطلاعات]] است، و کمتر به چگونگی عملکرد و پیاده‌سازی روش‌های انتقال و پردازش اطلاعات می‌پردازد. پیدایش این نظریه در پی کارهای [[کلاود شانون|کلود شانون]] در ۱۹۴۸ بوده‌ است.

نظریه اطلاعات مورد استفاده خاص مهندسان [[مخابرات]] است؛ هرچند برخی از مفاهیم آن در رشته‌های دیگری مانند [[روان‌شناسی]]، [[زبان‌شناسی]]، [[کتابداری و اطلاع‌رسانی|کتاب‌داری و اطلاع‌رسانی]] و [[اطلاعات و دانش‌شناسی|علومِ شناختی]] (Cognitive Sciences) نیز استفاده می‌شود.<ref name="Britanica">«information theory," Encyclopædia Britannica</ref>

مفهوم اطلاعات که شانون پیش نهاد، از دیدگاه آمار و احتمال بوده و لزوماً با مفهوم رایج اطلاعات به معنی دانش یا دیگر استفاده‌های روزمره از آن در زبان محاوره‌ مانند بازیابی اطلاعات، تحلیل اطلاعات، چهارراه اطلاعات و ... یکی نیست. اگر چه نظریه اطلاعات بر رشته‌های دیگر مانند روان‌شناسی و فلسفه اثر گذاشته، اثرش به علت مشکل تبدیل مفهوم آماری اطلاعات به مفهوم معنایی دانش و محتوا، بیشتر القای احساسی مفهوم اطلاعات بوده‌ است.<ref name="SAYRE, KENNETH M. 1998">SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>

== تاریخچه ==
اختراع تلگراف و پس از آن تلفن، توجه به مفهوم اطلاعات و انتقال آن را افزایش داد. در ۱۸۴۴، [[ساموئل مورس]] خط تلگرافی میان [[واشینگتن، دی.سی.|واشینگتن]] و [[بالتیمور]] در آمریکا برپا کرد. مورس در ارسال اطلاعات به مشکلات الکتریکی عملی برخورد. او دریافت که خطوط انتقالی که زیرِ زمین کشیده شده‌اند مشکلات بیشتری از [[خط انتقال هوایی|خطوط انتقال هوایی]] (روی تیر) دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. پس از اختراع تلفن از سوی [[الکساندر گراهام بل]] در ۱۸۷۵ و گسترش آن، برخی به بررسی مشکلات انتقال اطلاعات پرداختند. بیشتر این تحقیقات از [[تبدیل فوریه]] استفاده می‌گرد، اما تمرکز آن‌ها بیشتر روی جنبه عملی و مهندسی موضوع بود.<ref name="Britanica"/>

نخستین بار در ۱۹۲۴، [[هری نایکوئیست]] در مقاله‌اش، «عوامل خاصی که بر سرعت تلگراف اثر می‌گذارند»، به نظریه اطلاعات پرداخت. او به بیشترین نرخ ارسال اطلاعات پی برد و فرمولی برای محاسبه آن پیش نهاد. کار مهم دیگر در آن زمان، مقاله «انتقال اطلاعات» در ۱۹۲۸ از سوی هارتلی بود که نخستین پایه‌های ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica"/>[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]
پیدایش واقعی نظریه اطلاعات را می‌توان به مقاله «نظریه ریاضی مخابرات» از [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون این بود که بررسی سیگنال‌های مخابراتی را باید از بررسی اطلاعاتی که دربردارند جدا کرد، در حالی که پیش از او چنین نبود. شانون همچنین به این توجه کرد که طول یک سیگنال همیشه متناسب با اطلاعات آن نیست. مثلاً نقل شده‌ است که [[ویکتور هوگو]] در نامه‌ای به ناشرش، فقط «؟» نوشته بود، و در پاسخ نامه‌ای دریافت کرد که فقط «!» در آن بود. این دو نماد برای هر دو طرف معنی داشتند، هرچند از دید ناظری که معنی آن‌ها را نمی‌دانست، مبهم بودند. مثال دیگر، جمله‌ای طولانی است که به [[زبان فارسی]] نوشته شده‌ است، ولی برای انگلیسی‌زبانی که فارسی نمی‌داند مفهومی ندارد. بدین‌سان شانون پیشنهاد کرد که مسئله ارسال سیگنال را از ارسال اطلاعات آن جدا کرده، و برای دومی مدلی ریاضی پیش نهاد.<ref name="Britanica"/>

شانون در آن زمان در [[آزمایشگاه‌های بل]] کار می‌کرد و در تلاش برای طراحی خطوط تلفن با ضریب اطمینان بالا بود. پیش از شانون، عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و بیشترین تعداد مکالمات تلفنی که می‌توان روی خطوط تلفن منتقل کرد، نامشخص بود. شانون پس از تعریف ریاضی [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به آن نسبت داد که بیان‌گر بیشترین اندازۀ اطلاعاتی است که می‌توان روی کانال مخابره کرد. فرمول ظرفیت کانال شانون نه تنها برای کانال‌های بی[[نویز]]، بلکه برای کانال‌های نویزدار هم قابل استفاده بود. او فرمولی پیش نهاد که اثر [[پهنای باند کانال]]، و نسبت توان سیگنال به توان نویز ([[نسبت سیگنال به نویز]]) را در ظرفیت کانال نشان می‌داد.<ref name="Britanica"/>

== مفهوم اطلاعات و راه‌های اندازه‌گیری آن ==
مفهوم اطلاعات که شانون پیش نهاد، از دید آمار و احتمال بوده و با مفاهیم روزمره اطلاعات مانند دانش یا استفاده‌های روزمره از آن در [[زبان طبیعی]] مانند بازیابی اطلاعات، تحلیل اطلاعات، چهارراه اطلاعات و ... تفاوت دارد. اگر چه نظریه اطلاعات بر رشته‌های دیگر مانند روان‌شناسی و فلسفه هم اثر گذاشته، اثرش به دلیل مشکل تبدیل مفهوم آماری اطلاعات به مفهوم معنایی دانش و محتوا، بیشتر القای احساسی اطلاعات بوده‌ است.<ref name="SAYRE, KENNETH M. 1998"/>

آمار و احتمال، نقش اساسی در پیدایش و بالندگی نظریه اطلاعات داشته‌است.

== قضایای شانون ==
شانون در کارهایش، ارسال اطلاعات در یک [[کانال مخابراتی]] را پایه‌ای بررسی کرد و برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات مدل ریاضی پیش نهاد. او ارسال اطلاعات از فرستنده (منبع) به گیرنده (مقصد) را به کمک احتمالات بررسی کرد. دو نتیجهٔ مهم، معروف به [[قضیه |قضیه‌]]های شانون، این‌ها هستند:
* کم‌ترین نرخ [[فشرده‌سازی داده‌ها|فشرده‌کردن اطلاعات]] یک منبع تصادفی، برابر با [[آنتروپی اطلاعات|آنتروپی]] آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی یک منبع اطلاعات را با نرخی کمتر از آنتروپی آن منبع ارسال کرد.
* بیش‌ترین نرخ ارسال اطلاعات روی یک کانال مخابراتی، طوری‌که در مقصد بتوان اطلاعات را با [[نرخ خطای بیت|احتمال خطای]] در حد قابل قبول کم بازیافت، ثابت و وابسته به مشخصات کانال است و [[ظرفیت کانال]] نام دارد. ارسال اطلاعات با نرخی بیشتر از ظرفیت کانال، به خطا می‌انجامد.

این دو، به ترتیب به [[کدگذاری منبع|کُدینگ منبع]] (source coding) و [[کدگذاری کانال|کدینگ کانال]] (channel coding) می‌انجامند. از موضوعات مرتبط با کدینگ کانال، می‌توان به [[نظریه کدینگ جبری کانال]] (Algebraic coding theory) اشاره کرد.

بخش مهم دیگر کار شانون به امنیت انتقال اطلاعات (information security) می‌پردازد که ربط مستقیمی به دو نتیجه بالا ندارد و مبنای نظری [[رمزنگاری]] (cryptography) نوین است. 

اطمینان انتقال اطلاعات (information reliability) که با دو قضیه بالا توصیف می‌شود را نباید با امنیت انتقال اطلاعات (information security) یکی دانست؛ هدف این دو کاملاً متفاوت است.

== کمیت‌های مربوط به اطلاعات ==
نظریه اطلاعات بر پایه [[نظریه احتمالات|نظریهٔ احتمالات]] و [[فرایند تصادفی|فرایندهای اتفاقی]] (Probability Theory and Stochastic Processes) شکل گرفته‌است. مهم‌ترین کمیت‌های مربوط به اطلاعات عبارتند از
* [[آنتروپی اطلاعات|آنتروپی]]، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است.
* [[اطلاعات متقابل]]، که مقدار اطلاعات مشترک دو [[متغیر تصادفی]] است.

آنتروپی نشان می‌دهد که اطلاعات خروجی یک منبع اطلاعات تا چه اندازه می‌تواند [[فشرده‌سازی داده‌ها|فشرده]] شود؛ در حالی که اطلاعات متقابل، نرخ انتقال اطلاعات در یک [[کانال مخابراتی]] را تعیین می‌کند.

رایج‌ترین واحد اطلاعات، بیت است که بر مبنای [[لگاریتم دودویی]] (باینری) است. دیگر واحدها شامل نَت (بر اساس [[لگاریتم طبیعی]]) و هارتلی (بر اساس لگاریتم معمولی) هستند. انتخاب مبنای لگاریتم، واحد آنتروپی اطلاعات را مشخص می‌کند.

در عبارت <math>p \log p</math>، زمانی که <math>p=0</math> است، عبارت هم برابر صفر در نظر گرفته می‌شود، زیرا <math>\lim_{p \rightarrow 0+} p \log p = 0</math>

== آنتروپی ==
[[پرونده:Binary entropy plot.svg|بندانگشتی|چپ|200 px|آنتروپی متغیر تصادفی برنولی به صورت تابعی از احتمال موفقیت، اغلب به نام تابع باینری آنتروپی نامیده می‌شود. <math>H_\mbox{b}(p)</math>.

آنتروپی در <math>p = 0.5</math> بیشینه است، <math>H(p=0.5) = 1</math>.

]]
[[آنتروپی اطلاعات|آنتروپی]] یک متغیر تصادفی، با اندازه‌گیری احتمالات آن متغیر تصادفی به‌دست می‌آید. مفهوم آنتروپی در طول دهه‌های گذشته دستخوش تغییرات شده و به کاربردهای مهمی در دیگر شاخه های علوم از جمله [[فشرده‌سازی داده‌ها]]، [[علوم اعصاب]] ، [[مهندسی مخابرات]] و [[کدگذاری کانال]] انجامیده است.

== جستارهای وابسته ==
* [[اطلاعات]]
* [[فلسفه اطلاعات]]

== پانویس ==
{{پانویس|۲|چپ‌چین=بله}}

== منابع ==
* [http://plato.stanford.edu/entries/information-semantic/#1 مفاهیم معنائی اطّلاعات] [[دائرةالمعارف فلسفه استانفورد|دائرةالمعارف فلسفهٔ استانفورد]] {{نشان زبان | en}}
{{چپ‌چین}}
Earl Morrogh, Information Architecture, An Emerging 21st Century Profession, Pearson Education, Inc. , 2003.
ISBN 0-13-096746-7
{{پایان چپ‌چین}}
== پیوند به بیرون ==
* [http://www.essrl.wustl.edu/~jao/itrg/shannon.pdf نظریه‌ای ریاضی برای مخابرات] {{Webarchive|url=https://web.archive.org/web/20171215090433/http://www.essrl.wustl.edu/~jao/itrg/shannon.pdf |date=15 دسامبر 2017}} مقاله ۱۹۴۸ [[کلاود شانون]] که سرآغاز نظریه اطلاعات به‌شمار می‌رود
* [https://web.archive.org/web/20060718000332/http://www.lucent.com/minds/infotheory/ نظریه اطّلاعات از آزمایشگاه‌های بل]

{{شاخه‌های اصلی ریاضیات}}
{{روش‌های فشرده‌سازی}}
{{علوم رایانه}}
{{سایبرنتیک}}
{{موضوعات سامانه‌های پیچیده}}
{{ریاضیات صنعتی و کاربردی}}
{{داده‌های کتابخانه‌ای}}

[[رده:نظریه اطلاعات|نظریه اطلاعات]]
[[رده:ارتباطات]]
[[رده:ساختارهای ریاضیاتی]]
[[رده:سیبرنتیک]]
[[رده:عصر اطلاعات]]
[[رده:علوم رایانه]]
[[رده:علوم صوری]]
[[رده:کلود شانون]]
[[رده:فشرده‌سازی داده‌ها]]
[[رده:معرفی‌شده‌های مرتبط با رایانه در ۱۹۴۸ (میلادی)]]
[[رده:تاریخ منطق]]
[[رده:تاریخ ریاضیات]]