Хичээлийн сэдэв

Сэдэв: #13. Инженерчлэл дэх хэрэглээ: Харилцан мэдээлэл, энтропи хэлхэх дүрэм

Зорилго

Харилцаа холбооны систем дэх санамсаргүй хувьсагчдын хамаарал, тэдгээрийн мэдээллийн агуулгыг тодорхойлогч харилцан мэдээлэл, нөхцөлт ба хамтын энтропийн ойлголтыг гүнзгий судалж, олон хувьсагчийн хувьд энтропи болон харилцан мэдээллийг хэлхэн задлах дүрмийг сурч, мөн өгөгдөл боловсруулалт дахь мэдээллийн алдагдал ба хүрэлцээтэй статистикийн талаар ойлголттой боно.

Зорилтууд

  1. Санамсаргүй хувьсагчдын харилцан мэдээлэл, нөхцөлт ба хамтын энтропи, мөн хоёр тархалтын ялгааг илэрхийлэх Кульбак-Лейблерийн зайн (харьцангуй энтропи) үндсэн чанар, тэдгээрийн харилцан уялдааг авч үзэх.
  2. Олон хэмжээст санамсаргүй векторын хувьд энтропи, харилцан мэдээлэл болон харьцангуй энтропийг задлах хэлхэх дүрмийг судлах.
  3. Нөхцөлт ба нөхцөлт бус энтропийн харьцаа, максимал энтропийн нөхцөл, өгөгдөл боловсруулалтын тэнцэл биш болон хүрэлцээтэй статистикийн мэдээллийн онолын үндэслэлийг үзэх.

Товч агуулга

Нөхцөлт энтропи, харилцан мэдээлэл, Кульбак-Лейблерийн зай, энтропи хэлхэх дүрэм, максимал энтропи, өгөгдөл боловсруулалтын тэнцэл биш, хүрэлцээтэй статистик

Дэд сэдвүүд

  1. Харилцан мэдээлэл: Холбооны систем дэх санамсаргүй хувьсагчдын хамаарал, нөхцөлт энтропи, харилцан мэдээлэл, Кульбак-Лейблерийн зай (харьцангуй энтропи), харилцан мэдээллийн үндсэн ба бусад чанарууд, хамтын энтропи болон тэдгээрийн уялдаа холбоо.
  2. Энтропи хэлхэх дүрэм: Нөхцөлт хамтын энтропи, олон хувьсагчийн энтропийн хэлхэх дүрэм, харилцан мэдээлэл дээрх хэлхэх дүрэм, харьцангуй энтропи дээрх хэлхэх дүрэм.
  3. Энтропи ба харилцан мэдээлэл дээрх зарим тэнцэл биш: Нөхцөлт ба нөхцөлт бус энтропи хоорондын харьцаа, хувьсагчдын хамтын энтропийн зааг, максимал энтропи ба жигд тархалт, өгөгдөл боловсруулалтын тэнцэл биш (Марковын хэлхээ), хүрэлцээтэй статистик.

Суралцахуйн үр дүн

Мэдлэг

  1. Харилцан мэдээлэл, нөхцөлт энтропи, хамтын энтропи болон харьцангуй энтропийн (Кульбак-Лейблерийн зай) ухагдахуун, тэдгээрийн шинж чанаруудыг мэдэж авна.
  2. Олон хувьсагчийн систем дэх энтропийн хэлхэх дүрэм болон Марковын хэлхээний дагуу өгөгдөл боловсруулах үйл явцад анхны мэдээллийн хэмжээ нэмэгддэггүй зарчмыг (өгөгдөл боловсруулалтын тэнцэл биш) мэддэг болно.

Чадвар

  1. Санамсаргүй хувьсагчдын мэдээллийн хамаарлыг үнэлж, олон хувьсагчтай системийн энтропи ба харилцан мэдээллийг хэлхэх дүрмийн дагуу задлан дүн шинжилгээ хийж чаддаг болно.
  2. Нөхцөлт тодорхойгүй байдлын багасалтыг тайлбарлах, максимал энтропийн тохиолдлыг тодорхойлох болон түүвэр өгөгдлөөс мэдээлэл гээгдээгүйг илтгэх хүрэлцээтэй статистикийн шинж чанарыг шалгах чадвартай болно.

Хандлага

  1. Холбооны систем болон өгөгдөл боловсруулалтын бодит асуудлуудад мэдээллийн онолын зарчимд тулгуурлан системтэй, логик дараалалтай, аналитик байдлаар хандах хандлага төлөвшинө.
  2. Өгөгдлийг хэрхэн хувиргаснаас үл хамааран анхдагч мэдээллээс илүү их мэдээлэл гаргаж авч чадахгүйг ухамсарлаж, өгөгдөл цуглуулах болон боловсруулах үйл явцад шинжлэх ухаанчаар, нямбай ханддаг болно.
Хариу

Дараах асуултуудад 11 сарын 24 07:40 — 12 сарын 15 07:40 хугацаанд хариулна.

Баталгаажуулах код авах

  1. Хүлээн авах дохиог яаж ч хувиргах буюу боловсруулахад анхдагч өгөгдлийн талаар илүү их мэдээлэл гарган авч чадахгүй.


  2. Төгсгөлөг утга авдаг дискрет санамсаргүй хувьсагчийг синус, косинус зэрэг тригонометрийн функцээр хувиргавал энтропи нь хэрхэх вэ?


  3. Санамсаргүй хувьсагчдын хамтын энтропи нь ...


  4. Аль нь хамгийн их энтропитой вэ?


  5. Хоёр санамсаргүй хувьсагчийн энтропи тэнцүү байг. Тэгвэл ...


  6. Хоёр санамсаргүй хувьсагч хамааралгүй бол харилцан мэдээлэл нь тэгтэй тэнцэнэ.


  7. $H(X|Y=y)$ нөхцөлт энтропи ба $H(X)$ нөхцөлт бус энтропи хоёрыг жиш.


  8. Аль нь хамгийн бага энтропитой вэ?


  9. Төгсгөлөг утга авдаг дискрет санамсаргүй хувьсагчийг нэгээс эрс их суурьтай илтгэгч функцээр хувиргавал энтропи нь хэрхэх вэ?

Бүх асуултад зөв хариулах бөгөөд буруу бол ахин оролдоно.
Хариулах оролдлого бүрийг бүртгэж хадгална.