検索 検索トップページ トップページ担当別50音一覧 担当別50音一覧

情報理論

科目
情報理論
区分
メディアネットワーク学科科目群
授業コード
1485414866
開設セメスター
5S
曜日・時限
春 月/56春 月/78
単位数
2単位
担当者名
小林 由紀男
授業の概要
「情報」とはなにか,「曖昧さ」とは何か,「不確定さ」とは何かなどを考える.その「情報の量」,「曖昧さや不確定さの程度」,の定義から始めて,情報理論の根幹であるエントロピー,情報源,通信路などの基本的な概念について学習する.確率論の基礎を復習し,各種「情報量」の意味を考える.最近のデータ通信技術で注目されている通信の安全性を保証する暗号化法,通信効率を向上させるデータ圧縮符号(情報源符号化),通信品質向上のための誤り制御符号(通信路符号化)についての理解を深め,応用技術をマスターする.
到達目標
確率と確率過程の基礎知識に基づいて情報の量とは何かを十分に理解し,通信路のモデルとその性質はどのように定量化されているかが理解できていること.データを正確に・早く・安全に伝送できる応用技術についても理解していること.教科書・参考書・資料・ノートを参考にすれば,確率の基礎知識に基づく各種情報量の80%程度を実際の問題に適用できる程度までの力をつけていることを望みます.
授業計画
テーマ
内容
授業を受けるにあたって
第1回目
情報量 授業の概要説明.情報,現象の不確定さ・曖昧さ,情報の量シラバスの確認.教科書1.1~1.6
第2回目
情報源のモデルと確率・統計 確率変数,結合確率,条件付き確率今週の資料,教科書2.1~2.3
第3回目
情報源の状態とマルコフ過程 条件付き確率,マルコフ過程今週の資料,教科書2.4~2.6
第4回目
情報源の極限分布 情報の量とエントロピー,情報源モデル
【小テスト】
今週の資料,教科書3.1~3.4
小テスト範囲:授業第1回~第3回
第5回目
平均情報量・エントロピー エントロピー関数今週の資料,教科書4.1~4.4
第6回目
高次のエントロピー 拡大情報源,n次エントロピー今週の資料,教科書5.1~5.3
第7回目
相互情報量 条件付きエントロピー,結合エントロピー,相互情報量今週の資料,教科書6.1~6.4
第8回目
情報伝送とデータの圧縮瞬時符号,クラフトの不等式,平均符号長
【小テスト】
今週の資料,教科書7.1~7.6
小テスト範囲:授業第4回~第7回
第9回目
情報源符号化法ハフマン符号他今週の資料,教科書8.1~8.4
第10回目
通信路通信路モデル,通信路行列今週の資料,教科書9.1~9.4
第11回目
通信路容量相互情報量,伝送速度,通信路容量今週の資料,教科書10.1~10.6
第12回目
通信路符号化ハミング距離,パリティ検査
【小テスト】
今週の資料,教科書11.1~11.4
小テスト範囲:授業第8回~第11回
第13回目
誤り訂正・検出の能力ハミイング符号,最尤復号化,通信路符号化定理今週の資料,教科書11.5~11.8
第14回目
線形符号)線形空間,有限体,巡廻符号今週の資料,教科書12.1~12.4
第15回目
期末試験情報量の概念の理解,符号化の目的とその方法全「今週の資料」,教科書,小テスト問題

教科書
図解 情報理論入門/野田 由司彦/コロナ社/ISBN4-339-02352-3
参考文献
例にもとづく情報理論入門/大石 進一/講談社/ISBN4-06-153803-9 C3055
情報理論のエッセンス/平田 廣則/昭晃堂/ISBN4-7456-3143-0
情報理論tと符号理論/濵田 昇/共立出版/ISBN4-320-12164-3
成績評価方法
小テスト(30%),期末試験(50%),授業でのアクティビティー(質問・発表等)で20%,合計を100点満点とします.試験(期末・小テスト)においては,情報理論の体系をどの程度理解しているかに着目してその到達度を評価します.成績は規則通り,S・A・B・C・Fで評価しますが,出席が3/4に満たない場合には期末試験の受験資格を失い,合計は50点以下(F)になります.
そのほか受講者への指示/メッセージ
「確率統計学」を履修していることが望ましい.確率・微分積分・代数の知識が役に立ちます.
情報理論は情報関連学問全般の基本科目の一つです.情報通信や情報管理における応用に限らず,多くの意志決定支援技術に情報理論が適用されてます.経営科学や金融工学等の分野でもどのように情報理論が応用できるか自ら考えられる能力と探究心を養って欲しい.事前に bb@tamagawa.ac.jp で配布する配布資料および教科書の該当部分に目を通しておくことが必要です(予習・復習が授業の前提です).

更新日:02/05/2007
検索トップページ担当別50音一覧