Sllabus-情報理論

情報理論

科目
情報理論
区分
メディアネットワーク学科科目群

授業コード
15206、15209
開設セメスター
5S

曜日・時限
春　月/56、春　月/78
単位数
2単位

担当者名
小林　由紀男

授業の概要
「情報」とはなにか，「曖昧さ」とは何か，「不確定さ」とは何か等について考える．「情報の量」および「曖昧さや不確定さの程度」の定義から始めて，情報理論の根幹であるエントロピー，情報源，通信路などの基本的な概念について学習する．確率論の基礎に戻って学び，「情報量」の意味を考える．データ通信における「安全性を保証する暗号化法」，「通信効率を向上させるデータ圧縮符号」(情報源符号化)，「通信品質向上のための誤り制御符号」(通信路符号化)についての理解を深める．

到達目標
確率と確率過程の基礎知識に基づいて情報の量とは何かを十分に理解し，通信路のモデルとその性質はどのように定量化されているかが理解できていること．データを正確に・早く・安全に伝送できる応用技術についても理解していること．教科書・参考書・資料・ノートを参考にすれば，確率の基礎知識に基づく各種情報量の８０％程度を実際の問題に適用できる程度までの力をつけていることを望みます．

授業計画
テーマ
内容
授業を受けるにあたって

第1回目
情報量授業の概要説明．情報，現象の不確定さ・曖昧さ，情報の量シラバスの確認．教科書1.1～1.6

第2回目
情報源のモデルと確率・統計確率変数，結合確率，条件付き確率今週の資料，教科書2.1～2.3

第3回目
情報源の状態とマルコフ過程条件付き確率，マルコフ過程今週の資料，教科書2.4～2.6

第4回目
情報源の極限分布情報の量とエントロピー，情報源モデル　【小テスト】今週の資料，教科書3.1～3.4
小テスト範囲：授業第１回～第３回

第5回目
平均情報量・エントロピーエントロピー関数，１次エントロピー今週の資料，教科書4.1～4.4

第6回目
高次のエントロピー拡大情報源，ｎ次エントロピー今週の資料，教科書5.1～5.3

第7回目
相互情報量条件付きエントロピー，結合エントロピー，相互情報量今週の資料，教科書6.1～6.4

第8回目
情報伝送とデータの圧縮瞬時符号，クラフトの不等式，平均符号長　【小テスト】今週の資料，教科書7.1～7.6
小テスト範囲：授業第４回～第７回

第9回目
情報源符号化法ハフマン符号他今週の資料，教科書8.1～8.4

第10回目
通信路通信路モデル，通信路行列今週の資料，教科書9.1～9.4

第11回目
通信路容量相互情報量，伝送速度，通信路容量今週の資料，教科書10.1～10.6

第12回目
通信路符号化ハミング距離，パリティ検査　【小テスト】今週の資料，教科書11.1～11.4
小テスト範囲：授業第８回～第11回

第13回目
誤り訂正・検出の能力ハミング符号，最尤復号化，通信路符号化定理今週の資料，教科書11.5～11.8

第14回目
線形符号）線形空間，有限体，巡廻符号今週の資料，教科書12.1～12.4

第15回目
期末試験情報量の概念の理解，符号化の目的とその方法全「今週の資料」，教科書，小テスト問題

教科書
図解　情報理論入門／野田由司彦／コロナ社／ISBN4-339-02352-3

参考文献
例にもとづく情報理論入門／大石進一／講談社／ISBN4-06-153803-9 C3055，　情報理論のエッセンス／平田　廣則／昭晃堂／ISBN4-7456-3143-0，予習・復習資料：bb@tamagawa.ac.jp[授業]，http://rironnew.inf.eng.tamagawa.ac.jp/

成績評価方法
小テスト（30点），期末試験（50点），授業でのアクティビティー（質問・発表等）で20点，合計を100点満点とします．試験(期末・小テスト)においては，情報理論の体系をどの程度理解しているかに着目してその到達度を評価します．成績は規則通り，Ｓ・Ａ・Ｂ・Ｃ・Ｆで評価しますが，出席が3/4に満たない場合には期末試験の受験資格を失い，合計は50点以下(Ｆ）になります．

そのほか受講者への指示／メッセージ
「確率統計学」を履修していることが望ましい．確率・微分積分・代数の知識が役に立ちます．情報理論は情報科学の基本科目の一つで，情報通信や情報管理分野における応用に限らず，多くの意志決定支援技術にも適用されてます．経営科学や金融工学等の分野でも，どのように情報理論が応用できるかを自ら考え出せる能力と探究心を養って欲しい．事前に bb@tamagawa.ac.jp で配布する配布資料および教科書の該当部分に目を通しておくことが必要です(予習・復習が授業の前提です)．

更新日：12/26/2007

検索／トップページ／担当別５０音一覧

科目	情報理論	区分	メディアネットワーク学科科目群
授業コード	15206、15209	開設セメスター	5S
曜日・時限	春　月/56、春　月/78	単位数	2単位
担当者名	小林　由紀男

授業計画	テーマ	内容	授業を受けるにあたって
第1回目	情報量	授業の概要説明．情報，現象の不確定さ・曖昧さ，情報の量	シラバスの確認．教科書1.1～1.6
第2回目	情報源のモデルと確率・統計	確率変数，結合確率，条件付き確率	今週の資料，教科書2.1～2.3
第3回目	情報源の状態とマルコフ過程	条件付き確率，マルコフ過程	今週の資料，教科書2.4～2.6
第4回目	情報源の極限分布	情報の量とエントロピー，情報源モデル　【小テスト】	今週の資料，教科書3.1～3.4 小テスト範囲：授業第１回～第３回
第5回目	平均情報量・エントロピー	エントロピー関数，１次エントロピー	今週の資料，教科書4.1～4.4
第6回目	高次のエントロピー	拡大情報源，ｎ次エントロピー	今週の資料，教科書5.1～5.3
第7回目	相互情報量	条件付きエントロピー，結合エントロピー，相互情報量	今週の資料，教科書6.1～6.4
第8回目	情報伝送とデータの圧縮	瞬時符号，クラフトの不等式，平均符号長　【小テスト】	今週の資料，教科書7.1～7.6 小テスト範囲：授業第４回～第７回
第9回目	情報源符号化法	ハフマン符号他	今週の資料，教科書8.1～8.4
第10回目	通信路	通信路モデル，通信路行列	今週の資料，教科書9.1～9.4
第11回目	通信路容量	相互情報量，伝送速度，通信路容量	今週の資料，教科書10.1～10.6
第12回目	通信路符号化	ハミング距離，パリティ検査　【小テスト】	今週の資料，教科書11.1～11.4 小テスト範囲：授業第８回～第11回
第13回目	誤り訂正・検出の能力	ハミング符号，最尤復号化，通信路符号化定理	今週の資料，教科書11.5～11.8
第14回目	線形符号）	線形空間，有限体，巡廻符号	今週の資料，教科書12.1～12.4
第15回目	期末試験	情報量の概念の理解，符号化の目的とその方法	全「今週の資料」，教科書，小テスト問題

教科書	図解　情報理論入門／野田由司彦／コロナ社／ISBN4-339-02352-3
参考文献	例にもとづく情報理論入門／大石進一／講談社／ISBN4-06-153803-9 C3055，　情報理論のエッセンス／平田　廣則／昭晃堂／ISBN4-7456-3143-0，予習・復習資料：bb@tamagawa.ac.jp[授業]，http://rironnew.inf.eng.tamagawa.ac.jp/
成績評価方法	小テスト（30点），期末試験（50点），授業でのアクティビティー（質問・発表等）で20点，合計を100点満点とします．試験(期末・小テスト)においては，情報理論の体系をどの程度理解しているかに着目してその到達度を評価します．成績は規則通り，Ｓ・Ａ・Ｂ・Ｃ・Ｆで評価しますが，出席が3/4に満たない場合には期末試験の受験資格を失い，合計は50点以下(Ｆ）になります．
そのほか受講者への指示／メッセージ	「確率統計学」を履修していることが望ましい．確率・微分積分・代数の知識が役に立ちます．情報理論は情報科学の基本科目の一つで，情報通信や情報管理分野における応用に限らず，多くの意志決定支援技術にも適用されてます．経営科学や金融工学等の分野でも，どのように情報理論が応用できるかを自ら考え出せる能力と探究心を養って欲しい．事前に bb@tamagawa.ac.jp で配布する配布資料および教科書の該当部分に目を通しておくことが必要です(予習・復習が授業の前提です)．