2015年 理工学部 シラバス - 電気工学科
設置情報
| 科目名 | 情報ｴﾝﾄﾛﾋﾟｰの科学 | ||
|---|---|---|---|
| 設置学科 | 電気工学科 | 学年 | 2年 |
| 担当者 | 山﨑 恒樹 | 履修期 | 後期 |
| 単位 | 2 | 曜日時限 | 木曜2 |
| 校舎 | 駿河台 | 時間割CD | I42M |
| クラス | A・B | ||
概要
| 学修到達目標 | 「情報とは何か」を理解するには情報量をどの様にして測るのか，情報の伝送や処理はどの様にして行えばよいのかが分かればよい。情報を概念的な言葉としてではなく，量として定量的に扱うため情報源のエントロピー，離散的な通信路の容量，符号化，通信路の従属接続など情報理論の基本的な内容を学習する。 |
|---|---|
| 授業形態及び 授業方法 |
自己情報量，相互情報量をどの様にして測るかの説明から出発し,平均情報量を定義する。平均情報量は統計エントロピーと同じ内容を持っている。情報量をbitの単位で測るため2を底とする対数の計算が必要になる。関数電卓には2を底とする対数関数は付いていない。授業と演習は出席者とのコニュニケーションをとりながら進める。 |
| 履修条件 | 確率の概念を修得していることが望ましい。履修科目。 |
授業計画
| 第1回 | 講義の概要説明：情報の本質的機能は，人，物，エネルギー，を制御する点にある。情報を変形したり伝送したり保存するには記号を用いる。記号の持つ情報や情報量の測り方を説明する。 |
|---|---|
| 第2回 | 情報は事象の不確定度を減らす効果を持つ。Ａ地点の天候をＢ地点に伝えると言う通信のモデルを用いて確率による情報量の測り方を説明。情報量は確率変数の関数として表すことができる。 |
| 第3回 | 記号によって運ばれる情報量は2を底とする対数関数で表す。無条件確率と条件確率を用いて相互情報量を定義し，相互情報量の特別な場合として自己情報量(=情報量)を決めることができる。身近な問題について情報量の求め方を学習。 |
| 第4回 | 条件付確率，結合確率，Bayesの定理など確率の復習と演習。電卓の数字を表す7個の表示ランプは何ビットの情報を表示できるか？，使う情報が0,1,2…9の場合，この情報量は全情報量の何パーセントか，等。 |
| 第5回 | 情報源から送出される記号が独立な場合に平均情報量の求め方を説明。平均情報量は熱力学の第2法則で用いられているエントロピーある。確率とエントロピーの関係，統計エントロピーと情報エントロピーの関係を説明。 |
| 第6回 | 記号が正則な１次マルコフ過程のエントロピーの求め方を説明。遷移確率行列が与えられた時に定常確率行列とエントロピーの求め方を学習。 |
| 第7回 | 情報エントロピー最大の原理を用いると次の問題が解ける。「12枚の硬貨の中に本物と重さが違う偽金が一枚ある。分銅なしの天秤でこの偽金を発見するには，天秤を最小何回使えばよいか？」「偽金を発見する方法は？」。 |
| 第8回 | 単位時間に送られる平均の情報量は符号化の方法によって異なる。情報源から独立に送出される記号を「0」と「1」で符号化する場合，通信速度を最大（＝通信路容量）にする記号の確率と符号長との関係を求める。 |
| 第9回 | 情報源から送出される記号が独立な場合と記号間に一定の束縛条件がある場合の通信路容量を比較する。簡単な例題を上げて説明し，演習を行う。 |
| 第10回 | 雑音のない離散的通信路における符号化の方法として, Shannonの方法, Fanoの方法, Huffmanの方法について説明。情報源の記号を使用確率にもとづいて符号化し，三者の方法で得られた符号の符号化効率，冗長度を比較。 |
| 第11回 | 雑音のある通進路では送信符号と受信符号との間の対応は確率的に与えられ，通信路行列で表現される。通信路行列を用いて，雑音がある場合の平均相互情報量，曖昧度，通信路雑音，の求め方を説明。 |
| 第12回 | 雑音のある場合の２進対称通信路について，平均相互情報量，通信速度，通信路容量の求め方を説明。代表的な通信路について通信容量を求める。 |
| 第13回 | 雑音のある対称通信路を従属接続した場合の通信路容量の求め方を説明する。通信路の従属接続によって曖昧度が増加し情報量は減少する。 |
| 第14回 | 雑音のある一般通信路を従属接続した場合の通信路容量の求め方を説明。情報処理によって情報量は増加することはないと言う一般的な事実と一致することが分かる。 |
| 第15回 | 今まで演習した項目について重要な問題を再度説明し演習を行う。 |
その他
| 教科書 |
細野敏夫 『情報工学の基礎』 コロナ社 1963年 第23版
『情報数学の基礎ー暗号・符号・データベース・ネットワーク・CGー』 寺田 文行・中村 直人・釈氏 孝浩・松居 辰則 サイエンス社 １９９９年 第8版
必要に応じて教科書を補足する資料を配付する
|
|---|---|
| 参考書 |
田中幸吉 『情報工学』 朝倉書店
細野敏夫 『エントロピーの科学』 新コロナシリーズ⑪ コロナ社 1991年
都築卓司 『マックスウエルの悪魔-確率から物理学へ-』 BLUE BACKS 講談社 1970年
|
| 成績評価の方法 及び基準 |
試験７０％ 演習・宿題 ３０％ |
| 質問への対応 | 随時対応。 |
| 研究室又は 連絡先 |
研究室：駿河台校舎(お茶の水校舎)６階C604号室，E-mail：yamasaki@ele.cst.nihon-u.ac.jp電話：03-3259-0771 |
| オフィスアワー |
土曜 駿河台 10:00 ～ 12:00
|
| 学生への メッセージ |
予習・復習を怠らないこと。 |