Cousera Machine Learning / week4 ex3の課題めも

わからなかった点めも

oneVsAll.m - Train a one-vs-all multi-class classifier
を埋める箇所がさっぱりもってわからない。

fmincg ( @(t)(lrCostFunction(t, X, (y == c), lambda)), ...
の @(t)(lrCostFunction はいったい何をしているんだ？？

>> 関数の引数に関数を渡す時には @ を付ける。
http://qiita.com/naoya_t/items/e195a05f43cab0b1ecdc
とのこと。なるほど。
しかし、@(t), lrCostFunction(t は何？？
よくわからない。。。

predictOneVsAll.mの max(A, [], 2)について
http://www.obihiro.ac.jp/~suzukim/masuda/octave/html/octave_94.html
max (x, y, dim)
[w, iw] = max (x)
引数としてベクトルを渡すと，その要素の最大値を返す。 行列を渡すと，各列ごとに最大値を返すので，結果は行ベクトルとなる。 dim を指定すると，その次数を指定することができる。
2つの行列（あるいは行列とスカラ）を渡すと，対で比較した結果を返す。
1つの入力に対して2つの返り値を受け取るとき，max関数は，最大値に対応する要素の位置も返す。
例)
[x, ix] = max ([1, 3, 5, 2, 5])
x = 5
ix = 3
predictOneVsAll.mの predictOneVsAll(all_theta, X)では、sigmoid(X * all_theta')を最大にするる
index(kabel)を求めればよいか。

論理演算のめも

Cousera Machine Learning / week4 Examples and Intuitions I, II に出てきた論理演算のめも

A|B| A AND B
0|0| 0
1|0| 0
0|1| 0
1|1| 1

A|B| A OR B
0|0| 0
1|0| 1
0|1| 1
1|1| 1

A| Not A
0| 1
1| 0

A|B| A NOR B ==> (Not A) AND (Not B)
0|0| 1
1|0| 0
0|1| 0
1|1| 0

A|B| A XOR B
0|0| 0
1|0| 1
0|1| 1
1|1| 0

A|B| A XNOR B
0|0| 1
1|0| 0
0|1| 0
1|1| 1

Cousera Machine Learning / week3 ex2の課題めも

わからなかった点めも

 sigmoid.m - Sigmoid Function のコードを埋める箇所がどうもよくわからない。

 g = 1./(1+exp(-z)); 

とドット"."をなぜここに入れる？

zが行列で要素のみ演算させるのはわかるが、
なぜ、g = 1./(1+exp(-z.))　や、g = 1/((1+exp(-z.)).)でないのか。

＞＞追記
for ループを使うと次と同じ。
for i=1:size(z,1), 
    for j=1:size(z,2), 
                g(i,j) = 1/(1+exp(-1*z(i,j)));
        end
end

sizeは行列のサイズを返し、次のようになる
> a=[1,2;3,4;5,6]
a =
  1  2
  3  4
  5  6
octave> size(a)
ans =
  3  2
octave> size(a,1)
ans =  3
octave> size(a,2)
ans =  2

python scikit-learnでの線形回帰

データサイエンティスト養成読本　機械学習入門編
http://gihyo.jp/book/2015/978-4-7741-7631-4
[scikit-learn 入門]リスト1のコードめも

list1.py (python scikit-learnでの線形回帰)
----------------------------------------------

# coding:utf-8

import numpy as np
import matplotlib.pyplot as plt
from sklearn import linear_model, datasets

# 乱数によりデータ生成
np.random.seed(0) # 乱数の種を設定。これを設定しないと実行する度に違うデータを生成
regdata = datasets.make_regression(100, 1, noise=20.00)
# make_regression の第1引数:サンプル数, 第2引数:フィーチャー数(入力データの次元), 第3引数:ノイズの大きさ

# 学習を用いてモデルパラメータを表示
lin = linear_model.LinearRegression() # 線形回帰のインスタンス生成
lin.fit ( regdata[0], regdata[1] )   # フィッティングの計算
print ( "coef and intercept :", lin.coef_, lin.intercept_ )  # 回帰直線を y =ax + b とすると lin.coef_:係>数a, lin.intercept_:切片b
print ( "score :", lin.score(regdata[0],regdata[1]) ) # どのくらいうまくあてはまっているかスコア。値が大きいほど良い

# グラフを描画
xr = [-2.5, 2,5]
plt.plot (xr, lin.coef_ * xr + lin.intercept_)  # 回帰直線を描画
plt.scatter ( regdata[0], regdata[1])           # データ点を描画

plt.show()

----------------------------------------------
実行結果
$ python list1.py
('coef and intercept :', array([ 42.85335573]), -1.6283636540614475)
('score :', 0.80333572865564495)

Octave でのxxx.mスクリプト実行

Octave でxxx.mスクリプトファイルを実行させるには、
> xxx
とコマンド実行すればいいだけだった。

Octave でのcsvファイル読込み

Cousera Machine Learning / week1
QUIZ Linear Regression with One Variable
の問題2.で調べるのに使った。
問題はRetake毎に変わるようだ。

次のcsvファイルがあるとき
$ cat week2q2.csv
1,-890
2,-1411
2,-1560
3,-2220
3,-2091
4,-2878
5,-3537
6,-3268
6,-3920
6,-4163
8,-5471
10,-5157

次のように読み込む
octave:1> M=csvread('week2q2.csv')
M =
      1   -890
      2  -1411
      2  -1560
      3  -2220
      3  -2091
      4  -2878
      5  -3537
      6  -3268
      6  -3920
      6  -4163
      8  -5471
     10  -5157

赤色「r」のマーカー「+」でプロット。 

octave:2> plot(M(:,1),M(:,2),'r+')

x を0から10まで1刻みで用意
octave:3> x=0:1:10
x =
    0    1    2    3    4    5    6    7    8    9   10

y1= -569.6 - 530.9 * x;

octave:6> plot(M(:,1),M(:,2),'r+')

hold on コマンドでグラフを重ねて描く 

octave:7> hold on

octave:8> plot (x, y1)
できた。

一応、ブログアップ用に画像保存
octave:9> print -dpng 'week2q2.png'

Roundcube パスワード変更プラグイン

Roundcube でパスワード変更を
password plugin の設定でchpasswd を使ってできるようにした。

http://blog.pastwind.org/2015/01/roundcubepassword-plugin-chpasswd-driver.html
こちらのサイトがかなり参考になった。って中国語なんだけど、ほぼ英語なので理解できた。
感謝！

が、同じように設定すると次のエラー
PHP Error: Password plugin: Unable to execute sudo /usr/sbin/chpass-wrapper.py

↓ここのサイトに答えがありました。
http://www.studio-soleil.com/bloody-mary/wordpress/archives/2244.html
ありがとうございます！
visudoで
requiretty を無効にすれば良い。

これで、roundcube 上でパスワード変更できるようになった。

が、しかし、これでは、1文字のパスワードにも変更できてしまう！
ということで、
chpass-wrapper.py 内にパスワードポリシーを設定した。

if username in BLACKLIST:
    sys.exit('Changing password for user %s is forbidden (user blacklisted)' %
             username)
の行の下に次を追加した。
import re
if len(password) < 14:
    sys.exit('Please set a password to more than 14 characters')
elif re.search( "[0-9]", password) ==None:
    sys.exit('Please put in the number 1 or more characters')
elif re.search( "[a-z]", password) ==None:
    sys.exit('Please put the lower case alphanumeric or more characters')
elif re.search( "[A-Z]", password) ==None:
    sys.exit('Please put the upper case alphanumeric or more characters')

14文字以内または、数字、小文字英字、大文字英字を含まない場合は、パスワード変更を受け付けないようにした。

'Please set a password to more than 14 characters' とか、
エラーメッセージを書いたが、このメッセージはWeb上のRoundcubeには出て来ないが。。。ここはまたの機会に。

Octaveの警告pstoedit binary is not available.

Cousera Machine Learning/week2-2-4
Plotting Data

t=[0:0.01:0.98];
y1=sin(2*pi*4*t);
plot(t,y1);

y2=cos(2*pi*4*t);
重ねてグラフ表示をしたい場合
hold on
plot(t, y1, 'r');

> print -dpng 'TEST_octave.png'
と実行したら、次の警告が出てしまった。

warning: print.m: fig2dev binary is not available.
Some output formats are not available.
warning: print.m: pstoedit binary is not available.
Some output formats are not available.

CentOS7 上でOctaveを動かしていたが、グラフの保存ができないか？

yum install transfig
を実行して、警告は減ったが
warning: print.m: pstoedit binary is not available.
というエラーの方は出ている。

どうにもこの警告が消えない。


が、これは大して問題ではないようだ。

最急降下法

Coursera Machine Learning
https://www.coursera.org/learn/machine-learning/

week1
Parameter Learning/Gradient Descent

最急降下法というのがようやく腑に落ちて納得できた。

最急降下法(Wikipedia)

Google TensorFlowの"GET STARTED"に出てくる
optimizer = tf.train.GradientDescentOptimizer(0.5)
という行のコードがなんとなくわかった。

Google TensorFlowは、まだまだ使い方がよくわからないけども。

機械学習の勉強

あれこれ、あれこれ機械学習を勉強しようとして、
どうも、CourseraのMachine Learningという無料講義がよさそう。
やってみることにした。

しかし、英語。。。

あと、Octave というソフトを入れてみたけど、今のところ使い方不明。

"(カクテルパーティー問題)"
2人が同時に話している2つのマイクの録音から、1人の音声を抽出する
この問題をOctaveを使って
[W,s,v]=svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x`);
と言う一行のコードで解決できるとのこと。

だが、どうやって解決できるのだろう。
機械学習の講義の主題ではないようだか、かなり気になった。
これが簡単にできるならやってみたい。

。。。今日はここまで。

そもそも人工知能って

そもそも、人工知能って何？
って思ってあれこれググっていたら

こちら↓の記事を読ませていただき勉強になりました。
「人工知能は Deep Learning によって成されるのか？」
http://kazoo04.hatenablog.com/entry/2015/10/09/120000

すると私の考えていたのは、強いAI(汎用人工知能)に近い弱いAI。
あるいは、強いAIになりたい弱いAIといったところか。

ひとまずは、弱いAIの方の、機械学習を勉強していくこととします。
強いAIも見据えつつ。

AIの勉強をしてみようと思い

ひとまず、 「ITエンジニアのための機械学習理論入門」 を読んでみた。

実は機械学習というものすらよくわかっていなかったのだが、
Linux の勉強でよく参考にさせていただいている中居さんが書かれていたので読んでみた。
わかりやすく、数学的な根拠もしっかり書かれていた。
 数学は完全に忘れておりましたけども。

通勤時間に流し読みですが、面白く読めた。

今後、何度もこの本を読み返すんではないかと思わされる。

このブログ

自分用の技術メモ日記です。