postfixでVirtualアカウントの管理をMySQLで

どうも、俺＠仕事中です。
今日はPostfix(2.5.5)のvirtual_mailbox_mapsについてです。
しかもそれをMySQLで管理しちゃおう！という話です。

そもそもvirtual_mailbox_mapsというのは、簡単に説明するとその名の通り
そのサーバのアカウントにないアカウント（仮想アカウント）のメールをメールボックスに保存するというものです。
今回はMySQLを利用しますので、postfix-2.5.5ソースをDLして、まず

# tar zxvf postfix-2.5.5.tar.gz
# cd postfix-2.5.5
# make makefiles AUXLIBS='-L/usr/local/lib -L/usr/local/mysql/lib/mysql -lssl -lcrypto -lmysqlclient -lz -lm' CCARGS='-DHAS_MYSQL -I/usr/local/mysql/include/mysql -DUSE_TLS -I/usr/local/include -DUSE_SASL_AUTH -DDEF_SERVER_SASL_TYPE=\"dovecot\"'

（パスは環境に合わせてね）のコマンドを打ちます。
ここでlibmysqlclient.soが見つからないぜ！的なエラーが出る場合は、
-L/usr/local/mysql/lib/mysqlのパスが正しいかどうか確認し、それも合っている場合は、

# vim /etc/ld.so.conf.d/mysql.conf
/usr/local/mysql/lib/mysql

を追加（パスは適宜合わせてね）。で、

# ldconfig -v
# make upgrade

でもう一度 make makefiles を打ちます。次に、

# make && make install（全てEnter)

でインストール完了です。
次に、main.cfの編集です。

# vim /etc/postfix/main.cf
fallback_transport = virtual # ローカルに存在しないアカウント宛の処理
virtual_mailbox_base = /usr/local/virtual # 適宜あわせてね
virtual_mailbox_maps = /etc/postfix/virtual_mailbox_mysql
virtual_uid_maps = static:10000
virtual_gid_maps = static:1000

を追加します。

続いてグループ、ユーザの作成。

# groupadd -g 10000 vgroup
# useradd -u 10000 -g vgroup -d /usr/local/virtual -s /sbin/nologin vuser

次は、virtual_mailbox_mysqlの設定。

# vim /etc/postfix/virtual_mailbox_mysql
hosts = localhost
dbname = mailsystem
user = mysql_user
query = SELECT concat(name,'/') FROM mail_account WHERE active=1 AND domain='%d' AND name='%u'

で、これをhash化します。

# postmap /etc/postfix/virtual_maibox_mysql

続いてMySQLの構築。今回はMySQLは自サーバで稼動しているものとします。

# mysql -h localhost
mysql> create database mailsystem;
mysql> create table mail_account (
id int not null auto_increment,
name varchar(128) not null default '', # virtual_accountの名前
password varchar(128) not null default '', # virtual_accountのPass
domain varchar(128) not null default '', # サーバドメイン
active tinyint(1) not null default 0, # 利用する/しないのフラグ
primary key (id)
);

INSERT INTO mail_account (name, password,domain,active) values ('username','password','mydomain.jp',1);

テーブル操作権限等は適宜指定してください。

では、postfix起動します。

# /usr/sbin/postfix start

これで、MySQLに入れたアカウント宛のメールであれば、/usr/local/virtual以下へ配送されます。

ちなみに、配送の確認をするには

# postmap -a "username@mydomain.jp" mysql:/etc/postfix/virtual_mailbox_mysql

とやって、対象の結果（今回で言うと username/）が返って来ればOKです。
何も表示されない場合は、何か間違えてます。

めでたし、めでたし！お(・∀・)め(・∀・)で(・∀・)と(・∀・)う！

PostgreSQL8.xで外部サーバから接続 めも

お久し、俺＠仕事中です。

postgreSQL8.4.1を使ってて少しハマったのでメモφ(｀д´)ﾒﾓﾒﾓ...

タイトルの通り、外部サーバ<192.168.0.11>から自サーバ<192.168.0.10>（ローカル接続）のpostgreSQLへ接続しようとしてできませんでした。

 $ telnet 192.168.0.10 5432
Trying 192.168.0.10...
telnet: connect to address 192.168.0.10: Connection refused

これはpostgreSQLのバージョン8以降からpostgresql.confに設定漏れがあったことが原因でした。

# vim $PGDATA/postgresql.conf
------------------------------------------
#listen_addresses = 'localhost'     # what IP address(es) to listen on;
                    # comma-separated list of addresses;
                    # defaults to 'localhost', '*' = all

これは、どのネットワークインターフェースアドレスで接続を許可するか、を設定する項目だそうです。
デフォルトでは「localhost」になっているので、自サーバからの接続のみ許可となっているので

listen_addresses = 'localhost,192.168.0.10'

とするとローカル接続の外部サーバから接続できます。
全て許可する場合は

listen_addresses = '*'

とします。

インターフェースのアドレスを確認するのは、おなじみの

# /sbin/ifconfig

でできますね。


以上でえええす。

iptablesの設定メモ

こんばんわ、俺＠家で音楽鑑賞中です。

今年も残り1ヶ月切ってしまいましたね。
今年の元旦に神社で心に誓った目標の何割が達成できたでしょうか？
ちなみに僕は10の目標のうち4しか達成できませんでしたよ｡･ﾟ･(ﾉε`)･ﾟ･｡ｳﾜｰﾝ


で、今日はiptablesの簡単な設定方法をメモします。
解説サイトは山のようにあるのですが、結構みなさん複雑な事書かれているので
チョチョイっと設定する人向けのメモです。

まずは設定の確認。

# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  localhost.localdomain  anywhere            
ACCEPT     all  --  192.168.0.0/24      anywhere                               
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:http 
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:omirr 
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:smtp 
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:ftp-data 
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:ftp 
ACCEPT     all  --  anywhere             anywhere            state RELATED,ESTABLISHED 
REJECT     all  --  anywhere             anywhere            reject-with icmp-port-unreachable 

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  localhost.localdomain  anywhere            
ACCEPT     all  --  192.168.0.0/24      anywhere            
ACCEPT     all  --  xxx.xxx.xxx.xx/28     anywhere                      
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:tproxy 
ACCEPT     all  --  anywhere             anywhere            state RELATED,ESTABLISHED 
REJECT     all  --  anywhere             anywhere            reject-with icmp-port-unreachable 

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination 

一部のIPは伏せてあります。
僕のテストサーバ、思ったより色々設定されてありましたｗ誰だこんなんしたやつｗ

まぁ、大きく分けて3つあります。
「Chain INPUT」・・・入ってくるパケットに関するもの。
「Chain FORWARD」・・・転送されていくパケットに関するもの。
「Chain OUTPUT」・・・出力されるパケットに関するもの。

設定する順番は
１）ポリシーを設定
２）ルールを一旦削除（クリア）
３）ルールを設定
４）設定を保存
５）iptables再起動
です。

ではまず１）ポリシーを設定。
簡単なiptablesという事なのでINPUTは許可（ACCEPT）、FORWARDは破棄（DROP）、OUTPUTは許可（ACCEPT）と言う事にします。
FORWARDは滅多な事じゃないと使わない（ルータにするとか）ですし、OUTPUTはサーバからの出力なので上記の方法で良いと思います。

// 書式は iptables -P [チェイン] [ターゲット]
// チェインのポリシーを指定のターゲットに設定するという意。
# iptables -P INPUT ACCEPT
# iptables -P FORWARD DROP
# iptables -P OUTPUT ACCEPT

これでOK。

次に２）ルールを一旦削除します。現在の設定を変更せずに追加とかした人はココやらなくても良いです。

# iptables -F

OK。
これで一旦設定を見てみると、

# iptables -L
Chain INPUT (Policy ACCEPT)
target　　prot opt source　　　　　destination

Chain FORWARD (Policy DROP)
target　　prot opt source　　　　　destination

Chain OUTPUT (Policy ACCEPT)
target　　prot opt source　　　　　destination

になるはずです。

次に３）ルールを設定。

// 書式は iptables -A [チェイン] -p [プロトコル] -s [送信元] -j [ターゲット] --dport [ポート範囲の指定]
// 他にオプションはたくさんあるけど、これくらい使えばとりあえずOK。
# iptables -A INPUT -p tcp --dport 80 -j ACCEPT

と書けば、80番ポートに対するtcpプロトコルは通すよ！という意味です。ちなみに、

# iptables -I INPUT 3 -p tcp --dport 80 -j ACCEPT

だと、INPUTチェインの上から3番目に、80番ポートに対するtcpプロトコルは通すルールを挿入！という意味です。
さらには、

# iptables -A INPUT -p tcp -s 192.168.0.0/28 --dport 80 -j ACCEPT

と書けば、INPUTチェインの80番ポートに対するtcpプロトコルの192.168.0.0/28からのパケットは通すぜ！という意味になります。
まぁ、こんな感じでどんどんと

# iptables -A INPUT -p tcp --dport 22 -j ACCEPT // ssh接続はACCEPT
# iptables -A INPUT -p tcp --dport 110 -j ACCEPT // POPはACCEPT
# iptables -A INPUT -p tcp --dport 25 -j ACCEPT // SMTPはACCEPT
# iptables -A INPUT -p icmp -j ACCEPT // PINGはACCEPT
# iptables -A INPUT -i lo -j ACCEPT // 自サーバからはACCEPT（-iはインターフェースの指定）
# iptables -P INPUT DROP // 他の接続は全てDROP

とこんな感じです。

次は４）設定を保存します。

# service iptables save

これはサーバ再起動されたら設定がリセットされてしまうので、保存しておくのです。

次に５）iptables再起動します。（念のために）

# service iptables restart

OK！こんなもんです(´ﾟ艸ﾟ)∴


ちなみにルールを設定する時に

# iptables -A 

と「-A」を多用しましたが、他にも

# iptables -I [チェイン] 番号

で挿入。

# iptables -R [チェイン] 番号

で書き換え（置換）

# iptables -D [チェイン] 番号

で削除ができますので、あしからず。

以上、おやすみー。

MySQLで最初に見るべきチューニング設定項目

どうも、俺＠仕事中です。
わが社ではMySQL、PostgreSQLを良く使っている（というかほとんど）のですが、よくアクセス過多によるサーバチューニングをやっています。
今回はMySQLサーバで負荷対策を行う際の「まず最初にココの設定だけは要Check It Now」というのをメモします。

# vim /etc/my.cnf
または
# mysqladmin variables
または
mysql> show variables;

で、現在の設定の確認ができます。

-- key_buffer_size

mysql> show variables like '%key_buffer%';

MyISAMエンジンテーブルのインデックスを保存するメモリバッファのサイズ。
Key_read/Key_read_requestsでキーバッファミス率を算出し、0.01以下になるように。

-- max_allowed_packet

mysql> show variables like '%max_allowed%';

通信時の1パケット最大サイズ。画像データなど大容量のデータをMySQLへ保存する際には大きくする。

-- table_cache

mysql> show variables like '%table_cache%';

一度開いたMySQLのデータファイルポインタを保存しておくためのキャッシュ。二度目以降のテーブルへのアクセスを高速にする。つまりはサーバのディスクI/Oを減らせる。

mysql> show global status like '%Open_tables%'

の値が大きい場合はテーブルキャッシュの値を増やした方が良い場合がある。
※バージョン5.1.xからはtable_open_sizeに変わってるかも！？

-- sort_buffer_size

mysql> show variables like '%sort_buffer%';

ソートに利用されるメモリサイズ。Order ByとかGroup Byとかで使われる。もしsort_buffer_sizeが1Mでmax_connectionsが1000だった場合、メモリは最低でも1GB必要という事ですよ。

-- read_buffer_size

mysql> show variables like '%read_buffer%';

テーブル読み込み時に利用されるメモリサイズ。INDEXを使わずフルスキャンされる場合に利用。そもそもINDEXを見直すべきでは？！

-- read_rnd_buffer_size

mysql> show variables like '%read_rnd_buffer%';

テーブルをランダムに読み込む場合に使われるメモリサイズ。使用可能メモリより大きなテーブルでGroup By/Order Byをする際は大きめにしておく。ソート後のレコード読み取り速度を上げるかも。要はディスクI/Oの軽減。

-- myisam_sort_buffer_size

mysql> show variables like '%myisam_sort_buffer%';

REPAIR TABLE / CREATE INDEX / ALTER INDEX 時に利用されるメモリサイズ。かなり頻度は低い。

-- thread_cache_size

mysql> show variables like '%thread_cache%';

MySQLコネクションスレッドをプールする数。スレッドを破棄＆生成するコストを下げる。

-- tmp_table_size

mysql> show variables like '%tmp_table_size%';

サブクエリなどで一時的に実行結果をテンポラリテーブルに保存されたときのメモリサイズ。このサイズを超えた場合、MySQLはディスクへ一時テーブルへ保存しディスクI/Oが発生してしまう。このサイズを指定した場合はmax_heap_table_sizeも同じ値に設定する。

-- query_cache_size

mysql> show variables like '%query_cache%';

一度発行したクエリ実行結果をキャッシュしておき、二回目以降はクエリを発行することなくキャッシュから結果を返す。もちろん更新クエリなどが走った後はキャッシュはクリアされる。ちなみに

mysql> FLUSH QUERY CACHE;

でキャッシュを強制的にクリアできる。

-- skip-name-resolve
これは有名すぎますがDNS逆引きをしない。この設定をした場合、GRANT構文などでユーザを登録する際にもIP指定にする必要がある。

my.cnfの設定は基本的に上記のものを見直します。
もちろん細かい設定をする場合は、もっと詳細な設定を見直す必要があるのであくまで参考程度に。

あとは、スローログを取得させる。

slow_query_log=mysql-slow　// スローログを取得
logn_query_time=1　// 1秒以上かかったクエリを取得

OPTIMIZE TABLE [table_name]を定期的にかける。

mysql> OPTIMIZE TABLE table_name;

更新や削除などが頻繁に行われているテーブルに対してやると効果絶大。デフラグを解消させる。postgreSQLで言うところのvacuumみたいなもの。


あとは、サーバのメモリを増やすだとかサーバそのもののスペックを上げるだとか、アプリケーション側でのチューニングは必ず必要です。
特にスローログに出ているクエリは見直す余地がかなりあると思うので、そちらのチューニングも大切に！


以上でぇぇす。

linuxのssコマンドで利用中ポート一覧

こんちわ、俺＠仕事中です。

ふと、ターミナル(zsh)で

[user]$ sl

と打ってしまって

correct:sl -> ss [n y a e]?

と表示されて知ったのですがLinuxには「ss」というコマンドがあるみたいです。

[user]$ whereis ss
ss: /usr/sbin/ss /usr/include/ss /usr/share/ss

見つからない人は、yumで一発インストールできます。

で、このコマンドなのですが、そのサーバが開いているポート一覧を表示してくれます。ちょうど

[user]$ netstat -tpln

したのと同じような感じです。

[user]$ ss -an
State　　　　Recv-Q Send-Q　　　　Local Address:Port　　　　Peer Address:Port
LISTEN　　　　0　　　0　　　　　　　　　　　　*:3333　　　　　　　　　　　*:*
LISTEN　　　　0　　　0　　　　　　　　　　　　*:6666　　　　　　　　　　　*:*
LISTEN　　　　0　　　0　　　　　　　　　　　　*:21　　　　　　　　　　　　*:*
LISTEN　　　　0　　　0　　　　　　　　　　　　*:22　　　　　　　　　　　　*:*
LISTEN　　　　0　　　0　　　　　　　　127.0.0.1:5431　　　　　　　　　　　*:*
LISTEN　　　　0　　　0　　　　　　　　　　　　*:5432　　　　　　　　　　　*:*
ESTAB 　　　　0　　　0　　　　　　192.168.60.215:22　　　　　192.168,.60.29:1515
ESTAB 　　　　0　　　0　　　　　　192.168.60.215:22　　　　　192.168,.60.29:1764

と、こんな感じです。
オプションもnetstatと似てます。

[user]$ ss -h
Usage: ss [ OPTIONS ]
　　　 ss [ OPTIONS] [ FILTER]
-n, --numeric don't resolve service names サービス名に変換せずにポート表示
-a, --all dispaly all sockets 全てのソケットを表示
-t, --tcp display only TCP sockets TCPプロトコルのソケットを表示
-u, --udp display only UDP sockets UDPプロトコルのソケットを表示
-4, --ipv4 display only IP version 4 sockets ipv4のIPでのみ表示
-6, --ipv6 display only IP version 6 sockets ipv6のIPでのみ表示
-r, --resolve resolve host names ホスト名を名前解決する

主なオプションはこんなもんでしょうか。

以上でーーす。

jqueryでポップアップウインドウ

どうも、俺＠仕事中です。

mixiのPC版で絵文字入力するときに「絵文字」アイコンをクリックするとポップアップが出て絵文字入力ってありますよね。
今日はあんなポップアップの作り方の勉強です。

まず表示部分。

<html>
<title>
<script type="text/javascript" scr="js/jquery-1.3.2.js">
<!-- ドラッグできるように -->
<script type="text/javascript" scr="js/ui.core.js">
<!-- ドラッグできるように -->
<script type="text/javascript" scr="js/ui.draggable.js">
</title>
<body>
ポップアップ
<hr>

<!-- ポップアップ -->
<div id="popup">
ココにポップアップ表示
</div>
<!-- ポップアップ以外をクリックすれば、ポップアップが消えるように -->
<div id="delete"></div>

</body>
</html>

htmlはこんな感じにしておきます。
<div id="popup"></div>の中にポップアップさせたい内容を書きます。

次はCSS。

div#popup {
position: absolute; /* 移動できるように */
z-index: 99; /* z-indexは高く */
}
div#delete {
position: absolute; /* absoluteで！ */
z-index: 0; /* div#popupより低く！ */
display: none; /* 初期は非表示 */
}

CSSはこんな感じ。

ではjavascript部分(jQueryを使います）

$(function() {
  // パレットをclickでbind()しておく
  $("div#popup").bind("click", $(this), popup);

  // パレット以外の部分をクリックすると消えるように
  $("div#delete").bind("click", function() {
    $("div#popup").hide();  // パレットを非表示
    $(this).hide();  // 自身も非表示
  });
});

function popup(e) {
  // パレットを表示
  $("div#popup").css({"top":e.pageY-100,"left":e.pageX+50}).show().draggable();

  // パレット以外の部分をクリックすると消す部分（mask）の処理
  var height = $(document).height();
  var width = $(document).width();
  $("div#delete").css({"width":width,"height":height,"top":0,"left":0});
  $("div#delete").show();
}

こんな感じです。


簡単にサンプルを書きましたが、後はお好みで変えてやればOKです。
ちなみに↑のサンプルソースは動作確認していませんので、もし間違いがあれば連絡くだされ；；


以上でえぇぇぇす。

php5.3のクロージャー（無名関数）を使ってみる

どうも、俺＠猛仕事中です。

新規案件にphp5.3.0を入れてみた。
せっかくなので5.3からの新機能「Clouser（クロージャー）」を使ってみる。

やりたい事は、絵文字データを内部コードに変換してDBへ保存し、それを表示する際に絵文字画像に変換して出力したいという事。
絵文字画像というのは、<img src="xxx">に変換するって事ね。
※絵文字内部コードは[[MG:001]]～[[MG:999]]のフォーマット

<?php
1 // プログラムは適当に書き換えています。
2 function convertToImg($text) {
3    // 変換テーブルを配列で取得
4    $emoji_map = file("emoji_map.txt");
5
6    $converted = preg_replace_callback("/\[\[MG:([0-9]{3})\]\]/",
7        function ($match) use ($emoji_map) {
8            if (isset($emoji_map[$match[1]])) {
9                return "<img src='./img/emoji/".$emoji_map[$match1]].".gif'>";
10           }
11           return $match[0];
12       },
13       $text
14   );
15
16   return $converted;
17 }

てな具合です。

preg_replace_callback()関数の7行目～10行目までで無名関数を使っています。
$text内で　/\[\[MG:([0-9]{3})\]\]/　にマッチした最初の([0-9]{3})を、配列$emoji_mapのキーに指定しています。

使う事ないだろうと思っていた、preg_replace_callback()関数とクロージャーを使う事になるとは。。


以上、自分でいろいろやってみてねー。

Zend_Db_Adapter_Abstractを継承した拡張自作Adapter

どうも、俺＠遊び帰宅です。
眠いっす。

Zend Frameworkを使ってWebアプリケーションを作ってて
「あー、DBへのクエリのログ取りたいなー」ってよくあると思います。
特にトランザクションの発生するクエリに関しては、Webプログラマとしては必需品だと思います。

方法はすべてのXXController内でクエリを発行する度に

<?php
// Zend_Db_Adapter_Abstractでクエリ発行
$adapter->query("INSERT INTO foo_table (column) VALUES ('value')");

// Zend_Db_Profiler
$profiler = $adapter->getProfiler();
$queries = $profiler->getQueryProfiles(Zend_Db_Profiler::INSERT);
if (is_array($queries)) {
    foreach ($queries as $query) {
        file_put_contents($filename, $query->getQuery());
    }
}

と、簡単なサンプルを書くとこんな感じでしょうか。

ただ、これだとクエリを発行する度にZend_Db_Profilerを生成し、ログを取得しなければなりません。
面倒くさいです。

そんな面倒くさがりな貴方にはZend_Db_Adapter_Abstractを継承した自作クラスを作成することをオススメします。
例えばPostgreSQLを使っている場合は

<?php
/**
 * Zend_Db_Adapter_Pdo_Pgsqlを継承した自作アダプター
 */
class MyPdoPgsql extends Zend_Db_Adapter_Pdo_Pgsql {
    /**
     * @Override
     */
    public function insert($table, array $bind) {
        // 略 Zend_Db_Adapter_Pdo_Pgsql::insert()と同じ処理

        // Zend_Db_Profilerでログる
        $profiler = $adapter->getProfiler();
        $queries = $profiler->getQueryProfiles(Zend_Db_Profiler::INSERT);
        if (is_array($queries)) {
            foreach ($queries as $query) {
                file_put_contents($filename, $query->getQuery());
            }
        }
    }


    /**
     * @Override
     */
    public function update($table, array $bind, $where) {
        // 略 Zend_Db_Adapter_Pdo_Pgsql::update()と同じ処理

        // Zend_Db_Profilerでログる
        $profiler = $adapter->getProfiler();
        $queries = $profiler->getQueryProfiles(Zend_Db_Profiler::UPDATE);
        if (is_array($queries)) {
            foreach ($queries as $query) {
                file_put_contents($filename, $query->getQuery());
            }
        }
    }

    public function delete($table, $where = '') {
        // 以下同じ
    }
}

このようにinsert/update/deleteメソッドにログ処理を書いてZend_Db_Adapterの子クラスを作成します。

あとはindex.php内の処理でZend_Db_Adapter_Abstractを生成するときに

<?php
$db = new MyPdoPgsql($options);
Zend_Db_Table_Abstract::setDefaultAdapter($db);

のようにデフォルトアダプターをセットしておけば、全てOK！！

基本的にZend FrameworkのクエリはZend_Db_Adapter_Abstractを経由して発行されるので、あとは自動でログを取ってくれます。
他にもトランザクションや例外処理も全てこの中に書けば、面倒なことを書かずに済みますね。


以上、面倒くさがり屋さんへ。

phpで三項演算子の注意点

どうも、俺＠始業です。
別に暇なわけじゃないですよ。

今日はphpで三項演算子を利用した際の注意点をメモります。
三項演算子は例えば

<?php
$a = 1;
// 三項演算子
echo $a == 1 ? "$aは1です。" : "$aは1ではありません。";

と書くと、出力は

$aは1です。

となります。
書き方は

(式) ? 真の場合 : 偽の場合

です。
三項演算子は短く条件分岐を書くことができるので、phpでプログラムを書いた際のView側などで利用できます。

で、
三項演算子を入れ子（ネスト）にした場合、php三項演算子ならではの注意点があります。

<?php
$a = 1;
// 三項演算子
echo $a == 1 ? "$aは1です。" : $a == 2 ? "$aは2です。" : "$aは1でも2でもありません。";

とすると、プログラマーは

$aは1です。

と出力されると予想します。
ところがドッコイこの結果は

$aは2です。

と出力されてしまいます。危ないですねー。
理由はPHPマニュアル＠三項演算子にあるように、phpの三項演算子は左から右へ評価の順が移っていくので、上の例でいくと
１）$a == 1 が評価されtrue
２）"$aは1です。"をechoしようとする
３）（１）で評価されたtrueが次の $a == 2で評価されtrue
４）"$aは2です。"をechoする。
という流れになるみたいです。たぶん、、。

要は（３）で$a == 2 が評価されるときに（１）で評価された結果(true)を持ち越してしまうみたいです。

というわけで、どうしても三項演算子を利用して入れ子をしたい場合は

<?php
echo $a == 1 ? "$aは1です。" : ($a == 2 ? "$aは2です。" : "$aは1でも2でもありません。");

と書きましょう。


以上ーー。

PostgreSQLでコマンドラインから直接クエリ実行

おはようございます、俺＠朝礼後です。

今日はPostgreSQLでコマンドラインで直接クエリを実行する方法をメモります。
説明が難しいのですが、「コマンドラインから直接」というのは

$ psql foo_database
psql> SELECT * FROM bar;

というのではなく、
postgresqlサーバへログインせずにクエリ発行、結果取得という意味です。
（※内部的にはpostgresqlログインしてるのかもやけど、、、）


やり方は、

$ psql -c 'SELECT * FROM bar' foo_database

です。
ちなみに

$ psql -c 'SELECT * FROM bar' -o output_file foo_database

とやると、
output_fileへクエリ結果を出力します。

ついでにMySQLでは

$ mysql -e 'SELECT * FROM bar' foo_database

で直接クエリを実行できます。



以上どぇぇぇぇぇす。

MySQLのALTER TABLE構文のまとめ

こんばんわ、俺＠家でまったり中です。
今日は、プログラマがよく使うであろうMySQL(ver5.x)のALTER TABLE構文についてメモします。
ALTER TABLE構文はMySQLのテーブルの構造を変更する時に使います。

1)カラムを追加

mysql> ALTER TABLE [テーブル名] ADD COLUMN [カラム名] [型] [制約] [FIRST | AFTER カラム名]

最後の[FIRST|AFTER カラム名]はなくてもOK。
例：

msql> ALTER TABLE table_name ADD COLUMN name VARCHAR(64) NOT NULL DEFAULT ''

2)カラムを削除

mysql> ALTER TABLE [テーブル名] DROP COLUMN [カラム名]

3)テーブル名変更

mysql> ALTER TABLE [テーブル名] RENAME TO [新テーブル名]

4)カラムの型を変更

mysql> ALTER TABLE [テーブル名] MODIFY [カラム名] [型] [制約]
または
mysql> ALTER TABLE [テーブル名] CHANGE COLUMN [カラム名] [新カラム名] [型] [制約]

5)カラム名を変更

mysql> ALTER TABLE [テーブル名] CHANGE COLUMN [カラム名] [新カラム名]

6)インデックスを追加

mysql> ALTER TABLE [テーブル名] ADD INDEX [インデックス名] ([カラム名,...])
または
mysql> CREATE INDEX [インデックス名] ON [テーブル名] ([カラム名,...])

7)インデックスを削除

mysql> ALTER TABLE [テーブル名] DROP INDEX [インデックス名]
または
mysql> DROP INDEX [インデックス名] ON [テーブル名]

8)AUTO_INCREMENTの値を変更

mysql> ALTER TABLE [テーブル名] AUTO_INCREMENT = [値]

9)テーブルの使用しているエンジン(ENGINE)を変更

mysql> ALTER TABLE [テーブル名] ENGINE = [ENGINE名]

10)テーブルのデフォルト文字セットを変更

mysql> ALTER TABLE [テーブル名] DEFAULT CHARSET = [文字コード名]

11)デフォルト値を変更

mysql> ALTER TABLE [テーブル名] ALTER COLUMN [カラム名] SET DEFAULT [デフォルト値]

12)デフォルト値を削除

mysql> ALTER TABLE [テーブル名] ALTER COLUMN [カラム名] DROP DEFAULT

詳しくはMySQL::5.1マニュアル ALTER TABLE構文をば。

以上どぇぇぇぇーす。

mmeasureのインストール

どうも、俺＠仕事中、2度目の投稿です。
決して暇な訳ではありませんよ。

mmeasureのインストールについて覚書き。
インストールは至って簡単シンプルです。
まずはmmeasure projectからソースをダウンロード。2009年9月9日時点でのバージョンは1.0.7でした。

次に解凍

# tar zxvf mmeasure-1.0.7.tar.gz

出てきたディレクトリを/usr/local下（デフォルト）へ移動

# mv mmeasure/ /usr/local
# cd /usr/local/mmeasure

perlのモジュールをインストールします。
cpanについてはオデの日記＠cpanモジュールを見てね。

# cpan install Socket
# cpan install DBI // ←MySQLを起動させてないとダメっぽい
# cpan install Jcode
# cpan install DBD::mysql // ←ココでずっこける

RRDsモジュールはrrdtoolをインストールすればOKの模様。

# wget 'http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.0.x/rrdtool-1.0.49.tar.gz'
# tar zxvf rrdtool-1.0.49.tar.gz
# rrdtool-1.0.49
# ./configure
# make
# make install // ←ついでにrrdtoolインスト
# cd /usr/local/src/rrdtool-1.0.x/perl-shared
# perl Makefile.PL
# make && make install

で、DBD::mysqlですが、何をどう頑張ってもインストールできませんでした。
同じくインストールできなかったけど、頑張ればインストできた人がいれば解決方法を教えて下さい。
とりえずyumで

# yum install perl-DBD-MySQL

で何とかインスト。

設定ファイルを修正

# cp mmeasure_template.conf mmeasure.conf
# vim mmeasure.conf

で、この設定ファイルを色々変更します。デフォルトの設定ファイルには間違いもあるので必ず修正します。

#------------------
#   MySQL
#------------------
MYSQL_HOST=[MySQLのIP]
MYSQL_USER=mmeasure # あとでmmeasureユーザを追加します。
MYSQL_PASSWORD=password # 接続パスワード
MYSQL_PORT=3306
MYSQL_SOCKET=/tmp/mysql.sock
MYSQL_SLOW_QUERY_LOG="/usr/local/mysql/var/mysql-slow" # スローログのPATH。ない場合はコメントアウトで
#------------------
#    Mail
#------------------
MAIL_HOST=foo.com # 自サーバホスト名
MAIL_FROM=info@foo.com # 実在するアカウントで！
MAIL_TO=bar@tohost.com
#MAIL_CC= # いらん！
#MAIL_BCC= # いらん！
MAIL_SUBJECT="alert" # メールの件名を適当に。
#------------------
#    Pathes
#------------------
PATH_RRDTOOL="/usr/local/rrdtool-1.0.49/bin/rrdtool" # パスが違う場合は修正
#------------------
#    Web setting
#------------------
WEBDIR="$PATH_MEASURE/web/images/graphs" # /imagesを追加！
WIDTH_SMALL="200"   # 追加！
HEIGHT_SMALL="100"  # 追加！
WIDHT_LARGE="400"   # 追加！
HEIGHT_LARGE="100"  # 追加！

次にMySQLサーバにmmeasureユーザの追加です。僕の環境ではローカル接続の別サーバにMySQLがあったので

# mysql -h 192.168.0.2 -u mysql
mysql> GRANT ALL ON *.* to mmeasure@192.168.0.1 indentified by 'password';
mysql> SET password FOR mmeasure@192.168.0.1 = old_password('password'); // ←MySQL4.1以前の互換
mysql> FLUSH PRIVILEGES;

でOK。一応接続テストもしておく。

# mysql -h 192.168.0.2 -u mmeasure -p
Enter password: パスワード入力

次に、MySQLのデータを取るために./mmeasure/daemon/data-mysql/read-data.plを修正します。ココはだいぶハマったのですが、クエリ回数、クエリ比率などを表示するために変更するべきです。

# vim ./mmeasure/daemon/data-mysql/read-data.pl
 50     my %status = select_2column( $db, "show global status" ); # globalを追加

あと、僕の場合ですが、mmeasure.errでアラートメール送信時のエラーが出まくっていたのでメール送信処理部分をコメントアウトしました。アラートはNAGIOSとかで監視してるので、、、。

# vim ./mmeasure/daemon/daemon-mmeasure.pl
 224 #                   alerter_sendmail( $conf{ 'MAIL_HOST' }, 
 225 #                       $conf{ 'MAIL_TO' }, $conf{ 'MAIL_FROM' }, 
 226 #                       $conf{ 'MAIL_SUBJECT' }, $alert_message, 
 227 #                       $conf{ 'MAIL_CC' }, $conf{ 'MAIL_BCC' } );

なんでエラーが出るのか謎です。時間があるときに調査します。分かる方いたら教えてください＞＜
エラー内容

# vim ./mmeasure/daemon/log/mmeasure.err
 52 RCPT command failure(Bad file descriptor)... at ../library/mailer.pl line 93.
 53 print() on closed filehandle SH at ../library/mailer.pl line 127 (#1)
 54     (W closed) The filehandle you're printing on got itself closed sometime
 55     before now.  Check your control flow.
 56
 57 readline() on closed filehandle SH at ../library/mailer.pl line 128 (#2)
 58     (W closed) The filehandle you're reading from got itself closed sometime
 59     before now.  Check your control flow.
 60
 61 Use of uninitialized value in substitution (s///) at ../library/mailer.pl line
 62     205 (#3)
 63     (W uninitialized) An undefined value was used as if it were already
 64     defined.  It was interpreted as a "" or a 0, but maybe it was a mistake.
 65     To suppress this warning assign a defined value to your variables.
 66
 67     To help you figure out what was undefined, perl tells you what operation
 68     you used the undefined value in.  Note, however, that perl optimizes your
 69     program and the operation displayed in the warning may not necessarily
 70     appear literally in your program.  For example, "that $foo" is
 71     usually optimized into "that " . $foo, and the warning will refer to
 72     the concatenation (.) operator, even though there is no . in your
 73     program.
 74
 75 Use of uninitialized value in pattern match (m//) at ../library/mailer.pl line
 76     130 (#3)
 77 print() on closed filehandle SH at ../library/mailer.pl line 132 (#1)
 78 DATA command failure(Bad file descriptor)... at ../library/mailer.pl line 134.
 79 print() on closed filehandle SH at ../library/mailer.pl line 143 (#1)
 80 readline() on closed filehandle SH at ../library/mailer.pl line 144 (#2)
 81 Use of uninitialized value in pattern match (m//) at ../library/mailer.pl line
 82     146 (#3)
 83 print() on closed filehandle SH at ../library/mailer.pl line 148 (#1)
 84 Body & header send failure(Bad file descriptor)... at ../library/mailer.pl line 150.
 85 print() on closed filehandle SH at ../library/mailer.pl line 156 (#1)

次はApacheにAliasを作ります。

# vim /usr/local/apache2/conf/httpd.conf
Alias /mmeasure "/usr/local/mmeasure/web"

# /usr/local/apache2/bin/apachectl restart

ではデーモンの起動！

# ./mmeasure/daemon/mmeasure.sh start

以上～！あとはチューニングアドバイスを信じるも信じないもアナタ次第！

MySQLで再起動せずに設定変更

こんちわ、俺＠仕事中です。
周知の事実すぎるかもしれませんが、MySQLの設定（通常はmy.cnfに書かれてあるもの）を再起動せずに変更する方法について。

mysql> SET GLOBAL <変数名>=<値>
または
mysql> SET @@global.<変数名>=<値>

で設定を変更できます。
例えば、query_cache_sizeを1MBに変更する場合

mysql> SET GLOBAL query_cache_size=1048576;

で変更できます。

変更後は必ずmy.cnfの値を変更する事を忘れずに！じゃないと、MySQLがいつか再起動した後元に戻っちゃいますよー。



以上どぇ～す。

Linuxで"-"ハイフンから始まるファイルの削除

どうも、俺＠仕事中です。
今日は滅多に起こりえない"-"ハイフンから始まるファイルの削除について。

そもそもハイフンから始まるファイルを作成する事はないと思います。

$ touch -a
touch: file arguments missing
Try `touch --help' for more information.

ただ、vimでファイルを修正中などに

:w -a

などとタイプミスすると、「-a」というファイルが出来上がってしまいます。

$ ls -l
total 64
-rw-r--r--    1 user group    0 Sep  8 10:29 -a

これを頑張って削除しよとしても

$ rm -a
rm: invalid option -- a
Try `rm --help' for more information.
$ rm "-a"
rm: invalid option -- a
Try `rm --help' for more information.
$ rm \-a
rm: invalid option -- a
Try `rm --help' for more information.

削除できません。

そんな時は"--"ハイフン二つ付けて

$ rm -- -a

とすれば削除できちゃうよ！
というお話。

MySQLのCASE構文

どうも、俺＠残業中です。
忘れないために備忘録。

MySQLはCASE構文が使えるようになっています。

mysql> SELECT CASE WHEN 1=1 THEN 'true' ELSE 'FALSE' end;
+--------------------------------------------+
| case when 1=1 then 'true' else 'false' end |
+--------------------------------------------+
| true                                       |
+--------------------------------------------+
1 row in set (0.00 sec)

となります。

構文は

CASE WHEN <条件式> THEN <真の場合> ELSE <偽の場合> END;

です。

応用して、例えば別テーブル（B）に自テーブル（A）を参照しているカラム（a_id）があり、BテーブルがAテーブルを参照しているデータを`refered`として取得する場合は

mysql> SELECT
  CASE WHEN a_id>0 THEN 'refered' ELSE 'no refered' END
FROM A INNER JOIN B ON A.id=B.a_id;

で取得できます。

さらに拡張して、AテーブルのデータがBテーブルに参照されていた場合に、Aテーブルの`refered`カラムを`refered`、そうでない場合を`no refered`と更新したい場合は

mysql> UPDATE A INNER JOIN B ON A.id=B.a_id
  SET refered= CASE WHEN a_id > 0 THEN 'refered' ELSE 'no refered' END;

のように、MySQLのUPDATE文＋JOIN句でできます。

以上どえす。

MySQL5.1でfederatedエンジンを有効にする

こんにちわ、俺＠仕事中です。
MySQL5.1.3のFederatedエンジンでハマりました（汗

MySQL5.1でfederatedエンジンを有効にするには、configureオプションで

# ./configure --with-plugins=max
または
# ./configure --with-plugins=federated
または
# ./configure --with-plugin-federated

としなければなりません。
詳しくは

# ./configure --help

で。

上記でインストールしたのですが、

# mysql
mysql> show engines;
+------------+---------+--------------+------+------------+
| Engine     | Support | Transactions | XA   | Savepoints |
+------------+---------+--------------+------+------------+
| MRG_MYISAM | YES     | NO           | NO   | NO         | 
| CSV        | YES     | NO           | NO   | NO         | 
| FEDERATED  | NO      | NULL         | NULL | NULL       | 
| MyISAM     | DEFAULT | NO           | NO   | NO         | 
| MEMORY     | YES     | NO           | NO   | NO         | 
+------------+---------+--------------+------+------------+
5 rows in set (0.00 sec)

あれ？

mysql> show plugins;
+------------+----------+----------------+---------+---------+
| Name       | Status   | Type           | Library | License |
+------------+----------+----------------+---------+---------+
| binlog     | ACTIVE   | STORAGE ENGINE | NULL    | GPL     | 
| partition  | ACTIVE   | STORAGE ENGINE | NULL    | GPL     | 
| CSV        | ACTIVE   | STORAGE ENGINE | NULL    | GPL     | 
| FEDERATED  | DISABLED | STORAGE ENGINE | NULL    | GPL     | 
| MEMORY     | ACTIVE   | STORAGE ENGINE | NULL    | GPL     | 
| MyISAM     | ACTIVE   | STORAGE ENGINE | NULL    | GPL     | 
| MRG_MYISAM | ACTIVE   | STORAGE ENGINE | NULL    | GPL     | 
+------------+----------+----------------+---------+---------+
7 rows in set (0.00 sec)

と、うんこな結果に。

configureオプションを色々と変えて試してみてもダメ。さらにMySQLはmakeに結構な時間がかかるので、いちいち試してもいられない。

という事で「ウンコー！」と叫びながら、mysqldを起動する際に

# service mysqld start --federated

とやると、federatedエンジンが有効になりました。

configureオプションは

# ./configure --with-plugins=max
または
# ./configure --with-plugins=federated
または
# ./configure --with-plugin-federated

でOKでし。

以上でええす。

opensslを使って秘密鍵と証明書の作成

どうも、俺＠仕事中。今日3度目の投稿です。

linuxのopensslを使って秘密鍵とサーバ証明書を作成する場面に出くわしたのでメモります。

まず適当なディレクトリ作成

# mkdir /etc/ssl
# cd /etc/ssl

サーバの秘密鍵を作成

# openssl genrsa -out server.key 1024

署名要求書の作成

# openssl req -new -key server.key -out server.csr
----------
Country Name (2 letter code) [GB]:JP　　// 国名
State or Province Name (full name) [Berkshire]:Osaka　　// 県名
Locality Name (eg, city) [Newbury]:Osaka　　// 市
Organization Name (eg, company) [My Company Ltd]:XX.company　　// 会社名、所属組織名
Organizational Unit Name (eg, section) []:develop　　// 会社の所属先
Common Name (eg, your name or your server's hostname) []:koexuka.blogspot.com　　// サーバのホスト名 この値は超重要
Email Address []:info@koexuka.blogspot.com　　// メアド
A challenge password []:　　// パスワードいらなければそのままEnter
An optional company name []:　　// これもEnter 

通常はココで生成されたserver.csrをベリサインとかに送ってサイト証明書を発行してもらうのですが、今回はその処理も自サーバで行います。

では、自サーバが認証局となったつもりで認証局の秘密鍵を作成します。

# openssl genrsa -out ca.key 1024

認証局の証明書を作成します。

# openssl req -new -x509 -days 3650 -key ca.key -out ca.crt
----------
Country Name (2 letter code) [GB]:JP
State or Province Name (full name) [Berkshire]:Osaka
Locality Name (eg, city) [Newbury]:Osaka
Organization Name (eg, company) [My Company Ltd]:XX.company
Organizational Unit Name (eg, section) []:develop
Common Name (eg, your name or your server's hostname) []:www.koexuka.blogspot.com
　　// ココが上で要求証明書を作成したときのホスト名と違う必要があります
Email Address []:info@koexuka.blogsport.com

これで認証局側の鍵(ca.key)と証明書(ca.crt)ができました。

認証局となったつもりは終わって、通常のサーバに戻ります。
シリアルを作成します。

# echo 01 > serial.txt

認証局証明書付き自サーバ証明書の作成

# openssl x509 -CA ca.crt -CAkey ca.key -CAserial serial.txt -req -days 3650 -in server.scr -out server.crt

これで自サーバ証明書(server.crt)ができました。


めでたし、めでたし！

dovecotで'Support not compiled in for passdb drive 'pam''が出る

こんちわ、俺＠また仕事中です。
dovecotを入れて起動させたら、タイトルの通り

Aug 19 17:02:01 dovecot: Info: Dovecot v1.2.4 starting up (core dumps disabled)
Aug 19 17:02:01 auth(default): Fatal: Support not compiled in for passdb driver 'pam'
Aug 19 17:02:01 dovecot: Fatal: Auth process died too early - shutting down

というエラーが発生しました。

OSはCentOS5.3
dovecotはdovecot-1.2.4です。

エラー内容は、適当和訳すると「passdbドライバーの'pam'は、コンパイルをサポートしていません？」みたいな感じか。

$ /usr/local/sbin/dovecot --build-options

と打ってみると

Build options: ioloop=epoll notify=inotify ipv6 openssl
Mail storages: cydir dbox maildir mbox raw shared
SQL drivers:
Passdb: checkpassword passwd passwd-file shadow
Userdb: nss passwd passwd-file prefetch static

とあったので、

$ vim /usr/local/etc/dovecot.conf

でdovecot.confを開き

#passdb pam {　　// passdb pamの行をコメントアウト
passdb shadow {　　// passdb shadowに書き換え

でちゃんと起動しました。
↑はコメントアウトだけでも良いですね。

英語力のなさを感じました。

`ls`コマンドでの色についてメモ

こんにちわ、俺＠仕事中です。
今日はLinuxサーバのターミナルで

$ ls --color

した時の色の設定についてメモします。

色表示はデフォルトでは「/etc/DIR_COLORS」に書かれているものを読み込んで決めている（？）そうなのですが、たまにサーバによって「いつもと色がちゃうやないか！」て事があります。

気にしない人はそれでも良いのですが、
気になる人はログインユーザの~/.bashrc（または~/.tcshrc）に

$ vim ~/.bashrc
LS_COLORS='色の設定いろいろ'
export LS_COLORS

を書けばよかです。

LS_COLORSの内容は

$ dircolos -b

したものをコピペでOKです。
※-bオプションはBシェル用。-cオプションはCシェル用。

拡張子毎の色設定や、ファイルタイプ毎の色設定が可能です。
例えば、通常ファイルの色を白にする場合は

fi=00:

です。
ディレクトリの色を文字色黒、背景色緑にする場合は

di=30;42:

です。
拡張子tarの色を太い赤文字にする場合は

*.tar=01;31:

です。



以上でぇぇす。

sshでログインできない

俺＠仕事中です。
今日はインストール直後のサーバにSSHログイン出来なかった場合の起こりうるミスについてメモります。
※実際おこりました、、。

サーバ側の/var/log/messagesに

# less /var/log/messages
Aug  5 11:14:17 data1 sshd(pam_unix)[15652]: authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=xxx-xxx-xxx-x.yyy.yy-yyyyy.yy.jp  user=foouser
Aug  5 11:14:30 data1 sshd(pam_unix)[15654]: authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=xxx-xxx-xxx-x.yyy.yy-yyyyy.yy.jp  user=foouser
Aug  5 11:14:56 data1 sshd(pam_unix)[15657]: authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=xxx-xxx-xxx-x.yyy.yy-yyyyy.yy.jp  user=foouser

/var/log/secureに

# less /var/log/secure
Aug  5 11:14:17 data1 sshd[15652]: User foouser not allowed because not listed in AllowUsers

が出てる時。

# vim /etc/ssh/sshd_config
AllowUsers allowedusername foouser # ←foouserを追加

して

# service sshd reload

したらログインできます。

以上どぇぇぇす。

rsyncの設定（rsyncd.confなど）

どうも、俺＠仕事中です。
今日は超基本中の基本ですが、rsyncの設定・使い方についてメモります。

rsyncはほとんどのLinuxに標準でインストールされている、ファイル転送用？コマンドです。
オプションも色々用意されていて、バックアップやミラーリングなどに便利です。
http://www.infoscience.co.jp/technical/rsync/

僕の利用しているLinuxディストリはCentOs4.7です。
rsyncコマンドはインストールされているものとします。

rsyncデーモン側（rsyncd）で/etc/rsyncd.confという設定ファイルを作成します。

# vim /etc/rsyncd.conf
----------------
hosts allow = 127.0.0.1 192.168.1.0/24 // ←許可するrsyncクライアントIP
hosts deny = * // ←拒否するrsyncクライアントIP　＊は全て
use chroot = false // ←chrootするかどうか。trueの場合は `path = /PATH`で指定したパスでchrootする
read only = false // ←read-onlyにするかどうか。trueの場合はクライアント側からのアップロードができない
[my_module_name] // ←モジュール名 モジュール毎に細かい設定をする場合
uid = nobody // ←モジュールでのユーザ名
gid = nobody // ←モジュールでのグループ名
path = / // ←デフォルトのパス
comment = this is comment. // ←コメント

で、rsyncdを再起動します。

# service xinetd restart

では、実際にrsyncコマンドを使う場合は
<サーバA>クライアントIP（192.168.1.1）
<サーバB>デーモンIP（192.168.1.2）

サーバA
$ rsync -avz /home/from/data/ 192.168.1.2::my_module_name/home/to/data/

でサーバA(/home/from/data)からサーバB(/home/to/data)へファイルが転送されます。
書式は

$ rsync [OPTION] 転送元PATH 転送先IP:[:モジュール名]転送先PATH

です。
ちなみにサーバAで
/home/from/data/とするのと/home/from/dataとするので動作が違うので要注意です。

/home/from/data/（スラッシュあり）の場合は、/data内のファイルだけが
/home/from/data（スラッシュなし）の場合は、/data内のファイルと/dataディレクトリ自体が
転送の対象となります。

以上どぇぇ～す。

Zend_Db_Tableでリレーションの作成

どうも俺＠仕事中です。
相変わらずZendFramework使っています。多分11月くらいまで。。。
今日はZend_Db_Tableでリレーション（テーブル間の関連）を表す方法をメモします。

サンプルDB（MySQL）として、スレッド型掲示板を作ります。

CREATE TABLE user (
　id INTEGER AUTO_INCREMENT PRIMARY KEY,
　name
);
CREATE TABLE thread (
　id INTEGER AUTO_INCREMENT PRIMARY KEY,
　user_id INTEGER,
  body TEXT
);
CREATE TABLE reply (
　id INTEGER AUTO_INCREMENT PRIMARY KEY,
　user_id INTEGER,
　thread_id ITNEGER,
　body TEXT
);

リレーションは大まかに
user←thread←reply
という感じです。
replyテーブルはuser_idを持ちます。

この場合のZend_Db_Tableは

<?php
class User extends Zend_Db_Table {
　protected $_dependentTables = array(
　　　　"Thread","Reply");　// ThreadクラスとReplyクラスに参照されている
}
class Thread extends Zend_Db_Table {
　protected $_dependentTables = array(
　　　　"Reply");　// Replyクラスに参照されている
　protected $_referenceMap = array(
　　　　"User" => array(　// Userクラスを参照している(`Usre`は何でも可)
　　　　　　　　"columns" => array("user_id"),　// user_idが外部キー
　　　　　　　　"refTableClass" => "User",　// 参照先クラス名はUser
　　　　　　　　"refColumns" => array("id"),　// 参照先のキーはid
　　　　　　　　"onDelete" => self::RESTRICT,　// Userが削除されてもThreadは削除しない
　　　　　　　　"onUpdate" => self::CASCADE　// Userが更新されたらThreadmo更新する
　　　　　　　　)
　　　　);
}
class Reply extends Zend_Db_Table {
　protected $_referenceMap = array(
　　　　"User" => array(
　　　　　　　　"columns" => array("user_id"),
　　　　　　　　"refTableClass" => "User",
　　　　　　　　"refColumns" => array("id"),
　　　　　　　　"onDelete" => self::RESTRICT,
　　　　　　　　"onUpdate" => self::CASCADE
　　　　　　　　),
　　　　"Thread" => array(
　　　　　　　　"columns" => array("thread_id"),
　　　　　　　　"refTableClass" => "Thread",
　　　　　　　　"refColumns" => array("id"),
　　　　　　　　"onDelete" => self::CASCADE,
　　　　　　　　"onUpdate" => self::CASCADE
　　　　　　　　)
　　　　);
}

となります。
要は

protected $_dependentTables = array();

で参照してきているクラス名

protected $_referenceMap = array();

で参照しているクラス名
を記す事になります。

ではUserオブジェクトから参照されているThread（またはReply）を取得するには

<?php
$thread_rowset = $user->findDependentRowset("Thread");
または
$thread_rowset = $user->findThread();

となります。

Relpyオブジェクトから参照しているUser（またはThread）を取得するには

<?php
$user = $reply->findParentRow("User");
または
$user = $reply->findParentUser();

となります。

ん～、ZendFrameworkなかなかイイねー。

jQueryでクリックされたエレメントの属性を取得する

どうも、俺＠仕事中です。

jQuery＋Ajaxを使ってインタラクティブなデザインのシステムを構築中なのですが、ちょっとハマったのでめも。

画面にテーブルとか使って、何かデータを一覧表示した場合に、クリックされた要素のvalue値やname属性の値やidの値とか取りたくて、取りたくて、、、取れなくて1時間悩みました。。。

例えば

<td><a href="foo" id="foo_id" value="foo_value">FOO</a></td>
<td><a href="bar" id="bar_id" value="bar_value">BAR</a></td>

のようなテーブルがあるとします。

これでjQueryで'FOO'をクリックした時に、その<a>タグに指定してあるid値やvalue値を取得したい！場合は

$("a").click(function() {
　id = $(this).attr("id");　// idの取得
　val = $(this).attr("value");　// valueの取得
});

という調べたらすぐ分かるような方法で取得できます。

調べ方ってとっても重要ですね！！
以上～～～～。

Zend_Db_SelectでWhere句を取得

どうも俺＠残業中です。
引き続きZendFrameworkでアプリ開発を行っております。

Zend_Db_SelectというSQL文を自動生成してくれるクラスが用意されているのですが、
まぁSQLくらい直接書けよ。というツッコミは置いておいて、どうせなら用意されているクラスを利用したい＋オブジェクティブに作りたいという事で使ってみました。

<?php $select = $myTable->select();

という感じで、Zend_Db_Selectオブジェトの生成はとても楽です。
ちなみに$myTableというのはZend_Db_Tableクラスを継承したクラスです。

Where句を作成するには

<?php $select->where("id = ?", $id);

のようにすると

WHERE id = $id 

というWhere句が作られます。

OrderBy句は

<?php $select->order("id DESC");

で

ORDER BY id DESC 

ができます。
超便利ですね。

あとはもう

<?php $select->query();

でZend_Db_Statementオブジェクトを取得しても良し

<?php $myTable->fetchAll($select);

でZend_Db_Rowsetオブジェクトを取得しても良し

<?php $dbAdapter->query($select->__toString());

でZend_Db_Statementオブジェクトを取得しても良し

<?php $dbAdapter->fetchAll($select);

などなど
使い道は無数にありますので、お好きなようにどうぞ。


で、このZend_Db_Selectを使って
「Where句だけ取りたい」
「OrderBy句だけ取りたい」
などあると思います。

その時は

<?php $select->getPart(Zend_Db_Select::WHERE);

でWhere句取得。

<?php $select->getPart(Zend_Db_Select::ORDER);

でOrderBy句取得。
などできちゃいます。
詳しくは、ZendFramework::Select オブジェクトの一部の取得で。


以上どぇーす。

lessコマンドのオプション

どうも俺＠仕事中です。
今日はunixコマンド`less`についてメモります。

$ less filename

または

$ cat filename | less

とやると、1画面に収まりきらないファイル内容をページングのように見る事ができる超基本的なコマンドです。

lessコマンドにはいろんなオプションがありますが、普段あまりお目にかからないオプションを書いておきます。

$ less -m filename

画面に常に現在行のパーセンテージを表示

$ less -M filename

画面に常に現在行のパーセンテージと行数を表示

$ less -n filename

行数の計算をしない。大きなサイズのファイルをlessするとき重宝

$ less -N filename

行頭に行数を表示

$ less -r filename

バイナリデータをそのまま表示。日本語ファイルをlessするとき重宝

$ less -R filename

バイナリファイルでも強制的に表示。"xxx" may be a binary file. See it anyway?という質問がされなくなる。

以上でーす。

Zend_Db_Table_AbstractでZend_Cacheを利用して負荷軽減

どうも俺＠ZendFrameworkを利用してWEBアプリを開発中です。

Zend_Db_Tableを継承してクラスを作成すれば、すでに様々なメソッドを持ったクラス（Bean）を作成することができます。

<?php
class MyBean extends Zend_Db_Table {
}

で、このZend_Db_Tableの生成は

<?php
$bean = new MyBean();

です。

<?php
var_dump($bean->info());

とすると、そのテーブルに関するメタデータ情報が連想配列で取得できます。

・name => テーブル名
・cols => テーブルのカラム名の配列
・primary => 主キーのカラム名の配列
・metadeta => カラム名とカラムに関する情報を関連付けた連想配列。discribeTable()と同じ内容
・rowClass => 行オブジェクト(Zend_Db_Table_Row)で使用するクラス名
・rowsetClass => 行セットオブジェクト(Zend_Db_Table_Rowset)で使用するクラス名
・referenceMap => このテーブルが参照する親テーブルの情報を含む連想配列
・dependentTables => このテーブルを参照しているテーブルのクラス名配列

で、このZend_Db_Tableですが、生成する度にdiscribetable()というメソッドが呼ばれテーブル情報を取得します。とても便利なのですが、都度DB接続が行われ非効率すぎるのでZend_Cacheを利用してデータをキャッシュさせておきます。
discribeTable()が走るタイミングは
・insert()
・find()
・info()
を呼んだ時だそうです。
※参照　Zend_Db＿Table::メタデータのキャッシュ

<?php
$frontendOpt = array("automatic_serialization"=>true);
$backendOpt = array("cache_dir" => "/path/to/cache_dir");
$cache = Zend_Cache::factory("Core", "File", $frontendOpt, $backendOpt);
Zend_Db_Table_Abstract::setDefaultMetadataCache($cache);

これを、index.phpなどに設定しておけばメタデータキャッシュを利用してくれます。

Zend_Cacheについては公式（Zend_Cache）を参照してね。
以上です。

ZendFramework + PostgreSQL で文字化けエラー

どうも俺です。
ZendFramework1.8＋PostgreSQL8.3.7でPHP(5.2.6)アプリケーションを作成していたのですが、ハマったのでメモしておきます。

PostgreSQLは、データベース文字コードをSJISで作成できません。
なので携帯サイトでPHP（web）をSJISで作りたい場合は、PHP側の文字コードとPostgreSQL側の文字コードを変換しなければなりません。
一般的にはPostgreSQLは文字コードをEUC-JPかUTF8で作成します。

 $ createdb -E EUC-JP dbname

PHPではクエリを投げる前に

<?php
pg_set_client_encoding($connection, "SJIS");

とかやればイイのですが。。

ZendFrameworkでDB接続を行う場合は一般的に

<?php
$db = Zend_Db::factory("Pdo_Pgsql", array(
　　　　　　　　　　　　　　　　　　　"host" => "localhost",
　　　　　　　　　　　　　　　　　　　"dbname" => "dbname"));

のように使うと思います。（俺だけか？ｗ）

この場合、全てのactionメソッドでDB接続をする度に

<?php
$db->query("SET NAMES 'SJIS'");

って処理させるのが面倒くさい！

<?php
Zend_Db::factory(); 

した際に自動でクライアント文字コードをSJISにしたい！
という事で2時間悩みました。。。

こんな場合はZend_Db::factory()の第2引数のパラメータに

<?php
$db = Zend_Db::factory("Pdo_Pgsql", array(
　　　　　　　　　　　　　　　　　　　"host" => "localhost",
　　　　　　　　　　　　　　　　　　　"dbname" => "dbname",
　　　　　　　　　　　　　　　　　　　"charset" => "SJIS"));

とcharsetパラメータを追加すれば良いみたいです。

以上｡･ﾟ･(ﾉε`)･ﾟ･｡

Linuxリダイレクト処理めも

どうも俺です。
今日はLinuxの出力（標準出力、標準エラー出力）についてまとめておこうと思います。

まず、パイプについてですが、とあるコマンドの結果を別のコマンドへ引き継ぐ場合は

$ ls | grep foo

などとします。
これはlsした一覧からfooにマッチするものだけを表示します。

基本的に標準出力は

$ echo 'foo' > foo.log

で、'foo'をfoo.logに書き込みます。
追記書き込みの場合は

$ echo 'foo' >> foo.log

です。

標準出力と標準エラー出力を同じファイルへ書き出すには
csh tcshの場合

$ command >& foo.log

bashの場合

$ command > foo.log 2>&1

です。

標準出力と標準エラー出力を別々のファイルへ書き出すには
csh tcshの場合

$ (command > stdout.log) >& stderr.log

bashの場合

$ command > stdout.log 2> stderr.log

です。

標準出力だけファイルへ書き出して、標準エラー出力は書き出さない場合は
csh tcshの場合

$ (command > foo.log) >& /dev/null

bashの場合

$ command > foo.log 2> /dev/null

です。

とりえあずこれだけあれば、何とかなるはずです。
あとはみなさま調べてみてください。

以上｡･ﾟ･(ﾉε`)･ﾟ･｡

SQLiteで"unable to open database file"エラー

SQLite＋PHPで簡単なアプリ作っていたら
「unable to open database file」というエラーが出ました。。
和訳すると「データベースファイルを開く事ができない」です。
エラーメッセージ内にあるパスには確かにデータベースファイル「XX.db」はあるのに。。

ということで、ファイルのパーミッションを変えて見ましたが変わらず。

ということで、ファイルの置かれたディレクトリのパーミッションを変えたらいけた！

以上どぇす。

MySQLでレプリケーション

Webアプリケーションを作成していて、MySQLサーバの負荷が高くなってきた場合、
・サーバスペックUP
・アプリケーションプログラム修正
・クエリ見直し
など色々対処方法はあるかと思います。
ま、一番言いのはサーバスペックUPだと思うのですが、どうしようもないくらい負荷が高くなった場合はMySQLサーバを複数台用意して、負荷を分散させましょう！
という事で、今日はMySQLの機能としてあるレプリケーション（Master-Slave）のやり方を簡単にメモ。

MySQLのレプリケーションはMaster側でバイナリログを取得していないといけないので

[Master]
# vim /etc/my.cnf
[mysqld]
server-id = 1　←サーバIDはSlave側と重複しないように！
log-bin=mysql-bin　←バイナリログ取得
expire_logs_days=15　←バイナリログ保存期間（任意）
binlog-do-db=[DB名] ←特定のデータベースのみバイナリログ取得（任意）

とします。
次にMasterに対しSlave側からアクセスできる新規ユーザを作成します。

[Master]
mysql> GRANT REPLICATION SLAVE ON *.* TO slave_user@192.168.0.2(Slave_IP);

では、Master側のデータをSlaveへ移動させます。

[Master]
mysql> FLUSH TABLES WITH READ LOCK;

でDBが更新されないようロックします。
Master側のバイナリログ状態を確認

[Master]
mysql> SHOW MASTER STATUS;
+-----------------+----------+--------------+------------------+
| File            | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+-----------------+----------+--------------+------------------+
| mysql-bin.000001|      112 |              |                  |
+-----------------+----------+--------------+------------------+
1 row in set (0.00 sec)

この「File」と「Position」の値はメモっておきます。コピー中にデータの更新があった場合にこのPositionからの同期をさせるためです。
MySQLのデータコピーをします。

[Master]
# tar cvf master.tar /usr/local/mysql/data/[DB名dir]

MySQLのロックを解除します。

[Master]
mysql> UNLOCK TABLES;

次にSlave側の設定です。
まず先ほど圧縮したMySQLのデータを展開します。

[Slave]
# cd /usr/local/mysql/data
# tar xvf master.tar

次にSlaveのmy.cnfの設定です。

[Slave]
# vim /etc/my.cnf
[mysqld]
server-id = 2 ←Master側と重複しないように！
read-only ←Slave側は更新しないように設定。SUPER権限を持つユーザのみが更新クエリを実行できる。
replicate-do-db = [DB名] ←指定したDBだけレプリケートする場合（任意）

Masterへ接続する設定を書いてもOK（？）です。

[Slave]
# vim /etc/my.cnf
master-host = 192.168.0.1 ←MasterIP
master-user = slave_user ←REPLICATION SLAVE権限を持つユーザ

と、my.cnfに書いても良いか、直接DBをイジった方が早い。

[Slave]
mysql> CHANGE MASTER TO
        MASTER_HOST = '192.168.0.1',
        MASTER_USER = 'slave_user',
        MASTER_LOG_FILE = 'mysql-bin.000001', ←バイナリログ名
         MASTER_LOG_POST = 112; ←先ほどメモったPositionの値

でOKです。
ではレプリケーション開始します。

[Slave]
mysql> SLAVE START;

ちなみに終了のときは

[Slave]
mysql> SLAVE STOP;

です。
めっちゃ簡単ですけど、もしSlaveが落ちて自動再起動とかなった場合にSLAVE STARTってっ誰がやるんだろ。。

MySQLを同一サーバ上に複数起動

どうも、俺です。
今日はMySQLを一つのサーバ内に複数起動する方法を超簡単にメモします。
OSはLinuxです。
そして、すでにデフォルトポート3306でのMySQLは起動しているものとします。

# netstat -tpln | grep mysql
tcp   0 0.0.0.0:3306   0.0.0.0:*   LISTEN   30029/mysqld

まず、新しいmy.cnfを作成します。

# vim /etc/my.3307.cnf
[client]
port     = 3307
socket   = /tmp/mysql.3307.sock
[mysqld]
pid-file = /usr/local/mysql/var.3307/mysqld.3307.pid
datadir  = /usr/local/mysql/var.3307
port     = 3307
socket   = /tmp/mysql.3307.sock

もう一つのMySQLはポート3307で起動するものとします。
次にmysql_install_dbを打ちます。

# mysql_install_db --defaults-file=/etc/my.3307.cnf --user=mysql

で/etc/my.3307.cnfを指定します。

では、MySQL起動します。

# /usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.3307.cnf & 

で起動できます。
このポート3307のMySQLへログインするには

# mysql --socket=/tmp/mysql.3307.sock

とソケットを指定すればOKです。

以上！！

vimインストールで'os_unix.c:45:30 error: selinux/selinux.h: No such file or directory'というエラーが出る

どうも俺です。
僕は新しいサーバが到着したらまず行うのがログインシェルの設定です。
次にvimのインストール（ソース）なのですが、make でこけまくったのでメモします。

OSはCentOS5.3。vimは7.2です。

まずソースをダウンロード

# wget 'ftp://ftp.vim.org/pub/vim/unix/vim-7.2.tar.bz2'
# wget 'ftp://ftp.vim.org/pub/vim/extra/vim-7.2-lang.tar.gz'
# wget 'ftp://ftp.vim.org/pub/vim/extra/vim-7.2-extra.tar.gz'

します。
次に解凍

# tar jxvf vim-7.2.tar.bz2
# tar zxvf vim-7.2-lang.tar.gz
# tar zxvf vim-7.2-extra.tar.gz

します。
次に僕はいつもパッチを当てます（※当てなくても良いと思う）

# cd vim72
# mkdir patches
# cd patches
# curl -O 'ftp://ftp.vim.org/pub/vim/patches/7.2/7.2.[001-182]'
... ここでパッチファイルをDLするのをしばし待つ ...
# cd ..
# cat patches/7.2.* | patch -p0
# ./configure --enable-multibyte --enable-xim --enable-fontset --with-features=big
# make && make install

なのですが、今回ここのmakeでずっこけました。
エラー内容は

os_unix.c:45:30: error: selinux/selinux.h: No such file or directory
os_unix.c: In function 'mch_copy_sec':
os_unix.c:2620: warning: implicit declaration of function 'is_selinux_enabled'
os_unix.c:2624: error: 'security_context_t' undeclared (first use in this function)
os_unix.c:2624: error: (Each undeclared identifier is reported only once
os_unix.c:2624: error: for each function it appears in.)....

というエラー文言がズラズラと、、。

「ん～面倒くさい、、、」となりました。
一応os_unix.cファイルなど眺めて見たものの長すぎるため５分で終了。
どうもselinux関連のエラーっぽいので、再度configureオプションを確かめる。

# ./configure --help | less

とすると

  --disable-selinux       Don't check for SELinux support.

「ん！」らしきオプションがあるじゃないか！
というわけでこのオプションを付けてmakeすればインストールできました。

深い原因調査はまた今度、または偉い人に聞いてみてください( ´艸｀)

linuxで操作ログを残すscriptコマンド

あまり使わないかもしれませんが、ユーザの実行したコマンドの履歴は

$ history

で確認することが可能です。
これでも十分ですが、もう一つ

$ script log_filename.log

とすることで、log_filename.logにログを残すことが可能です。

ロギングを終了する場合は、

$ exit

または

$ Ctrl + D

で終了します。

svn(subversion)でtracが文字化け

subversionので利用されるtracはデフォルトでutf8で表示されます。
プログラムソースをsjisやeuc-jpで書いた場合、tracを表示すると文字化けが起こります。
これを解決するには

$ svn propset svn:mime 'text/plain; charset=euc-jp' *.php　←euc-jpの場合
$ svn commit -m "commit"

でOKです。

svnのコマンドの

$ svn proplist svn:mime xxx.php

とやればxxx.phpに設定されているプロパティを確認することができます。（-vオプションで詳細も表示）

iptablesで"ip_conntrack"エラーが出る場合

iptablesはパケットフィルタリングを行う便利な機能です。
設定したパケットを追跡するために
/proc/net/ip_conntrack
というファイルへパケット情報を記録、追跡します。

これがたまに大規模なシステムになると

# vim /var/log/messages
ip_conntrack: maximum limit of xxxx entries exceeded

というメッセージが表示される場合があります。

原因は、iptablesで追跡するパケットの上限数を超えてしまっているからです。
その上限数は
/proc/sys/net/ipv4/ip_conntrack_max
に書かれているのですが、システムで自動的に設定されています。

対処法は

# echo '100000' > /proc/sys/net/ipv4/ip_conntrack_max

と上限数を上げてあげるか、または

# vim /etc/sysctl.conf
net.ipv4.ip_conntrack_max = 100000
# sysctl -p

のようにしてあげるか、で大丈夫です。

/proc/sys/net/ipv4/ip_conntrack_maxの上限値は、搭載メモリーに依存するらしいので、増やしすぎには注意が必要です。

追跡中のip_conntrackの数を調べるには

# cat /proc/net/ip_conntrack | wc -l

で分かります。

大規模システムにもなると、外部システムとの連携などでptablesの監視パケットの数が膨大になるので注意が必要ですね。

MySQLで Host '...' is blocked エラー

どうも俺です。
先日とあるサーバのログにMySQLが吐き出したとおぼしき

Host '...' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'

というエラーが出ていました。

これはMySQLが接続エラーを数回繰り返し出すと、そのホストからの接続を遮断するという機能によるものらしいです。
参照：http://dev.mysql.com/doc/refman/4.1/ja/blocked-host.html

この場合はログに書いてある通り

# mysqladmin flush-hosts

で解決できます。
デフォルトでは10回の接続エラーでなるようですが、変更する場合は

# mysqld_safe -O max_connect_errors=10000 &

を実行して変更できます。

パスワードなどの認証エラーも考えられますが、分かりにくいのがネットワーク関連のエラーで接続できない場合などです。
その場合は、値を増やしておく方が良いかもしれません。

mysqldumpで文字化けデータを頑張ってダンプ&リストア

どうも俺です。
昨日に引き続きMySQL関連のテーマをメモします。

mysqldumpでデータをダンプ＆別サーバへリストアなんて事あると思います。
その時に文字化けで少しハマったのでメモしておきます。

色んなブログにも記されていますが、mysqldumpでデータを取得すると自動でutf8で取得されてしまいます。
利用しているデータベースがsjis(cp932)を利用しているとします。

mysql> show variables like '%char%';
+--------------------------+---------------------------------------+
| Variable_name            | Value                                 |
+--------------------------+---------------------------------------+
| character_set_client     | cp932                                 |
| character_set_connection | cp932                                 |
| character_set_database   | cp932                                 |
| character_set_filesystem | binary                                |
| character_set_results    | cp932                                 |
| character_set_server     | cp932                                 |
| character_set_system     | utf8                                  |
| character_sets_dir       | /usr/local/mysql/data/mysql/charsets/ |
+--------------------------+---------------------------------------+

この状態でダンプと取ります。

# mysqldump DATABASE_NAME > msyql.dump

これをこのままリストアすると

# mysql DATABASE_NAME < mysql.dmp

文字化けが原因でリストアできない場合があります。

こんな場合は使用している文字コードに関係なく

# mysqldump DATABASE_NAME --default-character-set=binary > mysql.dump

と --default-character-set=binary オプションを付けてダンプを取り

# mysql DATABASE_NAME --default-character-set=binary < mysql.dump

と --default-character-set=binary オプションを付けてリストアすれば大丈夫です。

mysqldump でスキーマ（テーブル構成）のみ取得

どうも僕です。
忘れやすいのでメモ。

mysqldumpで中のデータは要らないけどテーブル構成のみ取得したい場合。

# mysqldump DATABASE_NAME -d > schema.sql
または
# mysqldump DATABASE_NAME --no-data > schema.sql

です。

以上、終わり( ´艸｀)

cpanモジュール

どうも。
muninの設定ついでにcpanについてもメモします。

cpanとはPerlモジュール群を置いているサイトのことで、cpanコマンドを使えば簡単にPerlモジュールをインストールできます。

# cpan install <モジュール名>

でもいいし、

# cpan
cpan> install <モジュール名>

でもOKです。
僕は仕事柄あまりPerlモジュールを利用することがないのですが、、。

Cpan::Miniというモジュールもあり、これはモジュール群を自分のローカルサーバへ落とす事ができます。

# cpan install Cpan::Mini
# minicpan -r http://ftp.cpan.jp/ -l ~/minicpan

これで1時間～半日かけてモジュール群を落としてきます。

ローカルへ落としたモジュールをインストールするには

# cpan
cpan> o conf urllist unshift ftp:///root/minicpan
cpan> o conf commit

でとりあえずローカルへ見に行くようになります。
あとは

# cpan
cpan> install <モジュール名>

でOK！

簡単ですね。
ちなみに、cpanで設定した項目をリセットするには

# cpan
cpan> o conf init

です。

muninインストールめも

どうも俺です。
今まで仕事でサーバ監視ツールはMRTGを使っていましたが、今回思いつきでmuninを使ってみようと思いインストールしたのでメモします。

既に数多くの解説サイトがあるのでそれらを参考にしていたのですが、ほとんどがyumでインストールだったのですが、muninの内容を理解するためにソースからインストールしました。

今回は監視対象サーバ（munin-node）と監視サーバ（munin）は同一サーバで行います。
監視対象サーバと監視サーバを分ける場合は、都度読み替えたり付け加えたりしてください。僕もいずれ監視対象サーバーを増やす予定です。

まずは、muninユーザとグループ作成
<監視サーバ/監視対象サーバ>

# groupadd -g 4949 munin
# useradd -u 4949 -g munin -s /sbin/nologin munin

なぜかグループIDとユーザIDは4949ですが、これはmuninが仕様するポートがデフォルトで4949だからだと思います。
気になる人はIDを指定しなくても問題ありません。

次にmuninはRRDToolを必要とするのでインストール。これもソースから。
<監視サーバ>

# wget 'http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.0.x/rrdtool-1.0.49.tar.gz'
# tar zxvf rrdtool-1.0.49.tar.gz
# rrdtool-1.0.49
# ./configure
# make
# make install

RRDToolは1.0.x系でないと正常に動作しません。（munin_1.2.6の場合)

次にCPANモジュールをインストール。
CPANとはPerlモジュールを入手できるサイトのこと。CPANサーバへつなぎモジュールインストールを自動化してくれます。
<監視サーバー>

# cpan

と打つと対話モードになり、初回は設定をあれこれ聞かれます。
基本全て「Enter」でOKですが、最後に接続サーバを選択するよう質問されるので、そこはきちんと選んでください。
僕は「Asia」→「Japan」→「ftp.ringo.gr.jp」というところを選択しました。

<監視サーバ>

# cpan install Time::HiRes
# cpan install HTML::Template
# cpan install Net::SNMP　←SNMP利用する場合

結構時間かかりますが気長に待ってください。

では、munin本体のインストールです。
<監視サーバ/監視対象サーバ>

# wget 'http://jaist.dl.sourceforge.net/sourceforge/munin/munin_1.2.6.tar.gz'
# tar zxvf munin_1.2.6.tar.gz
# cd munin-1.2.6
ここで初期設定を変更したい場合は、Makefile.configを適宜修正
とりあえずこのままデフォルト設定で進めます。
# make install-main　←監視サーバ

これで監視サーバ側のインストールは終わりです。後はMRTGのようにcronでデータを取得できればグラフができます。

まだ監視対象サーバの設定ができていないので、監視対象サーバの設定を行います。
まず、CPANモジュールのインストール。
<監視対象サーバ>

# cpan install Net::Server::Fork

※よくあると思うけど、もし監視対象サーバがローカル接続のみの場合、
cpanコマンドは使えないので、グローバルに出ているサーバへ

# cpan install Net::Server::Fork

してから、@NICにあるNew::Server::Forkモジュールをftpかなんかで落とします。
僕の環境の場合、
/usr/lib/perl5/site_perl/5.8.5/Net
以下のファイル・ディレクトリ全てを持っていきました。

次に、先ほどのmunin-1.2.6で
<監視対象サーバ>

# make install-node install-node-plugins
/etc/opt/munin/plugins内へプラグインへのシンボリックリンクを作成
# /opt/munin/sbin/munin-node-configure --shell | sh

munin-nodeの自動起動設定
<監視対象サーバ>

# cp ${MUNIN-SRC-DIR}/dists/redhat/munin-node.rc /etc/init.d/munin-node ←環境に合わせてファイルを変えてください。
# chkconfig --add munin-node
# chkconfig munin-node on
# service munin-node start
ここでエラーの出る場合は/etc/init.d/munin-nodeを修正
24行目：/usr/sbin/munin-node　→　/opt/munin/sbin/munin-node

ひとまずココで監視対象側の設定は終わりです。


では設定ファイルを書き換えます。
<監視サーバ>

# vim /etc/opt/munin/munin.conf ←監視サーバ用設定ファイル

特に問題なければそのままでOK。

<監視対象サーバ>

# vim /etc/opt/munin/munin-node.conf ←監視対象サーバ用設定ファイル

これも問題なければそのままでOK。

cron設定
<監視サーバ>

# crontab -e -u munin
*/5 * * * * /opt/munin/bin/munin-cron 2>&1

このcronの設定を行う前に一度手動でテストしたほうが良い。

# /opt/munin/bin/munin-cron

と打つと

Can't locate RRDs.pm in @INC (@INC contains: 

というエラーが出ました。
これはRPDs.pmが見つからない（${PATH}に見つからないと言う事だと思う）ので

# cd /usr/local/src/rrdtool-1.0.x/perl-shared
# perl Makefile.PL
# make && make install

でサクッと解決。

でまた

# /opt/munin/bin/munin-cron

と打つと、
「これはmuninユーザでやった方がエエで！rootでやるなら--force-rootオプション付けたほうがエエけど、あまりスマートちゃうやん」と怒られました。
とりあえずこれでOKです。
--force-rootオプションを付けてやると、コマンドは成功するのですが生成されるファイルの所有者がrootになってしまうので、munin-cronのcronをmuninユーザで設定していると問題です。ま、rootでcron動かせばいいんだろうけどね。。。

<監視対象サーバ>

# service munin-node restart

以上で、終わりです。
あとはApacheの設定を
<監視サーバ>

# vim /usr/local/apache2/conf/httpd.conf
Alias /munin /opt/munin/var/www ←追加

ブラウザで
http://localhost/munin
とすればグラフが表示されます。

グラフが生成されない場合は、munin.confとmunin-node.conf内に書いてある
-- munin.conf
dbdir　データ保存先
htmldirhtml　ファイル保存先
logdir　ログ保存先
rundirlock　ファイル保存先

-- munin-node.conf
log_file　ログファイル名
pid_filepid　ファイル名

で指定されたディレクトリの所有者をmunin:muninにしてください。
特にlog_file / pid_fileは見落としやすいです。

mysql系のnodeをmuninに追加する場合は、
# vim /etc/opt/munin/plugin-conf.d/plugins.conf
[mysql*]
env.mysqladmin /usr/local/mysql/bin/mysqladmin
と、mysqladminへのパスを書く。

apache系のnodeをmuninに追加する場合は、
# vim /usr/local/apache2/conf/httpd.conf
Include conf/extra/httpd-info.conf

# vim /usr/local/apache2/conf/extra/httpd-info.conf
<Location /server-status>
　　SetHandler server-status
　　Order deny,allow
　　Deny from all
　　Allow from 127.0.0.1 localhost
</Location>
ExtendedStatus On
を追加すればヨロシ。

postfix系の監視で
find: deferred: Permission denied
find: active: Permission denied
find: maildrop: Permission denied
find: incoming: Permission denied
find: corrupt: Permission denied
find: hold: Permission denied
のようなログが出る場合は、
# vim /etc/opt/munin/plugin-conf.d/plugins.conf
[postfix_mailqueue]
user root
を追加でOK。

linuxでのユーザ管理

俺です。

今日はLinuxでユーザーを追加、修正、削除する管理コマンドについてメモります。
OS：CentOS 4.3

１）ユーザーの追加

# useradd -d [ホームディレクトリ] -s [ログインシェル] -g [グループ] ユーザー名

２）ユーザー情報の確認

# finger ユーザー名

３）パスワード変更

# passwd ユーザー名

４）ユーザー情報まとめて変更

# usermod -d [ホームディレクトリ] -s [ログインシェル] -g [グループ] ユーザー名

５）ユーザー削除

# userdel -r ユーザー名

-rオプションはホームディレクトリごと削除


fingerコマンドとusermodコマンドはあまり知られてないかも（俺だけ？）なので要チェックです。

NAGIOS nrpeで「Could not complete SSL handshake」

仕事でNAGIOS+nrpeの設定をしていたとき少しハマりました。

NAGIOS監視サーバー側でnrpeを利用してエージェントサーバー側を監視しようとしたのですが、タイトルの通り

Could not complete SSL handshake

エラーが出て接続できない、、、。

nrpeのバージョンは2.0
SSLに原因があると思って、監視サーバー側の呼び出しコマンドに -n オプションを付けてSSL無効にしたが×。
エージェントサーバー側にも -n オプションを付けたが×。

エージェント側のログ(/var/log/messages)を見てみてると、

Host xxx.xxx.xxx.xxx is not allowed to talk to us!

というログが、、、。

原因は、、
nrpe.cfgファイルのallowed_hosts=の項目に、CIDR形式(xxx.xxx.xxx.0/28みたいな形式)で許可するIPアドレスを書いていました、、。
というか、それでOKだと思ってました、、、。

だって、そこに

I would highly recommend adding entries in your /etc/hosts.allow file to allow .....

て書いてあるから。。。

正解は、

allowd_hosts=127.0.0.1,xxx.xxx.xx.xxx,yyy.yyy.yyy.yyy（←許可するIPをカンマでつなぐ）

ちなみにエージェントサーバー側で

# /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d

と打ってnrpeを起動する場合は、nrpe.cfgファイルのallowd_hosts=項目を見て許可IPを決めますが、デーモンに登録し

# /sbin/service nrpe start

みたいに起動する場合は、/etc/xinetd.d/nrpe（ファイル名は任意）内のonly_from=の項目が有効になります。

以上でーす。

再マウント

linuxにおいて、新たなデバイスをマウントする場合は

# mount [デバイス] [マウントポジション] -t [タイプ] -o [オプション,[オプション],,,]

でマウントします。

例えば

# mount tmpfs /tmpfs -t tmpfs -o rw,mode=777,size=512m

では、
/tmpfsへtmpfsファイルシステムを、ReadWrite、パーミッション0777、512MBでマウントします。


これを途中で1024MBへ変更したい場合は
一旦umountしたあとで、mountする方法もありますが

# mount tmpfs /tmpfs -t tmpfs -o rw,mode=777,size=1024m,remount

と、オプションにremountを付けてもOKです。

postgresqlのslow-log

基本的なことなのかも知れませんが、postgresql用スローログの取得方法についてメモ。
僕のテストサーバーでのPostgresqlバージョンは7.4.12です。

１）postgresql.confの設定（ソースからインストールした場合は/usr/local/pgsql/data下にあります）

syslog = 2 # range 0-2; 0=stdout; 1=both; 2=syslog
log_min_duration_statement = 100 # milliseconds
syslog_facility = 'LOCAL0'　# この設定はなくてもOK?

を追加。（クエリ実行に100ミリ秒以上かかったクエリをsyslogへ出力。facilityはlocal0に設定）

２）/etc/syslog.confの設定

local0.* /var/log/postgres

を追加。（facility0を/var/log/postgresへログ出力）

*.info;mail.none;authpriv.none;cron.none /var/log/messages

をコメントアウトして

*.info;mail.none;authpriv.none;cron.none;local0.none /var/log/messages

を追加。（これがないと/var/log/messagesと/var/log/postgresの両方にログが出てしまう）

３）postgresqlとsyslogを再起動

# /sbin/service postgres reload
# /sbin/service syslog restart

以上で、実行に時間のかかるクエリのログが取得できます。
他にもpostgresql.confでいろいろ設定できるようなので、試してみる価値ありそうです。

これ試してみて、サーバーが重くなったら即時に設定を元に戻してpostgresqlとsyslogを再起動してください。

以上｡･ﾟ･(ﾉε`)･ﾟ･｡

fsockopen()でタイムアウト

よくWEBサイトで、広告バナーを広告サーバー（ADサーバー）から取得→表示という事が行われます。

その場合、phpなサイトではfsockopen()を使って、ソケット通信でバナーを取得する事が多いと思うのですがその場合のメモ。

※以下PHPマニュアルより

resource fsockopen ( string $hostname [, int $port [, int &$errno [, string &$errstr [, float $timeout ]]]] )
第5引数の float $timeout はソケット通信時のタイムアウト時間（秒）です。

で！僕はtimeout秒数は、設定した秒数ソケットの応答がなかった場合に接続を断念するものだと思っていました。

いや、そうなんですけど、言葉で説明むずかしいのですが、
１）ソケット接続完了
２）fputs()で情報を取得しに行く
３）応答がない、、、
４）timeout秒だけ頑張る
５）それでも応答がなければ諦める
↑のような動作だと思っていたのです。

調べてみると、実はそうではなくtimeout秒数は、ソケット接続を確立させるために待つ秒数であり、接続完了後に応答がなくて待つ秒数ではないみたいです。（実際そういう現象に遭遇しました、、＞＜）

ソケットは接続確立されたが、ソケット接続先のサーバーから応答がない場合に切断したい場合の処理は

soket_set_timeout()と
stream_get_meta_data()を使え！

array stream_get_meta_data ( resource $stream )
既存の stream に関する情報を取得します。 ストリームは fopen() か、 fsockopen() か、pfsockopen() で 作成されたいずれのものも指定できます。 結果の配列は次のような項目を含みます。

timed_out (bool ) - 最後に fread() または fgets() でデータを待っている時にタイムアウトした場合 TRUE を返します。

この関数は、結果が配列で返ってくるのですがその中の'time_out'がtrueだった場合は応答時間切れのフラグです。

-- 以下サンプル

// ソケットでHOST:PORTに接続（TIMEOUT秒は頑張る）
if ($fp = @fsockopen(HOST, PORT, err_no, err_str, TIMEOUT)) {
　　// 接続確立したら、タイムアウトは5秒に設定
　　socket_set_timeout($fp, 5);
　　// ソケットのメタデータを取得
　　$socket_data_arr = stream_get_meta_data($fp);
　　// ソケットでデータを送信
　　fputs($fp, $hoge);
　　// 応答があれば応答を取得
　　$buf = "";
　　// $socket_data_arr[time_out"]がtrueなら接続タイムアウト！
　　while (!feof($fp) && !$socket_data_arr["time_out"]) {
　　　　$buf .= fgets($fp, 1024);
　　}
　　fclose($fp);
}

以上｡･ﾟ･(ﾉε`)･ﾟ･｡

linuxのlocale設定メモ

イマイチLinuxについて分からないことが多いです。
例えばjavaで

public static void main(String[] args) {
    System.out.println("ほげ");
}

と、EUC-JPで作成した場合に

１）まず、コンパイルで怒られた。

# javac Hoge.java

「コラー！！"??????"ってなんじゃー！？ASCIIコードマッピングにないでー！怒」
みたいな感じで。

２）だから、コンパイルにエンコードオプションをつける

# javac -encoding euc-jp Hoge.java

するとコンパイルできる。

３）じゃあ実行してみる。予想では標準出力（僕のテスト環境ではコンソール画面）に「ほげ」と出る予定。
しかし、出ない。というか文字化け（？）

# java Hoge

４）なんでだろぅ？と熟考したところ、あ！そういえば環境変数LANG=Cにしてたわ！ということで、LANG=ja_JP.euc_JPに！！

５）ところが僕のテストサーバー（ubuntu)は、ja_JP.euc_JPがないみたい、、、。UTF8しかない。

# locale -a | grep ja
ja_JP.utf8

６）ココらへんからだいぶ曖昧ですが、LANG=に存在しないロケール情報を登録してもLinux側で設定してくれないみたい？

# export LANG=foobartestest (←ありえないロケール)
# echo $LANG
foobartesttest

となるが、実際はデフォルトの（僕の場合はC）LANGで表示される。

７）という事で、ubuntuにEUC-JPとついでにSJISを入れてあげる。

# localedef -i ja_JP -f EUC-JP ja_JP.eucJP
# localedef -i ja_JP -f SJIS ja_JP.sjis
# locale -a | grep ja
ja_JP.eucjp
ja_JP.sjis
ja_JP.utf8

入った！

８）では、Linuxコンソールの文字コードをeucjpにして、もう一度

# java Hoge
ほげ

出た！！！！

とりあえず、そんな上記のような感じでjavaで日本語表示できました。

まー本来の目的はjavaで日本語表示することではなかったのですが、とりあえずLinuxの言語設定に関して少し知識が増えたかな？という感じでした。

apacheのカスタムエラーレスポンスについてメモ

この概要は表示できません。投稿を閲覧するには ここをクリック してください。

[Linux]openしているプロセス情報を表示する

どうも、俺です。

今扱っているWEBシステムで、セッションファイルとApacheのアクセスログを/tmpではなく/tmpfsとしてメモリ上に保存しています。

ある日/tmpfsが上限の900MBに達してしまい、「こりゃヤバイ！」ということで600MB程あるApacheのアクセスログをローテートさせたのですが、/tmpfsの使用容量はほとんど変わりません。

# df
Filesystem　1K-blocks　Used　　　Available　Use%　Mounted on
/tmpfs　　　　921600　　　873120 48480　　　95%　　/tmpfs

実は、Apacheアクセスログをローテートさせた時に再起動も行っているのですが、
とある子プロセスがゾンビとなり、access_logへのポインタを保持し続けていたようです。
なので

# ls -l /tmpfs

としても出てこないのですが、古いaccess_logが/tmpfs上に残っていたようです。

# /usr/sbin/lsof | grep deleted

とすれば、本来であればあるはずのないaccess_logが出てきました。

あとはそのプロセスをkillして万事解決です。
しかし、なんでApacheの子プロセス残っちゃったのか調べないとな～。。。