2014年10月23日木曜日

AWSガチャは下手なチューニングよりも効果が出る?

foxfoto_archives

Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。
そのパフォーマンス差は、どれくらいなのか?気になったので測ってみました。

検証環境はこんな感じです。
AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988)
Instance Type: c3.xlarge

1)Magnetic(standard)
2)Magnetic(standard) + EBS-Optimized
3)General Purpose (SSD) + EBS-Optimized
4)Provisioned IOPS (IOPS 1000) + EBS-Optimized

上記のディスクを接続した各10インスタンスづつ立てて、ベンチマークします。

fioでベンチマーク

まず。fioでIOPSを調べます。

fioをインストール。
# yum -y install epel-release.noarch
# yum -y install fio
fioをランダムリード・モードで実行。
# fio -rw=randread -bs=4k -size=1G -numjobs=32 -runtime=60 -direct=1 -invalidate=1 -ioengine=libaio -iodepth=32 -iodepth_batch=32 -group_reporting -name=randread


インスタンスによって差異が出てきました。

dbenchでベンチマーク

違うベンチマークツールでスループットを調べてみます。
ベンチマークには、dbench(https://dbench.samba.org/)を使います。

dbenchをインストール。
# yum -y install dbench
dbenchを実行。
# dbench 5 -D . > dbench.log



かなりの差が出てしましいました。

まとめ

インスタンスによっては、ディスク性能でけっこうな差がでてしまいました。

Magnetic(standard)はAWSガチャによってかなりの性能差が出ます。EBS-Optimizedをつけても変わりません。

一見、General Purpose (SSD)が良い結果を出しているように見えますが、バーストしている状態だと思われます。数十回ベンチマークをかけたら仕様どおりガクンと性能が落ちました。
(最も低い結果で iops=305, Throughput 75.5844 MB/sec, max_latency=7719.676 ms ほど)
長時間連続して負荷がかかる環境には使わないほうがよいでしょう。
逆に、バッチ処理などの用途では威力を発揮しそうです。
General Purpose (SSD)のバーストについては、こちらの記事が参考になります。
『Amazon EBSのGeneral Purpose(SSD)のバーストルールを理解する | Developers.IO』
http://dev.classmethod.jp/cloud/study-ebs-ssd-burst-rule/

 Provisioned IOPSはまあまあ安定しています。

ちなみにUnixBenchも試してみましたが、これは主にCPUへのベンチマークツールなので、差は殆どありませんでした。
MySQLのマスターサーバなどでディスク性能がシビアに要求される用途では、Provisioned IOPSを選ぶとよいでしょう。

※ 2014/10/24 General Purpose (SSD) + EBS-Optimized と Provisioned IOPS (IOPS 1000) + EBS-Optimized のベンチマークを追記。

2014年10月21日火曜日

CentOS 7にMySQL 5.6をレポジトリからインストール

Christian Ditaputratama


そういえば、まだ、CentOS 7をあまりいじっていなかったので、とりあえず手始めにMySQLをインストールしてみました。

環境はAmazon EC2です。
AMIは、CentOS 7 (x86_64) with Updates HVMです。

AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988)
Instance Type: c3.xlarge
EBS: General Purpose (SSD)

* こちらのURLから最新のMySQLのyumレポジトリを探します。
http://dev.mysql.com/downloads/repo/yum/
Red Hat Enterprise Linux 7のDownloadリンクをクリック -> "No thanks, just start my download."のURLが最新です。

* MySQLのレポジトリをインストール。el7を選びます。
# rpm -i http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

* MySQLをインストール。
# yum install mysql-community-server mysql-community-devel

* MySQLサービスをスタート。/etc/init.d/mysqldじゃあなくなっているので注意です。
# service mysqld start

* MySQLのステータスをチェック。色々出てくるようになりました。
# service mysqld status -l
edirecting to /bin/systemctl status  -l mysqld.service
mysqld.service - MySQL Community Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; disabled)
   Active: active (running) since Wed 2014-10-22 01:18:38 UTC; 1min 43s ago
  Process: 1513 ExecStartPost=/usr/bin/mysql-systemd-start post (code=exited, status=0/SUCCESS)
  Process: 1454 ExecStartPre=/usr/bin/mysql-systemd-start pre (code=exited, status=0/SUCCESS)
 Main PID: 1512 (mysqld_safe)
   CGroup: /system.slice/mysqld.service
           ├─1512 /bin/sh /usr/bin/mysqld_safe
           └─1652 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mysqld.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock

Oct 22 01:18:37 ip-172-31-7-208 mysql-systemd-start[1454]: Support MySQL by buying support/licenses at http://shop.mysql.com
Oct 22 01:18:37 ip-172-31-7-208 mysql-systemd-start[1454]: Note: new default config file not created.
Oct 22 01:18:37 ip-172-31-7-208 mysql-systemd-start[1454]: Please make sure your config file is current
Oct 22 01:18:37 ip-172-31-7-208 mysql-systemd-start[1454]: WARNING: Default config file /etc/my.cnf exists on the system
Oct 22 01:18:37 ip-172-31-7-208 mysql-systemd-start[1454]: This file will be read by default by the MySQL server
Oct 22 01:18:37 ip-172-31-7-208 mysql-systemd-start[1454]: If you do not want to use this, either remove it, or use the
Oct 22 01:18:37 ip-172-31-7-208 mysql-systemd-start[1454]: --defaults-file argument to mysqld_safe when starting the server
Oct 22 01:18:37 ip-172-31-7-208 mysqld_safe[1512]: 141022 01:18:37 mysqld_safe Logging to '/var/log/mysqld.log'.
Oct 22 01:18:37 ip-172-31-7-208 mysqld_safe[1512]: 141022 01:18:37 mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql
Oct 22 01:18:38 ip-172-31-7-208 systemd[1]: Started MySQL Community Server.


* MySQLを初期化。
※ パスワードは便宜設定してください
# mysql_secure_installation

NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MySQL
      SERVERS IN PRODUCTION USE!  PLEASE READ EACH STEP CAREFULLY!

In order to log into MySQL to secure it, we'll need the current
password for the root user.  If you've just installed MySQL, and
you haven't set the root password yet, the password will be blank,
so you should just press enter here.

Enter current password for root (enter for none):
OK, successfully used password, moving on...

Setting the root password ensures that nobody can log into the MySQL
root user without the proper authorisation.

Set root password? [Y/n] Y
New password:AAAAAA
Re-enter new password:AAAAAA
Password updated successfully!
Reloading privilege tables..
 ... Success!


By default, a MySQL installation has an anonymous user, allowing anyone
to log into MySQL without having to have a user account created for
them.  This is intended only for testing, and to make the installation
go a bit smoother.  You should remove them before moving into a
production environment.

Remove anonymous users? [Y/n] Y
 ... Success!

Normally, root should only be allowed to connect from 'localhost'.  This
ensures that someone cannot guess at the root password from the network.

Disallow root login remotely? [Y/n] Y
 ... Success!

By default, MySQL comes with a database named 'test' that anyone can
access.  This is also intended only for testing, and should be removed
before moving into a production environment.

Remove test database and access to it? [Y/n] Y
 - Dropping test database...
ERROR 1008 (HY000) at line 1: Can't drop database 'test'; database doesn't exist
 ... Failed!  Not critical, keep moving...
 - Removing privileges on test database...
 ... Success!

Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.

Reload privilege tables now? [Y/n] Y
 ... Success!




All done!  If you've completed all of the above steps, your MySQL
installation should now be secure.

Thanks for using MySQL!


Cleaning up...

* ログインしてみる
# mysql -uroot -pAAAAAA
Warning: Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 14
Server version: 5.6.21 MySQL Community Server (GPL)

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> SELECT "Hello World!";
+--------------+
| Hello World! |
+--------------+
| Hello World! |
+--------------+
1 row in set (0.00 sec)

ログインできました。
簡単ですね!

2014年10月20日月曜日

Amazon RDSのディスクスペースをチェックするnagiosプラグイン

Docklandsboy

https://github.com/takeshiyako2/nagios-plugins/tree/master/check_rds_free_storage_space

Amazon RDSのディスクスペースをチェックするnagiosのプラグインです。
Amazon RDSの情報は、CloudWatchから調べることができるのですが、非常に見づらいので、nagiosでもチェックできるようにしました。

コードは、こんな感じになりました。


使い方は、以下のようになります。
オプションがたくさんあります。

$ ./check_rds_free_storage_space.rb -a [CloudWatch access_key] -s [CloudWatch secret_key] -r [CloudWatch region] -e [RDS region] -i [DBInstanceIdentifier] -w [Nagios warning level] -c [Nagios critical level]

$ ./check_rds_free_storage_space.rb -a AAAAAA -s SSSSSS -r monitoring.ap-northeast-1.amazonaws.com -e rds.ap-northeast-1.amazonaws.com -i mysql1 -w 30 -c 20

リュージョンのところは、日本の場合は、ap-northeast-1が付くので要注意です。