2017年6月16日金曜日

Google Cloud Next '17 in Tokyo BigQuery の先進機能

Google Cloud Next のメモです。BigQuery中心にみたのですが、だいたい、入門〜中級へのステップアップTipsみたいな感じで紹介されていました。

以下、『BigQuery の先進機能 : クラウド データウェアハウスの未来を開く鍵』ジョーダン ティガー二氏のセッションのメモです。

・Explanationと仲良くしろ。中で動いているシャードを意識しろ。
・シャッフルを意識しろ。高速に計算できる。quotaに注意。ステージ N から N+1 へのマッピングが統計的に決定できない場合はシャッフルされる。
・大きすぎるJOIN。シャード過負荷になる場合がある。クエリを分割する。
・大きすぎるソート。ORDER BY と LIMITでシャードのリソースを減らして出す。
・大きすぎるカウント。APPROX_COUNT_DISTINCTが早い。正確さ注意。計算結果は概算値となる。エラーレートは 0.3% ~ 1%。内部では、HyperLogLog++を使っている。

写真は、セッションが始まる前のスライドテスト。
(セッション中、となりの人が居眠りしていましたね。。。)

2017年6月5日月曜日

AWS Summit Tokyo 2017キーノートWerner Vogels氏

AWS Summit Tokyo 2017キーノートWerner Vogels氏(Amazon.com CTO)の話のメモです。
全体的に、IoT、機械学習推しでトレンドにのっとった感じです。(Amazon Alexa推しともいえるかも)

・AWSすごい売れています。40%以上のYoY成長(第1四半期、2016年と2017年をくらべて。)10億ドル超のIT企業でトップ成長。
・ゲスト、ソラコムCTO安川氏。AWS使っていますという話。AWSはIoT推したいっぽい?
・ゲスト、NTT東日本の人。オンプレからAWS直結サービス出しました。
・ゲスト、ソニーモバイルの人。AWS IoT使ってます。
・ゲスト、グリーCTO藤本氏。日は昇りまた沈みゆく運命なのだ(超訳)。数千台オンプレサーバを消し去るためにAWS移行をやった。サービスを縮小するためにAWS移行したという話は史上初なのでは。気合。
・AWSは、EC2 FPGAインスタンス、機械学習、IoT、音声認識テキスト吐き出し、テキスト音声データ生成そろってますよ。Amazon Alexa作れますと言っているように聞こえる。内部で作ったAPIとかをAWSで出してくるスピードが早いと思う。

2017年3月9日木曜日

Memory Analyzer / Out of Memory Error

Memory Analyzerがヒープダンプを読むときにメモリ不足で落ちる減少を解消します。

経緯:
Java(Scala)アプリの開発をしているときに、大きめのヒープダンプを取ってMemory Analyzerに読み込ませようとしたら、アラートが出ました。内容は以下のような感じです。
Parsing heap dump from /User/yako/Desktop/heapdump.hprof 17.57.52 has encountered a problem.
An internal error occurred during: "Parsing heap dump from '/Users/yako/Desktop/heapdump.hprof 17.57.52'".
GC overhead limit exceeded

解決方法:
Memory Analyzer起動時に、もっとメモリを持たせてあげれば良いです。

1) jmapでヒープダンプを取得。
$ jmap -dump:format=b,file=./heapdump.hprof PID
2) Memory Analyzerを起動。
$ ./mat.app/Contents/MacOS/MemoryAnalyzer -vmargs -Xmx4g -XX:-UseGCOverheadLimit


環境: macOS Sierra

参考資料)
MemoryAnalyzer/FAQ - Eclipsepedia
https://wiki.eclipse.org/MemoryAnalyzer/FAQ