[Reading] Software Design（2012/6）

Software Design 6月号について書きます。


今号の特集は「ハイパフォーマンスコンピューティング技術」、「Fluentdで大規模データのログ収集&活用」がメインです。


ハイパフォーマンスコンピューティング技術では、データセンターで普及が進むInfiniBandという超高速通信プロトコル、SSD CachingやFusion-ioといった高速IO/ストレージ技術をテーマがテーマでインフラ技術の最先端を垣間みることができます。


個人的には、もう１つのメイン特集である「Fluentd」というログ収集ミドルウェアに興味津々でした。FluentdはOSSであり、魅力は導入コストの低さと耐障害性の高さ。そして数多の解析ミドルウェアを組み合わせることで、ログの利活用が容易に実現できそうなところです。 


具体的には、いまアプリケーションで吐いてるアプリログを、別プロセスを使用し準同期でログ収集サーバに転送可能。ログ収集サーバではインプット（収集）とアウトプット（書き出し）が別スレッドで動作し、個々の遅延に引きずられずに処理が完了し、リトライ機能によりログロストのリスクも最大限軽減されるという優れものです。 


記事によれば、リソース使用率もそこまで激しくなさそうだし、アプリケーション側であれこれログ収集の仕組みを実装したり、ログロスト防止の考慮をするより運用コストも下がりそうです。


この運用コストというのが、新たな仕組みの導入にあたり最も重要な検討事項だと思います。Fluentdの導入は、開発チームだけでなく運用チームにもメリットがあるということで、自社でも導入への道筋が立てやすいと感じました。


さらに収集したログはHadoopで解析し、結果をRDBやKVSに放り込んで活用するのが一般的になりつつあるようです。


とりあえず、どこかのサーバで評価してみたいと思います。