デブサミ2013メモ 【14-D-6】Yahoo! JAPANの新しいクラウドストレージサービス ～Yahoo! JAPANがRiakを選んだ理由とは？～

From Evernote:

【14-D-6】Yahoo! JAPANの新しいクラウドストレージサービス ～Yahoo! JAPANがRiakを選んだ理由とは？～ Clipped from: http://event.shoeisha.jp/detail/1/session/26/

阪田浩隆　ヤフー株式会社 マーケティングソリューションカンパニー 新規事業本部

2004年ヤフー株式会社入社。

認証システム、社内ツールの開発経験を経て、基盤システム開発リーダーに就任。

主に大規模分散コアシステムの開発・保守・運用に従事。

2009年7月よりオブジェクトストレージ開発を開始し、2011年10月Yahoo!ボックスをリリース。

2012年6月よりクラウド基盤・ビックデータインフラ開発のチーフアーキテクトを担当。

＝＝＝メモ＝＝＝
Yahooを支える技術

96年から分散kvsに取り組んできた（独自開発）
認証、課金、広告、cdn すべての基盤となるコアテクノロジになっている

データレプリケーションにも対応
フロントがdcをまたがる構成とか

独自開発のオブジェクトストレージがある
利用実績
Yahooボックス  数TB/dayでデータ増加
天気災害
ブックストア
ロコプレイス
など


Riakの紹介

Riak        kvsエンジン
Riak eds レプリケーションとか
Riak cs オブジェクトストレージ、データはriak,riak edsに保存

ノードをリング状に並べる
Consistent hashing
CAP定理に従う、1ノード壊れても可用性は失わない

Riak eds インストール
Yumでインストール可
設定変更
自分自身のipを設定
Restで受け付けるipの設定
Earlangの設定
じぶんのip
それからクラスターにjoin

利用する場面
高速なデータアクセスが必要な場合
将来的にデータ件数が増える場合

Riak csインストール
Yumでインストール
同時にstanchonコンポーネントをインストール

Bucketを作ってそこにファイルをいれる感じ s3cmdコマンドを使って操作

オブジェクトストレージ自体をマウントできる

事例
Lohaco アスクル
画像ファイルの配信
450req/s

Riak csを利用したyahooストレージ
2013/4 本番


なぜriakをえらんだか？

S3のapiで使えるものが必要だった
運用コスト削減
既存ノウハウを活かしやすいアーキテクチャ

Riak meetup 3/11