higebu.com

tunsrc を設定しても Linux の SRv6 H.Encaps.L2 が遅かったのはなぜか

Thu, 01 Oct 2026 00:00:00 +0900

前回の記事では、tunsrc を設定すると H.Encaps.V6 も H.Encaps.L2 も速くなりました。それでも H.Encaps.L2 は 660.7 kpps で、H.Encaps.V6 の 976.4 kpps には届いていませんでした(どちらも tunsrc を設定したときの PDR)。同じ入力パケットに対して H.Encaps.L2 が余分に載せるのは内側の 14 バイトの Ethernet ヘッダで、それだけでスループットが 3 分の 1 も落ちるはずはありません。調べてみると、原因はパケット毎の不要なメモリ確保で、修正はすでに net-next に入っています。

測定環境

以下はすべて、修正の直前と修正を含む net-next を同じ設定(Ubuntu の設定をもとにしたもので、CONFIG_INIT_ON_ALLOC_DEFAULT_ON=y)でビルドして測りました。SUT(測定対象のマシン)の CPU は Xeon E5-2650 v3(2.30 GHz)で、64 バイトのフレームを 1 コアで転送します。T-Rex を動かす tester とは Intel 82599ES(ixgbe)で直結しています。IOMMU は passthrough(iommu=pt)で、tunsrc は設定済みです。スループットは前回と同じく、Ubuntu 24.04 と Python 3.12 で動くように直した SRPerf のフォークで測っています。指標は PDR(Partial Drop Rate、パケットロス率 0.5% 以下で転送できる最大の送信レート)と MRR(Maximum Receive Rate、回線速度いっぱいで送ったときの受信レート)の 2 つです。

flame graph に出ていたもの

修正前のカーネルでもロスなく転送できる 500 kpps 固定で H.Encaps.L2 のトラフィックを流し、転送しているコアの flame graph を取りました。

呼び出し先を含めると、サンプルされたサイクルのうち pskb_expand_head() が 21.1%、kmalloc_reserve() が 18.7%、memset_orig() が 14.1% を占めています。memset_orig() のサンプルはすべて seg6_do_srh() → pskb_expand_head() → kmalloc_reserve() の経路にあるので、このゼロ埋めは skb の head を確保し直す処理から来ています。これがパケット毎に起きていることは、コードを見るとわかります。

なぜパケット毎に skb の head を確保し直していたのか

net/ipv6/seg6_iptunnel.c の seg6_do_srh() は、外側の IPv6 ヘッダを作る前に Ethernet ヘッダをパケットの先頭に戻します。L2 の encap モードでは、その場所を空けるために pskb_expand_head() を無条件に呼んでいました。pskb_expand_head() は、既存の headroom が足りていても、必ず新しい head を確保して headroom と linear 部分のデータをコピーします。IPv6 の encap モードは代わりに skb_cow_head() を使っていて、こちらは headroom が足りないときか、skb が clone されていてヘッダ部分を共有しているときだけ確保し直します。

この環境では、skb は 206 バイトの headroom を持って seg6_do_srh() に届きます。一方、segment が 1 つの L2 encap に必要なのは 94 バイト(Ethernet ヘッダ 14、IPv6 ヘッダ 40、SRH 24、送信側のリンク層ヘッダ用に確保する 16)です。skb は clone もされていなかったので、確保し直す必要はありませんでした。

このコストを大きくしていたのが CONFIG_INIT_ON_ALLOC_DEFAULT_ON です。これは Linux 5.3 で入ったセキュリティ強化のためのオプションで、ページと slab の確保時にメモリをゼロ埋めして、古いデータが見えてしまう危険を減らします。Ubuntu と Debian ではデフォルトで有効で、今回のカーネルでも有効だったため、確保し直した head も毎回 memset() でゼロ埋めされていました。init_on_alloc=0 で無効にもできますが、性能のためにセキュリティ機能を切るのは本末転倒です。

無条件の確保し直しは 2017 年に H.Encaps.L2 が追加されたときからあるので、SRPerf の論文で使われたカーネル(5.2 の開発期間中の net-next)にもありました。ただし、そのカーネルは 5.3 で入った init_on_alloc より前のもので、論文では H.Encaps.L2 は H.Encaps.V6 にずっと近い値でした(約 828 kpps と 978 kpps で、0.85)。差のうちどれだけがゼロ埋めによるものかを見るために、修正前のカーネルを init_on_alloc=0 で起動して測りました。

init_on_alloc	H.Encaps.V6	H.Encaps.L2	L2/V6
1(デフォルト)	937.7	644.0	0.69
0	938.0	773.9	0.83

(MRR、単位は kpps、10 回の平均、修正前のカーネル)

ゼロ埋めがなくなると L2/V6 は 0.69 から 0.83 になり、論文の値に近づきます。

修正内容

修正では、encap 全体に必要な分を最初に skb_cow_head() に要求します。

- if (pskb_expand_head(skb, skb->mac_len, 0, GFP_ATOMIC) < 0)
- return -ENOMEM;
+ headroom = skb->mac_len + sizeof(struct ipv6hdr) +
+ ipv6_optlen(tinfo->srh) +
+ dst_dev_overhead(cache_dst, skb);
+
+ err = skb_cow_head(skb, headroom);
+ if (unlikely(err))
+ return err;

headroom が足りていて skb が clone されていなければ、何も確保し直しません。本当に headroom が足りないときは head を 1 回だけ確保し直し、その後の IPv6 encap のコードにある skb_cow_head() の時点では必要な空きがすでにあるので、2 回目の確保し直しは起きません。

修正後は、同じ負荷で取った flame graph から確保の処理が消えました。

pskb_expand_head()、kmalloc_reserve()、memset_orig() のサンプルはなくなり、seg6_do_srh() は 28.2% から 5.6% に下がりました。修正前後で 30 秒ずつ取ったサイクル数を、その間に転送した 1500 万パケットで割ると、1 パケットあたり 3862 サイクルだったのが 2602 サイクルになっています。

測定結果

	H.Encaps.L2 の PDR
修正前	654.6 kpps
修正後	965.7 kpps(+47.5%)

(10 秒の試行で PDR を探索するのを 10 回繰り返した平均)

H.Encaps.V6 はこのコードを通らないので、MRR はどちらのカーネルでも約 938 kpps のままです。修正後のカーネルを init_on_alloc=0 で起動すると L2/V6 は 1.02(MRR で 956.8 kpps と 939.1 kpps)で、H.Encaps.L2 は H.Encaps.V6 と同じ速さになりました。ゼロ埋めをなくしても残っていた差は、確保し直しそのものによるものだったことになります。

upstream に入るまで

最初のバージョン(v1)では、skb_cow_head() に skb->mac_len だけを要求していました。これでは、clone されてヘッダ部分を共有している skb の場合、共有をやめるときと外側のヘッダを付けるときの 2 回 head を確保し直すことがあると Eric Dumazet に指摘され、v2 では上のように encap 全体の分を要求するようにしました。

v2 のレビュー中に、netdev の AI レビューボットである Sashiko が別のバグを見つけました。dst_dev_overhead() は送信側デバイスのリンク層ヘッダの分の空きを確保しますが、コードがパケットの先頭に作り直すのは受信側の MAC ヘッダです。受信側の MAC ヘッダのほうが長いとき(例えば reorder_hdr off で VLAN タグ付きのフレームを受けたとき)は、作り直すヘッダの offset が回り込み、コピー先がバッファの約 64 KB 先になります。これは L2 モードに限った問題ではないので、dst_dev_overhead() 側で別に直して net ツリーに送りました。そちらが先にマージされ、その後このパッチの v3 が net-next に入りました。net-next は現在 7.3-rc をもとに開発されているので、Linux 7.4 に入る見込みです。

参考文献

seg6: reallocate the skb head on L2 encapsulation only when needed(net-next、bf515c9fae87)
net: ipv6: keep room for the mac header in dst_dev_overhead()(net、87cd6b717e40)
パッチのスレッド: v1、v3
A. Abdelsalam, P. L. Ventre, C. Scarpitta, A. Mayer, S. Salsano, P. Camarillo, F. Clad, C. Filsfils, “SRPerf: A Performance Evaluation Framework for IPv6 Segment Routing”, IEEE Transactions on Network and Service Management, vol. 18, no. 2, pp. 2320-2333, 2021
The kernel’s command-line parameters: init_on_alloc
SRPerf(GitHub)とフォーク
Linux の SRv6 H.Encaps は tunsrc を設定しないとどの程度性能が落ちるのか
Brendan Gregg の FlameGraph

Linux の SRv6 H.Encaps は tunsrc を設定しないとどの程度性能が落ちるのか

Fri, 25 Sep 2026 00:00:00 +0900

最近、Linux カーネルに SRv6 Mobile User Plane(RFC 9433)の behavior を実装していて、既存の SRv6 behavior と比べて性能が見劣りしないかを、SRPerf を使って測っています。SRPerf は、Linux と VPP の SRv6 behavior を一通り測定した論文(SRPerf: A Performance Evaluation Framework for IPv6 Segment Routing)で使われている測定フレームワークです。公開されているものは古い環境向けなので、Ubuntu 24.04 と Python 3.12 で動くように直したフォークを使っています。

この論文には、H.Encaps ではトンネルの送信元アドレス(tunsrc)を設定しないと性能が落ちる、と書かれています。どの程度落ちるのかが気になったので、実際に測ってみました。

SRPerf の論文にある TUNSRC の記述

論文の実験環境の説明には、次のように書かれています。

We configured the TUNSRC for the SRv6 policy headend behaviors doing encapsulation. The latter allows to configure the IPv6 source address of the IPv6 outer header. The TUNSRC has to be configured otherwise the Linux kernel will try to get the address from the interface which will cause a performance drop in the performance of the encaps behavior.

論文の著者は tunsrc を設定して測っていますが、どの程度性能が落ちるのかは書かれていません。なお、公開されている SRPerf の forwarding-behaviour.cfg には tunsrc の設定が入っていないので、SRPerf で論文と同じ条件で測るときは tunsrc を足す必要があります。

tunsrc を設定しないと何が起きるのか

外側の IPv6 ヘッダの送信元アドレスは、net/ipv6/seg6_iptunnel.c の set_tun_src() で決まります(v7.1 のソース)。

 if (route_tunsrc && !ipv6_addr_any(route_tunsrc)) {
 memcpy(saddr, route_tunsrc, sizeof(struct in6_addr));
 } else {
 rcu_read_lock();
 tun_src = rcu_dereference(sdata->tun_src);

 if (!ipv6_addr_any(tun_src)) {
 memcpy(saddr, tun_src, sizeof(struct in6_addr));
 } else {
 ipv6_dev_get_saddr(net, dev, daddr,
 IPV6_PREFER_SRC_PUBLIC, saddr);
 }

route 毎の tunsrc(Linux 7.1 から)、network namespace 毎の tunsrc(ip sr tunsrc set で設定するもの)の順に見て、どちらも :: なら ipv6_dev_get_saddr() で選びます。tunsrc の初期値は :: なので、何も設定していなければ、ホストに付いているアドレスを RFC 6724 の規則で比べる処理を毎パケット実行しています。論文にある「the Linux kernel will try to get the address from the interface」は、この処理のことです。

tunsrc の有無で比較してみた

測り方は論文に合わせ、SUT(測定対象のマシン)の 1 コアでパケットを処理し、PDR(Partial Drop Rate、パケットロス率 0.5% 以下で転送できる最大の送信レート)と MRR(Maximum Receive Rate、回線速度いっぱいで送ったときの受信レート)を 10 秒 × 10 回ずつ測っています。SUT の CPU は Xeon E5-2650 v3(2.30 GHz)で、T-Rex を動かす tester と Intel 82599ES(10GbE)で直結しています。IOMMU は passthrough(iommu=pt)にしています。

カーネルも設定も同じにして、tunsrc だけを :: と 12:2::2 で切り替えました。tunsrc に設定した 12:2::2 は、tunsrc が :: のときに選ばれるのと同じアドレスなので、2 回の測定で違うのは送信元アドレスの決め方だけです。比較のために、外側の IPv6 ヘッダを作らないので set_tun_src() を通らない plain IPv6 と H.Insert(inline)も同じ条件で測りました。

	tunsrc なし	tunsrc あり	変化
plain IPv6	1196.0	1192.2	-0.3%
H.Insert	998.3	1001.3	+0.3%
H.Encaps.V6	569.8	967.2	+69.7%
H.Encaps.L2	445.2	656.2	+47.4%

(MRR、単位は kpps)

plain IPv6 と H.Insert はほとんど変わらず、encap する 2 つだけが伸びました。tunsrc なしだと、ありと比べて H.Encaps.V6 で 41%、H.Encaps.L2 で 32% 遅くなりました。H.Encaps.L2 には tunsrc とは別に遅くなる原因があり、この数字はその修正を入れる前のカーネルで測ったものです(次の記事で詳しく書いています)。

PDR から 1 パケットあたりのサイクル数(2.30 GHz ÷ PDR)を計算すると、差は H.Encaps.V6 でも H.Encaps.L2 でも 1660〜1670 サイクルで、送信元アドレスの選択にかかる分だけが減っています。この差は、ホストに付いているアドレスの数によって変わる可能性がありますが、そこまでは測っていません。

tunsrc を設定した H.Encaps.V6 の PDR は 976 kpps で、論文の約 978 kpps とほぼ同じです。

tunsrc の設定方法

iproute2 では次のように設定します。

# network namespace 毎
ip sr tunsrc set 2001:db8::1
ip sr tunsrc show

# route 毎(Linux 7.1、iproute2 7.1 から)
ip -6 route add 2001:db8:100::/64 encap seg6 mode encap tunsrc 2001:db8::1 segs fc00::1 dev eth0

FRR では、設定(frr.conf)に次のように書きます。

segment-routing
 srv6
 encapsulation
 source-address 2001:db8::1

FRR は、この source-address を書かない限り tunsrc を設定しません。FRR を起動して確かめたところ、SRv6 の locator だけを設定した状態では ip sr tunsrc show は :: のままで、source-address を書くとそのアドレスになりました。bgpd の SRv6 L3VPN は route 毎の送信元アドレスも指定しないので、source-address を書いていなければ、性能が落ちます。

参考文献

A. Abdelsalam, P. L. Ventre, C. Scarpitta, A. Mayer, S. Salsano, P. Camarillo, F. Clad, C. Filsfils, “SRPerf: A Performance Evaluation Framework for IPv6 Segment Routing”, IEEE Transactions on Network and Service Management, vol. 18, no. 2, pp. 2320-2333, 2021
SRPerf(GitHub)とフォーク
RFC 8986: Segment Routing over IPv6 (SRv6) Network Programming
RFC 9433: Segment Routing over IPv6 for the Mobile User Plane
RFC 6724: Default Address Selection for Internet Protocol Version 6 (IPv6)
Linux v7.1 net/ipv6/seg6_iptunnel.c
FRR User Guide: Zebra, SRv6 の source-address

8ヵ月間育児休業を取ってどうだったか

Sun, 11 Dec 2022 23:00:00 +0900

この記事は子育てエンジニア Advent Calendar 2022 の12/11の記事です。

2021/7/28から2022/3/31まで約8ヵ月間育児休業を取得していたので、育児休業どうだったのかの話と復帰してどうだったのかの話をしようと思います。

当初の予定では2021/10/01復帰予定でしたが入れようとしていた保育園が定員に達してしまい入れなかったため3月末まで延長しました。

子供は3人で6歳(小1)、4歳(年小)、1歳です。自分自身は36歳で2010年に社会人になってから12年経っています。。。

現在の仕事の役割は会社全体のテックリードとモバイルコアを開発運用するチームのリーダーを兼任しています。

育児休業に入る直前はテックリードは同じですがチームのリーダーはせずに当時リリースに向けて開発を行っていたサービスの開発に携わっていました。

育児休業どうだったのかについてはよかったこととつらかったことについてまとめておき、最後に復帰してどうだったかを書いていきます。

育児休業を取ってよかったこと

子供と接する時間がものすごく増えたことはよかったと思っています。産まれた子供だけでなく上の2人とのコミュニケーションも増えていたと思います。

長女は年長で保育園のイベントも多かったのですが基本的にフル参加で何かの練習をしなければならないときにも平日の昼間にやることができて良いものが見せられたのではないかと思っています。

具体的には親たちで劇をやるなど何か出し物をするイベントがあるのですが、そのためにリコーダーを異常にがんばったり祭囃子をやるために篠笛を吹けるようにしたりしました。

このとき一緒に音楽をやったメンバーと保育園のクリスマスイベントでまた音楽をやる予定です。

育児休業を取ってつらかったこと

育児休業を延長したことにより収入が想定より大きく減ったことがつらかったです。特に最初の4ヵ月は一時的に無収入になり貯金が減っていくだけだったため頭では仕組み上しかたないとわかっていても精神的に来るものがありました。。。

大きく減ったのは給付金に上限値があるためですが、これがなくなれば育児休業を取得する人は増えるだろうと思いました。上限値は厚生労働省のパンフレットで確認できます。

収入が減ったことによりこども医療費助成制度の対象に戻り受給者証が発行されたのには苦笑してしまいました。

最初の4ヵ月無収入になったのは給付金申請から実際の給付開始までに時間がかかるためで、長期の育児休業を取得する場合は注意が必要です。

育児休業から復帰してどうだったか

仕事に対するモチベーションが高い状態で復帰したため単純に長い休みがあっただけという感じで問題なく仕事に取り組めたと思います。ただ初期は考える速度が遅くなっているような、頭が鈍っているような感覚はありました。

モチベーションが高まった理由は子供たちとたくさん接したり収入の大切さを深く理解させられたりしたためです。

家族の生活を守りつつ子供たちの学費を貯蓄していかなければ。。。という気持ちでやっています。

以前はこのような気持ちがなかったというわけではないのですが、かなり強化されました。

幸い会社でやっている事業や業務内容自体が非常に面白いため、つらくないところがよかったと思っています。

久しぶりにVyOSのVagrant Boxを更新した

Tue, 22 Feb 2022 14:18:09 +0900

VyOSのVagrant Box更新のお知らせ

5年ほど前に作成し、 Vagrant Cloud で公開したVyOSのVagrant Boxですが、その後メンテせずに放置してしまっていました。

使っていた方々には大変ご迷惑をおかけしました。

しかし、 Ansible公式ブログなど、いろいろなところで vagrant init higebu/vyos と記載されているのを思い出し、今更ですが、更新することにしました。

現在は higebu/vyos vyos/current 共に最新のrolling releaseのVyOSを利用できるようになっています。

また、GitHub Actionsで自動更新されるようにしていますので、本体に大きな変更がない限り、常に最新版が利用できるはずです。

使い方

使い方は下記の通りです。

vagrant plugin install vagrant-vyos
vagrant init vyos/current
vagrant up

裏話

VMイメージをビルドするためのAnsible Playbookが https://github.com/vyos/vyos-vm-images にあるのですが、そのままでは元々あったlibvirt向けのplaybookも動かなかったため、いろいろと修正し、VirtualBox向けのplaybookも追加しました。

修正したplaybookはforkした https://github.com/higebu/vyos-vm-images にあり、Pull Request もしています。

Vagrant Box以外のplaybookも壊れている可能性があるので、時間があれば修正していきたいと思っています。

以上です。

Kibela のリンクを Slack に貼ったときに展開されるようにした

Wed, 04 Dec 2019 23:30:00 +0000

この記事は BBSakura Networks Advent Calendar 2019 の4日目の記事です。

BBSakura NetworksではKibelaを使っていて、Slackでは日々Kibelaのリンクが飛び交っているのですが、リンクを貼っても展開されないため、何のドキュメントなのかわからず不便でした。そこで、KibelaのリンクをSlackに貼ったときに展開されるようにするSlack Appを作ったので、使い方を書いておきます。ソースコードは https://github.com/higebu/slack-app-unfurl-kibela に置いてあります。

以下、手順です。

Kibelaのアクセストークンを取得する

以下のURLにアクセスし、 アクセストークンの作成 ボタンをクリックすると作成できます。権限は read のみで大丈夫です。

https://my.kibe.la/settings/access_tokens

Slack Appを作成する

以下の手順で作成します。

https://api.slack.com/apps を開く
Create New App ボタンをクリック
名前を入れて、 Create App
Event Subscriptions をクリック
Enable Events を On にする
OAuth & Permissions を開き、 Scopes で link:write を追加する
App unfurl domains を展開し、 Add Domain で、 {TEAM_NAME}.kibe.la を入力し、 Save Changes
左メニューから Install App を開き、 Install App to Workspace -> Allow
OAuth Access Token が表示されるのでメモしておく

※後で戻ってくるので、Slack Appの管理画面は開いたままにしておきます。

slack-app-unfurl-kibelaをデプロイ

Herokuにデプロイ

下記のボタンからデプロイできます。

App name に入れた名前がURLになります。具体的には https://{app name}.herokuapp.com/ のようになります。

KIBELA_TEAM にはKibelaのチーム名、 KIBELA_TOKEN にKibelaのアクセストークン、 SLACK_TOKEN にSlackのOAuth Access Tokenを入力し、 Deploy App ボタンを入力してください。

GCPのCloud Runにデプロイ

KIBELA_TEAM=xxxxxx
KIBELA_TOKEN=xxxxxx
SLACK_TOKEN=xxxxxx
PROJECT_ID=xxxxxx
REPO=docker-repo
IMAGE=slack-app-unfurl-kibela

git clone https://github.com/higebu/slack-app-unfurl-kibela.git
cd slack-app-unfurl-kibela

gcloud projects create $PROJECT_ID
gcloud config set project $PROJECT_ID
echo "$KIBELA_TEAM" | gcloud secrets create KIBELA_TEAM --data-file -
echo "$KIBELA_TOKEN" | gcloud secrets create KIBELA_TOKEN --data-file -
echo "$SLACK_TOKEN" | gcloud secrets create SLACK_TOKEN --data-file -

gcloud artifacts repositories create docker-repo \
 --repository-format=docker \
 --location asia-northeast1

gcloud builds submit \
 --config=cloudbuild.yaml \
 --substitutions=_REPOSITORY="$REPO",_IMAGE="$IMAGE" .

リポジトリの更新時に自動でデプロイするためにトリガーの設定をします。 ※フォークしたリポジトリを使う必要があります。

OWNER=xxxxxx
gcloud beta builds triggers create github \
 --name=trigger-slack-unfurl-kibela \
 --repo-name=slack-app-unfurl-kibela \
 --repo-owner=$OWNER \
 --branch-pattern='^master$' \
 --build-config=cloudbuild.yaml \
 --substitutions=_REPOSITORY="$REPO",_IMAGE="$IMAGE"

Slack AppにURLを登録

Event Subscriptions を開き、 Request URL に https://{app name}.herokuapp.com/ を入力する
Verified と表示さたら Enable Events を On にして Save Changes

動作確認

SlackでKibelaのリンクを含んだメッセージを投稿してみてください。下記のように展開されるはずです。

XDP metadata が VLAN パケットのときに失われるバグを修正した

Mon, 06 May 2019 14:30:00 +0000

パッチ

パッチはこちらで、stable では 4.19.37 か 5.0.10 からこの修正が入っています。

内容としては bpf_xdp_adjust_meta() でパケットに付けたメタデータが skb のビルドプロセス内の skb_vlan_untag() (さらに詳しく言うと skb_reorder_vlan_header() ) で失われて tc の cls_bpf などで参照できない問題を修正したものです。

Linux へのパッチの送り方について

公式ドキュメントにパッチの送り方 Submitting patches: the essential guide to getting your code into the kernel が書いてあるので、これを読めばだいたいわかるようになっていました。

また、今回はネットワーク関連だったので、 netdev FAQ も読んだところ、バグフィックスは net ブランチ、新機能は net-next ブランチということがわかり、 net ブランチにパッチを送りました。

その他に注意する点として、メールの送り方があり、これは Email clients info for Linux というページにまとまっています。

自分はこれを読まずに git imap-send から Gmail Web Clientでメールしてしまい、タブが全滅したパッチを送ってしまいました。

最終的に Thunderbird でメールしましたが、 git send-email が一番シンプルで楽そうです。

Debian でのカーネルのビルド方法について

Debian Linux Kernel Handbook の Chapter 4. Common kernel-related tasks が詳しいです。

LOCALVERSION を付けておくとわかりやすいので下記のようなコマンドでビルドしています。

make -j`nproc` LOCALVERSION=-hoge bindeb-pkg

感想

VLAN の処理をハードウェアオフロードしない場合、カーネルが VLAN の処理をするけど、 skb をビルドするときに VLAN ヘッダはパケットデータからは消えてしまうということ自体初めて知ったし、ドライバのソースを追ったりして、全体的に良い経験になった
たぶん今まで VLAN と bpf_xdp_adjust_meta() を組み合わせて使ったことのある人がいなかった
メール難しい
eBPF/XDP と Linux Network Stack を組み合わせてパケットをいじる方法についてかなり詳しくなった

XDP のプログラムをビルドする方法

Sun, 20 Jan 2019 00:30:00 +0000

前置き

社内向けにコントロールプレーンが Go で、データプレーンが XDP な Network Function を作る方法をまとめていましたが、特に社内に閉じている必要のない情報なので、こちらに書いていきます。

Go で XDP/eBPF というと gobpf が IO Visor 公式ということもあって有名ですが、いろいろあって使っていません。

使わなくなった理由は後で。。。

gobpf を使わない場合、自分で XDP のプログラムをビルドする必要があります。

そこで、とりあえずビルドする方法についてまとめておきます。

XDP のプログラムをビルドする方法

XDP のプログラムをビルドするときに参考になるのは Linux の samples/bpf や Facebook の Katran で、どちらもカーネルのソースツリー内でビルドする方法を取っています。

説明するのが面倒なので、 XDP のプログラムをビルドするためのテンプレートとして ebpf-template を作りました。

git clone した後に、 ./setup.sh して ./build.sh が通ったら XDP のプログラムを開発する環境がすでに整っていて、通らなかったら、何か足りないのでパッケージを入れるなりして解決してください。

Debian の場合 gcc clang llvm make linux-headers-amd64 bison flex libelf-dev bc libssl-dev 辺りは必要です。

このテンプレートでは tools/testing/selftests/bpf 配下の bpf_helpers.h などを使うことを前提にしています。

そのため、 #include "bpf_helpers.h" をして、 bpf_map_lookup_elem などの関数を使えて、 samples/bpf 配下のプログラムと同じ雰囲気で開発することができます。

また、ビルド環境は Docker コンテナにもしてあるので、こちらも参考にしてください。

higebu/ebpf-build

TCPパケットがGeneric XDPで処理されない件について

Wed, 07 Nov 2018 12:55:00 +0000

Twitterにも書いたけど忘れそうなのでメモしておく。

下記の図のような構成でns2のveth2とveth3にXDPのプログラムをアタッチし、 XDP_REDIRECT でns1とns3の間でパケットが往復できるかどうかテストしていたときにTCPのパケットだけ通らなかった。

ググったところ下記のメールスレッドが見つかり、結論としてはGeneric XDPではTCPのパケットがPASSされていて、アタッチしたXDPのプログラムを通らない。

Generic XDP and veth

実際のソースはここでXDPのプログラムに入る前に XDP_PASS している。

回避策としては、Native XDPをサポートしているNICを使うか、下記のパッチをカーネルに当てるかで、カーネルのパッチで回避ができることは確認した。

cilium/cilium#3077 (comment)

VyOS 1.2でDockerを動かす

Mon, 19 Mar 2018 12:43:00 +0000

最近、VyOS 1.2のカーネルでコンテナを動かすのに必要なオプションを有効にしたので、Dockerも動くようになりました。追加したときのPRはこれとこれで、4.4系のカーネルに入れたのにすぐに4.14系になって、そのとき漏れてたものを追加したので2回になっている。）

準備

VyOS 1.2はまだリリースされていませんが、開発版を下記からダウンロードできます。

https://downloads.vyos.io/?dir=rolling/current/amd64

これをどこかで動かしてください。

このとき、Dockerストレージ用のディスクを追加で付けておきます。（ここでは /dev/vdb として認識されるとします。）

Dockerストレージ用のディスクを別にするのは、VyOSではルートディスクをすでにoverlayfsでマウントしているからです。

詳しくは Supported backing filesystems を参照。

起動できたら下記のようにするとDockerが動きます。

Dockerストレージ用マウントポイント作成

sudo mkfs.ext4 /dev/vdb
sudo mkdir /mnt/docker-data
echo '/dev/vdb /mnt/docker-data ext4 defaults 0 0' | sudo tee -a /etc/fstab
sudo mount /mnt/docker-data

Dockerデーモンの設定ファイル作成

sudo mkdir /etc/docker
echo '{"data-root": "/mnt/docker-data","storage-driver": "overlay"}' | sudo tee /etc/docker/daemon.json

Debianリポジトリ追加

configure
set system package repository jessie components 'main contrib non-free'
set system package repository jessie distribution jessie
set system package repository jessie url 'http://deb.debian.org/debian'
commit
save

必須パッケージインストール

sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common

Dockerインストール

set system package repository docker components stable
set system package repository docker distribution jessie
set system package repository docker url https://download.docker.com/linux/debian
commit
save
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add -
sudo apt update
sudo apt install -y docker-ce

vyosユーザをdockerグループに追加

set system login user vyos group docker
commit
save

確認

docker info
docker run --rm hello-world

docker info の結果は下記のようになります。

vyos@vyos:~$ docker info
Containers: 0
Running: 0
Paused: 0
Stopped: 0
Images: 1
Server Version: 17.12.1-ce
Storage Driver: overlay
Backing Filesystem: extfs
Supports d_type: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
Volume: local
Network: bridge host macvlan null overlay
Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Kernel Version: 4.14.26-amd64-vyos
Operating System: Debian GNU/Linux 8 (jessie)
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 489.6MiB
Name: vyos
ID: RPQC:225S:FULT:3434:AASR:CASH:NS7I:OQ4K:AYA2:DQMG:AGFM:CB3I
Docker Root Dir: /mnt/docker-data
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
127.0.0.0/8
Live Restore Enabled: false

おまけ: Vagrantfile

Vagrantとlibvirtが使える人は下記のVagrantfileを使うとサッと試せます。他の環境でもディスク追加部分を書き換えればいけるはずです。

# -*- mode: ruby -*-
# vi: set ft=ruby :
Vagrant.configure('2') do |config|
 config.vm.box = 'vyos/current'
 config.vm.provider :libvirt do |libvirt|
 libvirt.storage :file, size: '20G'
 end
 config.vm.provision 'shell', inline: <<-SHELL
 sudo mkfs.ext4 /dev/vdb
 sudo mkdir /mnt/docker-data
 echo '/dev/vdb /mnt/docker-data ext4 defaults 0 0' | sudo tee -a /etc/fstab
 sudo mount /mnt/docker-data
 sudo mkdir /etc/docker
 echo '{"data-root": "/mnt/docker-data","storage-driver": "overlay"}' | sudo tee /etc/docker/daemon.json
 source /opt/vyatta/etc/functions/script-template
 configure
 set system package repository jessie components 'main contrib non-free'
 set system package repository jessie distribution jessie
 set system package repository jessie url 'http://deb.debian.org/debian'
 commit
 save
 sudo apt update
 sudo apt install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common
 set system package repository docker components stable
 set system package repository docker distribution jessie
 set system package repository docker url https://download.docker.com/linux/debian
 commit
 save
 curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add -
 sudo apt update
 sudo apt install -y docker-ce
 set system login user vyos group docker
 commit
 save
 SHELL
end

Vagrantfile (Gist)

2017年振り返り

Sun, 31 Dec 2017 22:35:00 +0000

今年ブログ書いてなかったことにさっき気付いた😇

今年のまとめとしては

娘が1歳になった
8月に北海道に転勤した

以上という感じ。

仕事とか技術的な話

仕事の成果は近々さくらの夕べ in すごい広島で話すので、それ聞きに来てくださいという感じで、それの後になればいろいろ書けるようになると思うので、気が向いたら何か書く。

あとfluent-plugin-sakuraioというのを作った。これはsakura.ioの通信モジュールとのやり取りをfluentdでやれるプラグインで、詳細はsakura.ioの公式ブログ参照。

仕事以外ではVyOS 1.1.8リリースにちょっと貢献した。公式ブログのリリースアナウンスに名前載ってるのでがんばった感がある。

今年はインプットが多く、アウトプットはクローズドな世界にばかりしていたので、来年はもう少しいろいろオープンにしていきたいと思う。

北海道の話

小樽市に住んでいるんだけど、水がおいしい。あとスーパーで売ってるとうもろこしとか牛乳とか魚とかが格段においしい。

雪は札幌よりは多いけど石狩よりはマシという感じ。1日で数十cm積もることはある。車は今のところ、雪道より凍った道がつらく、氷で轍ができている道が最悪だった。

子供の話

このブログを実家で書いているんだけど、祖母に慣れて歯磨きの仕上げをしてもらえるくらいになったのでよかった。昨年は抱っこされてギャーギャー泣いていた。

保育園にかなり馴染んで帰るのが嫌そうになってきた。体を動かすのを大事にしているところなので、とても体力が付いて、1kmちょっと離れている保育園に機嫌が良ければ歩いて行けるくらいになった。逆に休みの日にかなり運動させないと寝られない。

自分の話になってしまうけど、年末に保育園の親と先生たちで餅をついて販売したのがとても印象に残っていて、2日で93臼ついたのでひどい筋肉痛になり、今でも右腕が痛いままになっている。3臼で、1臼のつき手を3-5人でやっていて、1臼つき終わるのに合計だいたい100回程度ついていた気がする。1人500回くらいはついていた計算になると思う。

子供もどんどん元気になっていくので来年以降自分も体力をつけていかなければなと思った。

良いお年を。

2016年振り返り

Fri, 30 Dec 2016 13:24:00 +0000

2016年は、先日のブログでも書きましたが、2月に子供が産まれ、8月に転職したので、大きなイベントの多い年でした。

GitHub上での活動は下記のような感じで、後半が少ないものの、昨年とあまり変わらない感じでした。

前半の転職前はTerraformで遊んでいたので、Terraformにプルリクエストしていたようです。

社内リポジトリのContributionsはこんな感じでした。

転職後、どれくらい社内でコードを書いたのか調べたところ、 128 commits, 17870 lines, (+13281 -4589) という結果でした。言語はほぼGoです。初めて関わる領域の技術ばかりなので、Go以外にも大変勉強になりました。リリースできたら中身についてどこかで紹介できたら良いなと思っています。

勉強会関連

今年はあまり参加も登壇もしてませんでした。子供がいると、平日夜、休日のイベントへの参加が大変難しいので、このような結果になりました。なぜ難しいかというと、1人で家事と育児をこなすのは大変すぎるので、なるべく妻が1人にならないようにしたいというのと、単純に娘と一緒にいたいからです。

登壇したイベント

VyOSについて

2014年の終わりくらいから、メインの業務がVyOSと関係のない業務になっていたこともあり、勉強会とかコミュニティ活動に関しては完全にサボっておりました。大変申し訳ありません。

VyOS自体は最近の本家のブログを見てもわかる通り、つらい状況ではあるものの、死んではいません。世の中には本番環境で使っている方々がたくさんおり、なくなったら困るということで、次期バージョンのテストの協力をしたいという方も徐々に集まってきています。自分もたぶん大丈夫だろうと信じてなるべく開発に関わりたいと思っています。

コードでの貢献としては、1.2で様々な環境用の公式イメージを提供したいということで、KVM、VMware、Hyper-V用のイメージをビルドするためのスクリプトを vyos-build に追加したことくらいです。それに関連して、vyos-cloudinitというcloud-init風の何かを作りかけています。

また、Vagrant用のboxが腐っていたので、まともに動くboxとPackerテンプレートをアップしました。他には自動テストの仕組みのプロトタイプを作りたいなと思って、いろいろ試しています。

勉強会に関しては、来年早々にVyOS Users Meeting Japan #3を開催予定です。これは見ていただくとわかる通り、ギークナビというブログの中の人たちから勉強会やコミュニティ活動に協力したいという大変ありがたいご連絡があり、実現したものです。今後は定期的に開催していけると良いなと思っています。

最後に

娘が産まれたというのが大きい1年でした。やっているうちに家事や育児もいろいろとできるようになってきている気がするし、父親というのはいきなりなるものではなく、子供が産まれてから段々育っていくものなんだなというのを実感しています。来年には娘が1歳になり、立ったり、言葉を発するようになったりすると思うので、大変楽しみです。

転職前も後も子育てに関して大変寛容な人たちに恵まれており、大変感謝しています。来年もいろいろとご迷惑をおかけすると思いますがよろしくお願いいたします。

妻と0歳の娘がいるエンジニアの生活

Wed, 14 Dec 2016 22:12:00 +0000

はじめに

1日遅れてしまいましたが、これは【その2】妻・夫を愛してるITエンジニア Advent Calendar 2016の12/13の記事です。 12/12は妻でした。夫婦一緒に家で同じ仕事をしているのは珍しいかもしれないので、その辺りの話をします。

自分について

自分は30歳、社会人7年目のエンジニアで、今年の2月に父親になり、8月に転職して、現在はさくらインターネットのIoTチームで働いています。

前職でも3月から在宅勤務のトライアルに参加していて、週1日フル在宅、2日早く帰るということをしていましたが、現在はほぼ完全に在宅で、他社の方との打ち合わせや、ホワイトボードがいるような会議のときだけ出社しています。

また、給与が年俸制になり、働き放題になりました。

といっても寝る前の1、2時間しか自由な時間は作れず、大抵はさっさと寝ているので仕事以外で勉強や技術調査のようなことをする時間はかなり減りました。

その分、仕事の時間に全力を投入していて、昼間の生産性が高まった気がします。夕方から本気を出していた以前の自分からは全く想像できない変化です。

妻について

妻のブログにも書いてありますが、猫の手も借りたいくらい手が足りなかったため、10月から妻に開発の一部を手伝ってもらっています。妻は仕事を辞めていたこともあり、技術力は新人並でしたが、やる気があったのでお願いしました。

結婚してからペアプロすることになるとは思いませんでしたが、仕事なのでキャッキャウフフというような雰囲気は全くなく、大変真剣に議論しています。

Goを書いてもらっていますが、「プログラミング言語Go」と「みんなのGo言語」、A Tour of Goのリンクを渡したくらいで、なんとかできています。 Goの仕様がシンプルだったのがよかったみたいです。

結果的には10月から始めて、すでにコードにコミットできているし、任せた部分に関しては自分より詳しくなっているため、お願いしてよかったと思っています。この調子でがんばって欲しいです。

妻のブログにネットワークエンジニアかなというようなことが書いてありますが、たぶんソフトウェアエンジニアです。
自分のせいでVimmerになったみたいに書いてありますが、強制はしていません。

生活について

変わることがありますが、自分が担当しているのはほぼ下記の家事です。

保育園お迎え
娘に朝ご飯を食べさせる
ゴミ捨て
朝と夕方の洗濯
風呂洗い
娘をお風呂に入れる
食事の片付け

料理に関しては自分がやると品数が減ったり、クオリティが下がったりするので、あまりやれていません。大変申し訳ないです。

上の方にも書きましたが、お互いに自分の時間というものはほぼないです。自分は仕事が趣味みたいなものなので、あまり問題ではないのですが、妻はそうではないようなので、なんとかしたいと思っています。

最後に(娘の話)

娘は異常にかわいいです。

元々子供は好きな方でしたが、自分の子供というのはこんなにかわいいのかというほどかわいいです。

娘がご飯の野菜を投げたり、取り込んだばかりの洗濯物をよだれでベチャベチャにしたり、電源を抜いたりしても微笑ましく見えます。

多少つらいことがあっても娘の笑顔や寝顔を見るだけで大抵回復しますし、がんばろうと思えます。

子育ては本当に良いものです。おすすめです。

ニフティを退職します

Sun, 31 Jul 2016 23:09:00 +0000

7月末というか今日付でニフティを退職します。

ニフティには学生時代のインターンからお世話になっており、入社前アルバイトも入れると6年10ヶ月ほどお世話になりました。

入社前アルバイトでのニフティクラウドリリースの手伝いからは、1年間の新人研修を除き、ずっとニフティクラウド関連の仕事をさせていただきました。ニフティクラウド関連と言っても、クラウドストレージ、コントロールパネル（UI/API）、ファイアウォール、VPNゲートウェイ、ルーター、DR、など様々なサービス、レイヤーの、幅広い技術に触れることができました。だいたい1年か2年でやっていることが変わっていた感じです。

中でも、ニフティクラウドのネットワークとL2TPv3 over IPsecでVPN接続ができる機能では、VyOS本体の機能追加にも貢献でき、大変良い経験でした。 VyOS以外にも業務の過程でPackerなどいくつかのOSSの機能追加やバグ修正に貢献できました。このようなオープンな雰囲気はニフティの良いところだと思います。

最後の3年ちょっとは @ysaotome さんのチームでしたが、後輩たちにも恵まれ、チーム名に関係なく何でもやる大変面白いチームでした。

ニフティの皆様、大変お世話になりました。

転職の理由ですが、2月に1人目の子供が産まれ、3月に30歳になって、今のうちにもっと挑戦的なことをやりたいと思っていたためです。そんな中、良いタイミングで良いお誘いがあったので、そちらに転職することにしました。

次の会社には明日、8/1から出社する予定です。

ほしい物リスト

NeovimとNeomakeでGoの文法チェックをする

Wed, 11 May 2016 08:07:00 +0000

NeomakeはNeovimのjob-controlに対応したSyntasticの代わりとして使えるプラグインです。

パッケージマネージャはdein.vimを使っています。

plugins.tomlに下記を追記します。

[[plugins]]
repo = 'neomake/neomake'
hook_add = '''
 autocmd! BufWritePost * Neomake
'''

plugins_lazy.tomlに下記を追記します。デフォルトではgo、golint、govetでのチェックになっていますが、errcheckを追加しています。

[[plugins]]
repo = 'fatih/vim-go'
on_ft = 'go'
hook_source = '''
let g:go_fmt_command = 'goimports'
let s:goargs = go#package#ImportPath(expand('%:p:h'))
let g:neomake_go_errcheck_maker = {
\ 'args': ['-abspath', s:goargs],
\ 'append_file': 0,
\ 'errorformat': '%f:%l:%c:\ %m, %f:%l:%c\ %#%m',
\ }
let g:neomake_go_enabled_makers = ['golint', 'govet', 'errcheck']
'''

下記のようにerrcheckの結果が表示されます。

Golang、Raspberry pi 3、Wi-SUNモジュールを使って電力を監視する

Fri, 29 Apr 2016 23:45:00 +0000

Wi-SUNモジュールについて

Wi-SUNモジュールはWSR35A1-00を使いました。

Wi-SUNモジュールの使い方はRaspberry PiとWi-SUNモジュールでスマートメーターから情報取得がとても詳しいのでこちらをご参照ください。

Raspberry pi 3でGolangで書いたものを動かす

Raspberry pi 3上でビルドする必要はありません。他のLinuxとかで下記のようにGOARCHとGOARMを指定してビルドすると、できたバイナリはRaspberry pi 3上で動きます。さすがGolangですね。

GOARCH=arm GOARM=7 go build

Raspberry pi 3には64bitのARMv8が載っていますが、今のところ、Raspbianは32bitのARMv7用なのでGOARCH=arm64にすると動きません。unameの結果も下記の通りです。

pi@raspberrypi:~ $ uname -a
Linux raspberrypi 4.1.19-v7+ #858 SMP Tue Mar 15 15:56:00 GMT 2016 armv7l GNU/Linux

Golangでシリアル通信

github.com/tarm/serialを使いました。

使い方はREADMEに書いてある通りで、とても簡単です。

今回作ったツールではbp35a1.goで使っています。

ツールについて

プログラムはGitHubにアップしてあります。

使い方はREADMEを見てください。

このツールはfluentdに投げることを前提にしていますが、ちょっと書き換えれば他の何かに送ることもできると思います。

自分はfluentdからElasticsearchに入れて、直近1時間の消費電力とか、1日の消費電力量を見られるようにしています。

1日の消費電力量はElasticsearch側で計算しています。

VMForkをmobから実行する

Wed, 27 Apr 2016 23:57:00 +0000

現状ではPowerCLI Extensionを使わないとVMForkは実行できませんが、PowerCLIを使って実行できるということはAPIがあるということです。

mobを探検したところ、VMFork関連のAPIが見つかり、実行方法もわかったので書いておきます。

この記事の内容はVMware非公式で、私を含め、誰もサポートしていません。試すときは自己責任でお願いします。

VMFork関連の非公開のAPI

VirtualMachineに下記のメソッドがあります。

CreateForkChild_Task
EnableForkParent_Task
DisableForkParent_Task
RetrieveForkChildren_Task
RetrieveForkParent_Task

また、プロパティにはconfig.forkconfiginfoやruntime.quiescedforkparentがあります。

これらは、mobでVMを開き、ページのソースを見ると見つかります。

今回はVMForkするところまでなので、EnableForkParent_TaskとCreateForkChild_Taskを使います。

mobからVMForkを実行する方法

1. mobを開く

https://<vcenter_ip_or_hostname>/mob/

2. 親VMのページを開く

rootFolderからたどるなり、searchIndexを使うなりして、親にするVMを開きます。URLは下記のようになっているはずです。

https://<vcenter_ip_or_hostname>/mob/?moid=vm-111

3. EnableForkParent_Taskを実行する

標準で実行できるメソッドであれば、ページ下方にリンクがありますが、非公開APIの場合、リンクはありません。

そこで、下記のようにURLに直接入れます。

https://<vcenter_ip_or_hostname>/mob/?moid=vm-111&method=enableForkParent

開けばわかりますが、パラメータはありませんので、Invoke Methodをクリックするだけです。

4. 親VMをquiesced状態にする

これは親VM内から実行する必要があります。

親VMにコンソールやSSHで入るなりして、下記のコマンドを実行します。

vmtoolsd --cmd 'vmfork-begin -1 -1'

自動でやる場合には、APIのGuestOperationsManagerのProcessManagerを使えば良いと思います。

PowerCLIのEnable-InstantCloneVMではここまでの操作と一緒に、PreQuiesceScriptとPostCloneScriptのアップロードを行っています。

PowerCLIを使わない場合、PreQuiesceScriptとPostCloneScriptのアップロードはやはりGuestOperationsManagerを使うことになります。

子VMがForkされたときにPostCloneScriptが自動で実行されているようなので、CustomizationSpec辺りを使っているのかなと思っていますが、CustomizationGuiRunOnceはWindowsでしか使えなかった気がしていたり、vCloud Directorではstart up scriptをLinuxでも登録できたような気がしていたりして、どうやるのかはっきりとはわかっていません。

PreQuiesceScriptとPostCloneScriptの実行もGuestOperationsManagerでやってるみたいです。下記のような雰囲気です。

$prescript_path;vmtoolsd --cmd 'vmfork-begin -1 -1';$postscript_path

5. VMForkする

APIとしてはCreateForkChild_Taskです。PowerCLIのNew-InstantCloneVMにあたります。

URLは下記の通りです。

https://<vcenter_ip_or_hostname>/mob/?moid=vm-111&method=createForkChild

パラメータはnameとspecがあるので、nameに子VMの名前を入れ、specにはVirtualMachineCreateChildSpecを入れます。

VirtualMachineCreateChildSpecはググったらConverterのSDKのドキュメントに載っているものと同じだったのでそれを参考にします。

最小のspecは下記の通りで、これを入れてInvoke Methodします。

<spec>
 <persistent>false</persistent>
</spec>

そうすると一瞬で子VMができると思います。

ここまでわかるとgovmomiなどに機能追加できそうなので、時間があったら追加して試してみたいです。

参考

VyOS Beryllium について

Fri, 26 Feb 2016 08:00:00 +0000

Beryllium

詳しくはWiki参照
- 大体このページの翻訳です
Debian jessie ベース
- 必然的に Systemd 対応を強いられる
Linux 4.4.0
新しいビルドスクリプト
- vyos-build
- build-isoから変更
- 日本のVyOS Users Meeting #2にも来たtrickvさんがAMIのビルドスクリプト作ってる https://github.com/trickv/vyos-build/tree/vm
メタパッケージ、vyos-world
- VyOS独自パッケージのまとめ
- パッケージリスト
DebianのパッケージをVyOSのリポジトリに置くのをやめて、Debianのリポジトリから取ってくるようにする
- 今は必要なパッケージをVyOSのリポジトリにコピーしている
- さらにVyOS以外でも使えるパッケージ（eventwatch, hvinfo, ipaddrcheckなど）はDebianのリポジトリに置いて、なるべく自分たちでビルドするパッケージを少なくする
- 参考
  - [Vyos-developers] End of squeeze-lts support, lithium, and what to do next
  - [Vyos-developers] Updates on squeeze-lts EOL and jessie migration issues
開発フローの変更
- current ブランチが最新になる
  - Vyatta Core時代からの歴史的経緯によりmasterを使うのが難しいため
- beryllium リリース時に beryllium ブランチが切られる
- 新機能やバグフィックスは基本的に current にマージしていき、各リリースブランチにはバックポートで対応する
- 中心的なメンテナはcurrentの開発に集中しているため、現行のHeliumやLithiumのメンテナンスは人を募集している
リリースまでの流れ
1. vyos-build を作る
2. Kernelアップグレード
3. 各パッケージをコンパイルできるか確認
  1. 必要ならupstreamに合わせてパッケージを入れ替えたりする
4. ブートまでのバグを修正
5. ビルドプロセスで公式AMIも作る
6. すべてテストしてバグを直す
  - Serverspecを使う
  - primeroz/serverspec_vyos_testingをベースにするっぽい
  - JenkinsでCIする

個人的にやりたいこと

Virtual boxやVMware用の公式イメージの提供
- 個人的に作っているVagrant用のbox
  - vyos-1.1.7-amd64
  - vyos-1.2.0-beta1-amd64
Docker対応
- Dockerが動くようにしたい
- Jessieになるので簡単そう
- 前にやってたやつ

最近困ったこと（おまけ）

webproxy(squid 3.1.6)で http://xxx.xxx.xxx.xxx:3128/squid-internal-dynamic/netdbなどのsquid-internal-xxxへのアクセスがループしてcache.logがあふれた
- VyOSに入っているsquidではnetdbは無効のはずなのになぜか内部的にこのURLが叩かれて死んだ
- バージョンアップすれば直るけど、コンフィグを直す必要があり、VyOSのコマンドで設定できなくなりそう
  - Stableの3.5.15にしたら直ったけどそのままのコンフィグだと起動しなかった
  - ビルド方法
  - Jessieでは3.4.8なのでたぶん直っているはず(未確認)
  - 3.5.15だと下記のようなレスポンスが返ってくる

curl http://xxx.xxx.xxx.xxx:3128/squid-internal-dynamic/netdb
NETDB support not compiled into this Squid cache.

CROSS 2016 に登壇してきました

Sat, 13 Feb 2016 19:00:00 +0000

CROSS 2016の日本のIaaS裏トークというセッションに登壇してきました。

2/7（日）に妻が入院して、2/8（月）に子供が産まれてバタバタしていたので、書くのが遅くなってしまいました。

登壇したセッションについて

日本のIaaS裏トーク〜インフラ×ソフトウェア〜というセッションです。

セッション中のツイートが Togetter にまとめられているので、興味があったけど見られなかった方はこれと動画を見ると良いと思います。

セッションの紹介文にも書いてありますが、元々はSDN関連のセッションをお願いされていて、SDNっぽい方々を集めたんですが、今は違うことをやっていたり、SDNに疲れたりしていたので、少し話を広げてアーキテクチャやIaaSの中のソフトウェアの話をしようということになりました。

IaaSの中でも外と同じようにインフラエンジニアはコードを書いており、物理から仮想化層、OS、ミドルウェア、アプリケーションまで触っているので、フルスタック（笑）感があります。その中でも特にインフラを制御する部分は会社や使っているクラウドコントローラによってかなり違う実装になっているので面白いです。

コスト削減のためにOSS使ってるとか、有償製品使ってるから高いとかではなく、各社のアーキテクチャは各社がIaaSをやる上で最適なものを選んでいるということと、それぞれの違いに注目すると面白いということが伝わっていたら良いなと思います。（IaaSを使うときは各機能の制約や挙動から、何を使ってどうやって実装されているのか想像すると楽しいのでおすすめです。）

あと、各社どんな感じで作っているか簡単に説明してもらってから、ディスカッションに入ったんですが、全部ディスカッションでよかったかもしれないと思っています。Web系のイベントということで、インフラエンジニアはあまりいないだろうと思って説明を入れたのですが、会場の様子を見ていた感じではそうでもなさそうでした。

自分たちももっと話したかったので、後で公開座談会のようなものをやろうという話になっています。これについては、詳細が決まり次第どこかに公開します。

CROSS 2016の感想

登壇が終わった後は、雑談したり、ブースを回ったりしていて、他のセッションはあまり聞けませんでした。唯一まともに聞いたのがエンジニアがいるべき場所は米国なのか？日本なのか？で、やっぱり日本で働きたいよなーと思いました。

あと、やはり昨年同様、音響が悪いのが残念でした。

PackerとESXiでPhotonのOVFを作る

Wed, 09 Dec 2015 23:30:00 +0000

これは、HashiCorp Advent Calendar 2015の9日目の記事です。

Packerって何というのは説明しませんので、公式ページを読んでください。

Packer 0.8.7からvmware-iso builderでESXiを利用したときに、OVFを作ることができるようになるので、その紹介です。

この機能をマージしてもらえるまでに1年くらいかかってしまい、その間にgovmomiがリリースされているので、いつかgovmomiを使った実装に書き換えたいと思っています。

とても簡単に説明するとvmware-isobuilderにformatというオプションが追加されるので、template.jsonに"format": "ovf"と書くとOVFがエクスポートされるようになるというものです。

元々は、作ったVMがunregisterされ、データストアにVMXとVMDKだけ残るという仕様で、後からどうやって使うのかという状態でした。

この記事ではESXiのVagrant boxを作って、それを使ってOVFをビルドする手順になっていますが、ご自宅にESXiが入っているサーバがある方はそれでビルドしてみてください。

ただ、個人的にはESXiのVagrant boxを作っておくとノートPCの上などで手軽にESXiで遊べるのでおすすめです。

以下、環境とビルドの方法です。

環境

Host OS: Ubuntu 14.04
VMware Workstation 11.1.3
- Fusionでもいいはずです。
Packer 0.8.7.dev (77d9a89d1b3eef84a64edf7ca18b49c3ae5847c7)
- まだ0.8.7がリリースされていないので、masterブランチからビルドしてください。
ESXi 6.0 u1 3029758
- my vmware からVMware-VMvisor-Installer-6.0.0.update01-3029758.x86_64.isoをダウンロードしてください。
Vagrant 1.7.4
- 公式ページからダウンロードしてインストールしてください。
vagrant-vmware-workstation 3.2.6
- 有償なのでVMware providerのページから購入してインストールしてください。。。
vagrant-esxi 0.0.1
- vagrant plugin install vagrant-esxi
- ESXiのVagrant boxを使うために入れます。
vagrant-triggers 0.5.2
- vagrant plugin install vagrant-triggers
- vagrant upでpacker buildまで走るようにするために入れます。
ovftool 4.1.0
- VMwareのページからダウンロードしてインストールしてください。

ESXiのVagrant boxの作成

dougm/packer-esxiをフォークした、higebu/packer-esxiを使って作ります。

VMwareの@dougmさんのリポジトリは古くていろいろと躓くので、フォークして修正したものを使います。

まず、リポジトリをcloneしてesxi60ブランチをチェックアウトします。

git clone https://github.com/dougm/packer-esxi.git
git checkout esxi60

ビルドします。

packer build template.json

できあがったboxをインポートします。

vagrant box add --name esxi vmware_esxi60.box

これで、ESXiをvagrant upで起動できるようになります。

VagrantでESXiを起動してPackerでOVFをビルド

では、上記で作成したESXiのboxを使ってOVFをビルドします。

higebu/packer-esxi-exampleをcloneしてから、vagrant upします。

git clone https://github.com/higebu/packer-esxi-example.git
cd packer-esxi-example
vagrant up

いつものvagrant upのログの後にpacker buildのログも流れるのが見えると思います。

エラーになってしまった場合、template.jsonの<wait10>の数が足りないところがあるかもしれません。

中身を見るとわかるのですが、これはVMware社がOSSとして公開している、PhotonのVMをビルドするテンプレートです。 Photonにはkickstartのような仕組みがないため、GUIのインストーラに対してコマンドを流しているからです。

最後に

ポイントは最初にも書きましたが、template.jsonにformatというオプションを追加することです。

ovf、ova、vmxに対応しています。

Packerはとても便利なのですが、まじめに使っていると機能が足りなかったり動かなかったりすることも多いので、みんなでどんどんプルリクしていきましょう。

ニフティクラウドタイマーを使ってTravis CIで定期的にビルドを実行する

Tue, 01 Dec 2015 20:00:00 +0000

これは、NIFTY Cloud Advent Calendar 2015の1日目の記事です。

ハードルを下げるため、ちょっとしたネタにしました。

Travis CIでGitHubへのpushをトリガーにビルドするのではなく、ビルドを定期的に実行したいときに、ニフティクラウドタイマーを使って実現する方法です。

タイマーって何？という方はニフティクラウドタイマーのご紹介をご参照ください。

簡単に言うと、サーバーなしでcronを使えるサービスです。

前提

GitHubのアカウントを持っている
GitHubのPersonal settingsでPersonal access tokenを作成済(GITHUB_TOKENとする）
Travis CIのアカウントを持っている
Travis CIで定期的にビルドしたい何かがある
ニフティクラウドのアカウントを持っている

手順

Travis CIのAccess TokenをGitHubのPersonal access tokenから取得する

下記のコマンドを叩いてください。

curl -s -X POST -H 'Content-Type: application/json' -H 'Accept: application/vnd.travis-ci.2+json' https://api.travis-ci.org/auth/github -d '{"github_token":"GITHUB_TOKEN"}'

下記のようなレスポンスが返ってきます。

{"access_token":"TRAVIS_TOKEN"}

TRAVIS_TOKENの部分にTravis CIのAccess Tokenが入っているはずなので、メモしておきます。

Travis CIのAPI認証について、詳しくは公式ドキュメントをご参照ください。

curlで実行してみる

ここで、APIの実行が可能か確認するため、下記のようにcurlでAPIを叩いてみます。

{TRAVIS_TOKEN}に先ほど取得したTravis CIのAccess Tokenを、{ACCOUNT}に自分のアカウント名、{REPOSITORY}に自分のリポジトリ名を入れてください。

成功すると、ビルドが実行されるはずです。

body='{
"request": {
 "branch":"master"
}}'

curl -s -X POST \
 -H "Content-Type: application/json" \
 -H "Accept: application/json" \
 -H "Travis-API-Version: 3" \
 -H "Authorization: token {TRAVIS_TOKEN}" \
 -d "$body" \
 https://api.travis-ci.org/repo/{ACCOUNT}%2F{REPOSITORY}/requests

Travis CIでAPIからのビルドの実行について、詳しくは公式ドキュメントｒｙ

ニフティクラウドタイマーに設定する

設定自体は上記でやってみた、HTTPのリクエストを設定するだけです。

以下、手順です。

ニフティクラウドにログインし、左上のメニューから、タイマーを選択します。

タイマー作成ボタンがあると思いますので、それをクリックします。

タイマー名とスケジュールを設定します。メモも設定できます。

タイプはHTTPにします。他にはサーバー起動、停止、再起動、削除、設定変更、イメージとして保存、スナップショット取得、MQTT、Fluentdがあります。

HTTPを選択するとURL、メソッド、ヘッダー、ボディが設定できるようになるので、下記のように設定します。

URL
- https://api.travis-ci.org/repo/{ACCOUNT}%2F{REPOSITORY}/requests
メソッド
- POST
ヘッダー

Content-Type: application/json
Accept: application/json
Travis-API-Version: 3
Authorization: token {TRAVIS_TOKEN}

ボディ

{
 "request": {
 "branch":"master"
 }}

通知の設定をします。

確認して、“作成する"をクリックします。

これで、設定は完了です。定期的にビルドが実行されるはずです。

実行の履歴は、作成したタイマーを展開し、実行履歴タブを見ると確認できます。

Travis CIとニフティクラウドタイマーを使って、自動で最新のCoreOSをインポートする

最後に、実際にこの仕組みを使ってCoreOSのインポートを自動化してみた例をご紹介します。

元々Jenkinsを立てて自動でやっていたんですが、タイマーを使うことでサーバーがいらなくなりました。

ソースはGitHubに置いてあるため、それを見てください。

ビルドの様子もTravis CIで見られます。

ほぼエラーになっているのは、新しいバージョンが出て、インポートされたときのみ成功と判定しているためです。

見た目が悪いので改善したいと思っています。

明日、12/02は@thuydgがmBaaSとかMQTT辺りの話を書いてくれる予定です。

VyOSを触り始めて少し経った人向けのFAQ

Tue, 01 Dec 2015 00:00:00 +0000

最終更新: 2015/12/01

これは、VyOS Advent Calendar 2015の1日目の記事です。

VyOSを触り始めるといろいろと疑問が湧いてくるのですが、調べるのが大変なことも多いので、まとめておきます。

初めて触る人向けの情報をまとめようと思っていたのですが、少し経ったくらいで気になることばかりになってしまいました。

内容は思いついたときに随時更新していくかもしれません。

以下、FAQです。

次のバージョンはいつ出るのか

VyOSのリリースのコードネームは元素名になっています。2015/12/01現在の最新はHeliumなので、次はLithiumです。

Lithiumについては下記のURLに書かれています。

http://vyos.net/wiki/Lithium

Estimated release dateがSpring 2015になってますが、まだ出ていません。このページのRoadmapのCONFIRMEDやIN_PROGRESSでSeverityが高いものがRESOLVEDになればリリースされるかもしれません。

そろそろリリースしようかという話は、開発者メーリスで流れています。

それぞれのIssueの進捗はBugzillaで確認しましょう。

新しいDebianベースにならないのか

@UnicronNLさんががんばっていましたが、最近忙しくて進んでいないようです。他にやっている人もいなそうなので、誰か手伝ってくれると助かると思います。

下記のURLにJessieに対応しようとしていたブランチがあります。

https://git.multi.eu/vyos/build-iso/tree/jessie-transit

StrongSwanのバージョン新しくならないのか

BugzillaにIssueがあるので、これを監視するか、テストに協力しましょう。

また、他のソフトの場合も同じなのですが、BugzillaにIssueを作らないと新しいバージョンが出ていても需要がないのかなと思われてしまうのでIssueあげると良いです。

Debianのパッケージを入れたい

やり方が公式FAQに載っています。

http://vyos.net/wiki/FAQ#How_do_I_install_debian_packages

古いバージョンのVyattaのISOやドキュメントが欲しい

VyOSはVyatta 6.5からフォークしたものなので、Vyattaのドキュメントが参考になったりします。

公式サイトからはなくなっていますが、下記のURLの配下にISOなどがアーカイブされています。

ちなみに1つ目の方はIRCで@vyatta archiveと打つとvybotが教えてくれます。

失われてしまったVyattaのHacker Forumは下記のページで2013/06/01のスナップショットが見られます。

http://web.archive.org/web/20130601170522/http://vyatta.org/forum

困っていることは昔と変わらないことが多いので大変参考になります。

カーネルをカスタマイズしてビルドしたい

自分のgistで申し訳ないですが、下記を参考にしてください。

https://gist.github.com/higebu/409c00db4aa1256e405b

普通にカーネルをリビルドしたい場合は、公式ドキュメントが参考になります。

Intel DPDK対応しないのか

メンテナ少ないし、Debianの新しいバージョンに追随したり、バックエンドをきれいにする方をがんばりたいという話になっています。

素直にVyatta vRouter使うのがおすすめです。

もし自分で実装したという方がいらっしゃいましたら、プルリクエストお願いします。

vyconfdはどこに行ってしまったのか

一旦開発停止して、下記URLに移動しています。

https://github.com/vyos-legacy/vyconfd

Jenkins の Warnings Plugin で Python の依存パッケージの更新をチェックする

Wed, 28 Oct 2015 23:50:00 +0000

Pythonで開発していると、依存しているパッケージたちが古いのかどうか自動でチェックしたくなりますが、クローズドなものだと shields.io のような外部のサービスでチェックすることができません。そこで、piprotとJenkinsのWarnings Pluginでチェックできるようにします。

piprot について

piprot は pip install -U piprot でインストールでき、 piprot requirements.txt で依存パッケージが古いかどうかチェックできます。

コマンドでメールを送信したい場合は年間$25払ってとWebページには記載されていますが、メールを送信しなければフリーで使えます。

コマンドの実行結果は下記のような感じです。

$ piprot requirements.txt test_requirements.txt
click (5.1) is up to date
elastictabstops (1.0.0) is up to date
pyvmomi (5.5.0-2014.1.1) is out of date. Latest is 5.5.0-2014.1
flake8-pep257 (1.0.3) is up to date
flake8 (2.5.0) is up to date
pep257 (0.6.0) is 80 days out of date. Latest is 0.7.0
pep8-naming (0.3.3) is up to date
piprot (0.9.4) is up to date
pytest-cov (2.2.0) is up to date
pytest-xdist (1.13.1) is up to date
pytest (2.8.2) is up to date
tox (2.1.1) is up to date
Your requirements are 65 days out of date

Compiler Warnings の設定

いきなりですが、JenkinsにWarnings Pluginをインストールしている前提です。

Jenkins -> Manage Jenkins -> Compiler Warnings でパーサを追加します。

設定は下記のようにします。

Name: Piprot
Link name: Piprot
Trend report name: Piprot Warnings Trend
Regular Expression: (.+) $(.+)$ .* out of date. Latest is (.+)
Mapping Script:

import hudson.plugins.warnings.parser.Warning

String requiredPackage = matcher.group(1)
String currentVersion = matcher.group(2)
String latestVersion = matcher.group(3)
String categories = "piprot"
String message = requiredPackage + " " + currentVersion + " is out of date. Latest is " + latestVersion

return new Warning(requiredPackage, 0, "Piprot Parser", categories, message)

Job の設定

下記のような感じで、Build -> Execute shell にスクリプトを書き、 piprot を実行するようにします。

piprot requirements.txt

Post-build Actions -> Scan for compiler warnings の Scan console log に下記のように設定します。

Parser: Piprot

さらに Advanced… で、下記のようにしています。

ビルド結果

下記の画像のようにビルド結果にPiprotというのが追加されます。

クリックすると下記のような画面になります。

Mapping Scriptでパッケージ名をファイル名としているので、パッケージ毎に情報が表示されています。

Warningsタブ。

Detailsタブ。

トレンドのグラフも表示されます。

vCenter Server Appliance 6.0 fsck failed

Thu, 30 Jul 2015 15:30:00 +0000

検証環境の vCSA 6.0 が突然落ちて、コンソールを見たら画像のようになっていたので、直した話です。

環境

vCenter Server Appliance 6.0.0
Platform Services Controller は別に立てている

事象

画像のように /dev/mapper/db_vg-db の fsck に失敗したというエラーがコンソールに表示されます。

復旧方法

本来であれば、先ほどの画面でパスワードを2回入力した後、下記のコマンドを実行するとシェルにログインできます。

shell.set --enabled true
shell

しかし、今回は shell.set もエラーになってしまったため、 KB2069041 の手順でシェルにログインしました。

以下、復旧手順です。

まず、 pvscan, vgscan, lvscan 辺りのコマンドを実行し、状態を確認します。

pvscan の実行結果は下記のようになるはずです。 pvscan でデバイスがないとか何かエラーが出ていたら今回の手順では復旧できないと思います。

Failed to find sysfs mont point
PV /dev/sdk VG invsvc_vg lvm2 [9.99 GiB / 0 free]
PV /dev/sdj VG autodeploy_vg lvm2 [9.99 GiB / 0 free]
PV /dev/sdi VG netdump_vg lvm2 [1016.00 MiB / 0 free]
PV /dev/sdh VG seat_vg lvm2 [24.99 GiB / 0 free]
PV /dev/sdg VG dblog_vg lvm2 [4.99 GiB / 0 free]
PV /dev/sdf VG db_vg lvm2 [9.99 GiB / 0 free]
PV /dev/sde VG log_vg lvm2 [9.99 GiB / 0 free]
PV /dev/sdd VG core_vg lvm2 [49.99 GiB / 0 free]
PV /dev/sdc VG swap_vg lvm2 [24.99 GiB / 0 free]
Total: 9 [145.93 GiB] / in use: 9 [145.93 GiB] / in no VG: 0 [0 ]

db_vg を active にします。

lvchange -ay db_vg

e2fsck を実行します。

e2fsck -y /dev/mapper/db_vg-db

/dev/mapper/db_vg-db がないと言われたら vgcfgrestore db_vg したら良いかもしれません。

この後、vCSA で Inventory Service が起動しない状態になっており、ログを見たところ、 ldap 関連のエラーが出ていたため、 Platform Services Controller を再起動して、 vCSA も再起動したら元の状態に戻りました。

本番環境では起きて欲しくない障害ですね。。。

参考

vCenter Appliance fsck failed
- 5.5 で root fs の fsck をする話
fsck of vCenter Server Appliance 6.0 partitions
- ほとんど同じ内容
- この記事では lvchange していないが、しないと /dev/mapper ディレクトリが出現しなかった
Recovery of LVM partitions
Recovering a Lost LVM Volume Disk
How to properly run fsck on (/) root or other partitions including LVM

runC を試してみる

Tue, 23 Jun 2015 21:00:00 +0000

runC がリリースされましたが、runc.ioの手順では動かなかったので動かすところまでメモしておく。

2015/06/23時点で書いた記事です。

環境

Ubuntu 15.04
golang 1.4.2

runC のインストール

前もって Go をインストールしておく必要がありますが、省略します。インストールは github.com/opencontainers/runc のREADMEに書いてある通りでいけます。

git clone https://github.com/opencontainers/runc $GOPATH/src/github.com/opencontainers/runc
cd $GOPATH/src/github.com/opencontainers/runc
make
sudo make install

Docker コンテナを export して実行する

とりあえず、 alpine でやると下記のような感じ。

docker pull alpine
docker run --name alpine alpine /bin/sh
mkdir alpine
cd alpine
mkdir rootfs
docker export alpine | tar xf - -C rootfs
runc spec > container.json
sudo runc

nginx のコンテナを動かそうと思ったけど、ネットワーク周りの spec がないし、実装もなかったので、追加してみているが、うまく動いていないので何か間違っていそう。

https://github.com/higebu/runc/tree/add-networks

runc の specs がない問題は、 GitHub の Issue になっている。

Alpine Linux ベースで Docker イメージを作ると小さくて良い

Mon, 15 Jun 2015 02:00:00 +0000

Alpine Linux の Docker イメージのサイズ

最近仕事でいくつか Docker イメージを作っているんですが、その際の参考のために Docker Hub を漁っていたら、 FROM alpine なイメージのサイズがとても小さいことを知りました。

alpine:3.2 は 5.242MB しかありません。

Ubuntu など他の OS のイメージのサイズと比較してみると 100 MB 以上差があることがわかります。

REPOSITORY:TAG	VIRTUAL SIZE
alpine:3.2	5.242 MB
debian:jessie	125.2 MB
ubuntu:trusty	188.3 MB
fedora:22	186.5 MB

Docker はベースのイメージを初回しかダウンロードしないので、あまり気にする必要はないと思うかもしれませんが、数百台、数千台のクラスタを構築したいと思った時に、クラスタ全体が立ち上がるまでの時間が短縮されますし、ストレージもかなり節約できます。

そんなわけで、今後は Ubuntu でないと動かないなどという制約でもない限り、 Alpine Linux ベースでイメージを作っていこうと思っています。

Alpine Linux ベースで Docker イメージを作る

例えば、zabbix-agent の Dockerfile は下記のような感じになります。

FROM alpine:latest
RUN apk --update add zabbix-agent \
&& rm -rf /var/cache/apk/*
COPY docker-entrypoint.sh /docker-entrypoint.sh
EXPOSE 10050
ENTRYPOINT ["/docker-entrypoint.sh"]

ソースは GitHub に置いてあります。

Alpine Linux では apk というコマンドでパッケージを管理します。

また、初期状態では下記の 15 パッケージしか入っておらず、必要なパッケージを自分でかなり入れる必要がある場合もあります。

# apk info
musl
busybox
alpine-baselayout
openrc
alpine-conf
zlib
libcrypto1.0
libssl1.0
apk-tools
busybox-initscripts
scanelf
musl-utils
libc-utils
alpine-keys
alpine-base

それ以外は他の Linux ディストリビューションと大きく違う点はないと思います。

ちなみに先ほどの zabbix-agent のイメージは 8.527 MB で、 Ubuntu でも作ってみた所、 200.9 MB になりました。

fluentd のイメージは 176.7 MB になり、 fluent/fluentd の半分以下のサイズなのですが、 ruby 自体が大きいためこれよりは小さくできなそうです。

以下、参考までに docker images の結果を貼っておきます。

% docker images
REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
higebu/zabbix-agent-ubuntu latest eb7588d9a7f7 10 minutes ago 200.9 MB
higebu/fluentd latest 889b0fa11ffc About an hour ago 176.7 MB
fluent/fluentd latest 212de73247af 2 days ago 491.4 MB
higebu/zabbix-agent latest 31471e804003 4 days ago 8.527 MB
ubuntu latest fa81ed084842 6 days ago 188.3 MB
ubuntu trusty fa81ed084842 6 days ago 188.3 MB
alpine 3.2 8697b6cc1f48 9 days ago 5.242 MB
alpine latest 8697b6cc1f48 9 days ago 5.242 MB

Packer で複数のリポジトリ名や複数のタグが付いた Docker イメージを作る

Fri, 15 May 2015 11:00:00 +0000

環境

Ubuntu 15.04
Docker 1.6.0
Packer 0.7.5

例

いきなりですが、実際の例を見た方が早いので、テンプレートの例です。

{
 "builders":[{
 "type": "docker",
 "image": "fedora",
 "commit": "true"
 }],
 "provisioners":[
 {
 "type": "shell",
 "inline": [
 "yum update -y",
 "yum clean all"
 ]
 }
 ],
 "post-processors": [
 [
 {
 "type": "docker-tag",
 "repository": "higebu/fedora1",
 "tag": "0.1"
 },
 "docker-push"
 ],
 [
 {
 "type": "docker-tag",
 "repository": "higebu/fedora1",
 "tag": "latest"
 },
 "docker-push"
 ],
 [
 {
 "type": "docker-tag",
 "repository": "higebu/fedora2",
 "tag": "0.1"
 },
 "docker-push"
 ],
 [
 {
 "type": "docker-tag",
 "repository": "higebu/fedora2",
 "tag": "latest"
 },
 "docker-push"
 ]
 ]
}

tag の部分に配列を渡せたらきれいなんですが、現状渡せないので、少し複雑なテンプレートになってしまっています。

これを使って packer build すると higebu/fedora1:0.1、higebu/fedora1:latest、higebu/fedora2:0.1、higebu/fedora2:latest が Docker Hub 上に作成されます。

複数のタグを付けようと思って試していたら、複数のリポジトリもいけると気づいたんですが、何に使うのかは不明です。

解説

普通に docker-tag post proccessor を並べると

* Post-processor failed: Unknown artifact type: packer.post-processor.docker-tag
Can only tag from Docker builder artifacts.

というエラーになります。エラーメッセージには、Docker builder の artifacts しかタグ付けられないよと書いてあるんですが、実際には docker-import post proccessor の artifacts も受け取れますし、Docker Builder でも、export_path を指定してエクスポートたものは受け取れません。

普通に並べるというのは下記のような感じです。

 "post-processors": [
 [
 {
 "type": "docker-tag",
 "repository": "higebu/fedora1",
 "tag": "0.1"
 },
 {
 "type": "docker-tag",
 "repository": "higebu/fedora1",
 "tag": "latest"
 },
 "docker-push"
 ]
 ]

これだと、docker-tag で処理されたものが docker-tag に渡されてしまいエラーになるので、上の例では並列にならべて、それぞれ docker-push しています。また、export_path ではなく、 "commit": "true" にして、エクスポートしないようにしています。

vSphere Client 5.5 on Ubuntu 14.04

Sun, 15 Mar 2015 12:30:00 +0000

環境

Ubuntu 14.04.2 amd64
wine 1.7.38
mono 4.5.4

wine と .NET のインストール

下記のコマンドを実行

sudo add-apt-repository ppa:ubuntu-wine/ppa
sudo apt-get update
sudo apt-get install -y wine1.7 wine-mono4.5.4 wine-gecko2.34

wine のバージョンの確認

$ wine --version
wine-1.7.38

32bit 環境の用意

WINEARCH=win32 WINEPREFIX=~/.wine32 winecfg

XP になっているので、Windows7などにしておく
.NET インストール

WINEARCH=win32 WINEPREFIX=~/.wine32 winetricks dotnet20
WINEARCH=win32 WINEPREFIX=~/.wine32 winetricks dotnet30
WINEARCH=win32 WINEPREFIX=~/.wine32 winetricks dotnet20sp1
WINEARCH=win32 WINEPREFIX=~/.wine32 winetricks dotnet30sp1
WINEARCH=win32 WINEPREFIX=~/.wine32 winetricks dotnet35
WINEARCH=win32 WINEPREFIX=~/.wine32 winetricks dotnet35sp1

途中でダウンロードして指定されたディレクトリに置けと言われるので、その通りにする。ディレクトリもダウンロード先のサイトも勝手に開くのでそこまで大変でもないです。

vSphere Client インストール

vSphere Client のインストーラをダウンロードして、下記のコマンドを実行

WINEARCH=win32 WINEPREFIX=~/.wine32 wine Downloads/VMware-viclient-all-5.5.0-1993072.exe

vSphere Client 起動

下記のコマンドを実行する

WINEARCH=win32 WINEPREFIX=$HOME/.wine32 wine $HOME/.wine32/drive_c/Program\ Files/VMware/Infrastructure/Virtual\ Infrastructure\ Client/Launcher/VpxClient.exe

下記の画像のようになります。デスクトップにショートカットもできていて、これをダブルクリックでも起動できます。便利な世の中になりましたね。

ただ、現状ではコンソールが使えません。コンソールを見たいときは VMware Workstation を使うか、 VNC で接続することになります。

参考

VyOS で Docker を動かす

Wed, 10 Dec 2014 23:30:00 +0000

この記事は、 VyOS Advent Calendar 2014 の10日目の記事です。

作り方

VyOS は AUFS が入っていないので、カーネルからビルドし直します。

普通に入れようとすると FATAL: Module aufs not found. と怒られます。

AUFS に対応させる手順は下記の通りです。

まず、 vyos-kernel を git clone します。

git clone git@github.com:vyos/vyos-kernel.git

ここで、 vyos-kernel に適当なブランチを作っておきます。

aufs3-standalone のソースを持ってきてパッチを当てます。

git clone git://aufs.git.sourceforge.net/gitroot/aufs/aufs3-standalone.git
pushd aufs3-standalone
git checkout origin/aufs3.13
popd
cp -r aufs3-standalone/{Documentation,fs} vyos-kernel
cp aufs3-standalone/include/uapi/linux/aufs_type.h vyos-kernel/include/uapi/linux/aufs_type.h
cd vyos-kernel
cat ../aufs3-standalone/aufs3-{base,kbuild,loopback,mmap,standalone}.patch | patch -p1

また、 cgroup のオプションが足りないので、足します。

AUFS を足しただけだと、下記のようになります。

vyos@vyos:~$ docker info
Containers: 0
Images: 7
Storage Driver: aufs
Root Dir: /var/lib/docker/aufs
Dirs: 7
Execution Driver: native-0.2
Kernel Version: 3.13.11-1-amd64-vyos
Operating System: <unknown>
WARNING: No memory limit support
WARNING: No swap limit support

config の diff は最終的に下記のようになりました。

# git diff HEAD^ debian/arch/amd64/config.amd64-vyos | cat -
diff --git a/debian/arch/amd64/config.amd64-vyos b/debian/arch/amd64/config.amd64-vyos
index 609abec..570c4a2 100644
--- a/debian/arch/amd64/config.amd64-vyos
+++ b/debian/arch/amd64/config.amd64-vyos
@@ -141,18 +141,26 @@ CONFIG_ARCH_WANTS_PROT_NUMA_PROT_NONE=y
# CONFIG_NUMA_BALANCING is not set
CONFIG_CGROUPS=y
# CONFIG_CGROUP_DEBUG is not set
-# CONFIG_CGROUP_FREEZER is not set
-# CONFIG_CGROUP_DEVICE is not set
+CONFIG_CGROUP_FREEZER=y
+CONFIG_CGROUP_DEVICE=y
CONFIG_CPUSETS=y
CONFIG_PROC_PID_CPUSET=y
-# CONFIG_CGROUP_CPUACCT is not set
-# CONFIG_RESOURCE_COUNTERS is not set
-# CONFIG_CGROUP_PERF is not set
+CONFIG_CGROUP_CPUACCT=y
+CONFIG_RESOURCE_COUNTERS=y
+CONFIG_MEMCG=y
+CONFIG_MEMCG_SWAP=y
+CONFIG_MEMCG_SWAP_ENABLED=y
+CONFIG_CGROUP_MEM_RES_CTLR_SWAP=y
+CONFIG_CGROUP_MEM_RES_CTLR_SWAP_ENABLED=y
+CONFIG_MEMCG_KMEM=y
+CONFIG_CGROUP_HUGETLB=y
+CONFIG_CGROUP_PERF=y
CONFIG_CGROUP_SCHED=y
CONFIG_FAIR_GROUP_SCHED=y
-# CONFIG_CFS_BANDWIDTH is not set
-CONFIG_RT_GROUP_SCHED=y
-# CONFIG_BLK_CGROUP is not set
+CONFIG_CFS_BANDWIDTH=y
+# CONFIG_RT_GROUP_SCHED is not set
+CONFIG_BLK_CGROUP=y
+# CONFIG_DEBUG_BLK_CGROUP is not set
# CONFIG_CHECKPOINT_RESTORE is not set
CONFIG_NAMESPACES=y
CONFIG_UTS_NS=y
@@ -273,6 +281,7 @@ CONFIG_BLOCK=y
CONFIG_BLK_DEV_BSG=y
CONFIG_BLK_DEV_BSGLIB=y
CONFIG_BLK_DEV_INTEGRITY=y
+CONFIG_BLK_DEV_THROTTLING=y
# CONFIG_BLK_CMDLINE_PARSER is not set
#
@@ -307,6 +316,7 @@ CONFIG_BLOCK_COMPAT=y
CONFIG_IOSCHED_NOOP=y
CONFIG_IOSCHED_DEADLINE=y
CONFIG_IOSCHED_CFQ=y
+CONFIG_CFQ_GROUP_IOSCHED=y
# CONFIG_DEFAULT_DEADLINE is not set
CONFIG_DEFAULT_CFQ=y
# CONFIG_DEFAULT_NOOP is not set
@@ -4007,6 +4017,30 @@ CONFIG_CLKBLD_I8253=y
# CONFIG_POWERCAP is not set
#
+# AUFS Support
+#
+CONFIG_AUFS_FS=m
+CONFIG_AUFS_BRANCH_MAX_127=y
+# CONFIG_AUFS_BRANCH_MAX_511 is not set
+# CONFIG_AUFS_BRANCH_MAX_1023 is not set
+# CONFIG_AUFS_BRANCH_MAX_32767 is not set
+CONFIG_AUFS_SBILIST=y
+# CONFIG_AUFS_HNOTIFY is not set
+CONFIG_AUFS_EXPORT=y
+CONFIG_AUFS_XATTR=y
+# CONFIG_AUFS_FHSM is not set
+# CONFIG_AUFS_RDU is not set
+# CONFIG_AUFS_SHWH is not set
+CONFIG_AUFS_BR_RAMFS=y
+CONFIG_AUFS_BR_FUSE=y
+CONFIG_AUFS_BR_HFSPLUS=y
+# CONFIG_AUFS_DEBUG is not set
+# CONFIG_AUFS_MAGIC_SYSRQ is not set
+CONFIG_AUFS_BDEV_LOOP=y
+CONFIG_AUFS_INO_T_64=y
+CONFIG_AUFS_POLL=y
+
+#
# Firmware Drivers
#
CONFIG_EDD=m

修正した vyos-kernel は GitHub に置いてあります。

ビルドの仕方は、昨日と同じで、シェルスクリプトにしてあって、 gist に置いてあります。

hiroysato さんの Jessie 上で VyOS をビルドする手順を参考に Wheezy でビルドしました。

興味のある方は読んでみてください。

使い方

ISO をダウンロードし、インストールします。

ビルド済みの ISO は GitHub に置いてあります。

起動して、show version すると下記のように表示されます。

vyos@vyos:~$ show version
Version: VyOS 999.heliumdocker.12091651
Description: 999.heliumdocker.12091651
Copyright: 2014 VyOS maintainers and contributors
Built by: root@contributors.vyos.net
Built on: Tue Dec 9 16:51:21 UTC 2014
Build ID: 1412091651-cff5913
System type: x86 64-bit
Boot via: disk
Hypervisor: VMware
HW model: VMware Virtual Platform
HW S/N: VMware-42 02 fc 13 49 8a c7 0f-e6 f2 dc 16 0c 81 91 12
HW UUID: 4202FC13-498A-C70F-E6F2-DC160C819112
Uptime: 15:29:54 up 3 min, 1 user, load average: 0.01, 0.03, 0.02

Docker をインストールします。

configure
set system package repository squeeze url http://ftp.jp.debian.org/debian/
set system package repository squeeze distribution squeeze
set system package repository squeeze components 'main contrib non-free'
set system package repository squeeze-lts url http://ftp.jp.debian.org/debian/
set system package repository squeeze-lts distribution squeeze-lts
set system package repository squeeze-lts components 'main contrib non-free'
commit
save
exit
sudo apt-get update
curl -sSL https://get.docker.com/ | /bin/sh

vyos ユーザを docker グループに所属させます。

sudo usermod -aG docker vyos

ログアウト、ログインします。

start-stop-daemon が古く、 --no-close に対応していないので、 /etc/init.d/docker から消します。

sudo sed -i '/--no-close/d' /etc/init.d/docker

Docker を起動します。

sudo /etc/init.d/docker start

docker info を見てみます。

vyos@vyos:~$ docker info
Containers: 0
Images: 0
Storage Driver: aufs
Root Dir: /var/lib/docker/aufs
Dirs: 0
Execution Driver: native-0.2
Kernel Version: 3.13.11-1-amd64-vyos
Operating System: <unknown>

WARNING は出ていません！

Operating System が <unknown> ですが気にしないことにして、 VyOS の Docker イメージを起動してみます。

vyos@vyos:~$ docker run -d --privileged -v /lib/modules:/lib/modules -v /boot:/boot higebu/vyos:latest /sbin/init
01f328b0b8dbf763a1aada80e85980577146be377c4ea4d284583f02b8c44355
vyos@vyos:~$ docker ps -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
01f328b0b8db higebu/vyos:1.1.1 "/sbin/init" 4 seconds ago Up 3 seconds suspicious_morse

中に入ってみます。

vyos@vyos:~$ docker exec -ti suspicious_morse /bin/vbash
vbash-4.1# su - vyos
vyos@vyos:~$ show version
WARNING: terminal is not fully functional
Version: VyOS 1.1.1
Description: VyOS 1.1.1 (helium)
Copyright: 2014 VyOS maintainers and contributors
Built by: maintainers@vyos.net
Built on: Sun Dec 7 21:41:28 UTC 2014
Build ID: 1412072141-129950d
System type: x86 64-bit
Boot via: disk
Hypervisor: VMware
HW model: VMware Virtual Platform
HW S/N: VMware-42 02 fc 13 49 8a c7 0f-e6 f2 dc 16 0c 81 91 12
HW UUID: 4202FC13-498A-C70F-E6F2-DC160C819112
Uptime: 06:47:14 up 21 min, 0 users, load average: 0.03, 0.05, 0.05

一応動いていますね。

しかし、 VyOS の Docker イメージがおかしいようで、 IP アドレスが付きません。

vbash-4.1# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
6: eth0: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff
inet6 fe80::42:acff:fe11:3/64 scope link
valid_lft forever preferred_lft forever

下記のように debian:latest のイメージを取ってきて動かすと IP アドレスが付いているので、 VyOS 上で Docker を動かすという部分については、今のところ問題ないと思っています。

vyos@vyos:~$ docker run -it debian:latest /bin/bash
Unable to find image 'debian:latest' locally
debian:latest: The image you are pulling has been verified
511136ea3c5a: Pull complete
f10807909bc5: Pull complete
f6fab3b798be: Pull complete
Status: Downloaded newer image for debian:latest
root@2e86576d3b90:/#
root@2e86576d3b90:/#
root@2e86576d3b90:/# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
4: eth0: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::42:acff:fe11:2/64 scope link
valid_lft forever preferred_lft forever

VyOS の Docker イメージを直すことができたら、またブログに書きたいと思います。

以上です。

VyOS の Docker イメージを作ってみる

Tue, 09 Dec 2014 23:30:00 +0000

この記事は、 VyOS Advent Calendar 2014 の9日目の記事です。

VyOS のコンテナがあったら面白そうということで作ってみました。

作り方

VyOS には debootstrap が入っていないため ISO から作っています。

基本的には、 vyos/build-ami と Docker 公式ドキュメントを参考にしています。

また、イメージの作成は手元の Ubuntu 14.04 で行いました。

流れは下記の通りですが、シェルスクリプトにしてしまったので、1つ1つは説明しません。

docker をインストール
overlayroot をインストール
ISO をダウンロード
ISO をマウント
ISO の中身から root パーティションを構築
イメージビルド用ディレクトリにコピー
イメージビルド用ディレクトリを圧縮
Dockerfile を作成
docker build

また、スクリプト内でイメージ名に Docker Hub のユーザ名を含めているため docker login しておきます。

引数に ISO の URL を指定して実行します。

wget https://gist.githubusercontent.com/higebu/c152e73c20d438e33134/raw/cacc01517e2898e09bd98dd7303693af74b82aff/mkimage_vyos.sh
chmod +x mkimage_vyos.sh
./mkimage_vyos.sh http://mirror.vyos-users.jp/iso/release/1.1.1/vyos-1.1.1-amd64.iso

スクリプトは gist に置いてありますので、興味のある方はご参照ください。

できあがったものは Docker Hub に置いてあります。

使い方

使い方は模索中ですが、下記のようにすると一応起動します。

docker run -d --privileged -v /lib/modules:/lib/modules higebu/vyos:latest /sbin/init

カーネルモジュールが必要なサービスばかりのため、 -v /lib/modules:/lib/modules でホストのカーネルモジュールを読み込めるようにしています。

--privileged を付けないと /lib/modules 配下のファイルを読めず、カーネルモジュールが必要なサービスが起動しません。

その後、下記のようにすると vyos ユーザになれます。

docker exec -ti {name} /bin/vbash
su - vyos

configure などのコマンドも普通に動きます。

ただ、このままだと、 Ubuntu のカーネルモジュールで動いており、パッチを当てている、 VyOS のカーネルモジュールとは別物の可能性もあるので、 VyOS の上で Docker を動かせないかやってみたというのを明日書こうと思います。

VyOS のインストールとアップグレード

Tue, 02 Dec 2014 23:30:00 +0000

この記事は、 VyOS Advent Calendar 2014 の2日目の記事です。

今回は、インストールとアップグレードについて説明します。

使用するバージョンは、現在の最新の安定版である、 1.1.0 です。

インストール

まず、 ISO イメージをダウンロードします。

本家のミラーか、日本のミラーからダウンロードします。

ダウンロードした ISO を実際のマシンでも仮想マシンでも良いのでマウントして起動します。

起動すると以下のような画面になるのでログインします。

ブート画面にも書いてありますが、 ID とパスワードは共に vyos です。

インストールコマンドは install system と install image がありますが、推奨の install image を使います。

インストールの流れは下記の通りです。

パーティションを自分で設定したいとき以外は、大きな変更はないと思います。

vyos@vyos:~$ install image
Welcome to the VyOS install program. This script
will walk you through the process of installing the
VyOS image to a local hard drive.
Would you like to continue? (Yes/No) [Yes]: Yes
Probing drives: OK
Looking for pre-existing RAID groups...none found.
The VyOS image will require a minimum 1000MB root.
Would you like me to try to partition a drive automatically
or would you rather partition it manually with parted? If
you have already setup your partitions, you may skip this step
Partition (Auto/Parted/Skip) [Auto]:
I found the following drives on your system:
sda 8589MB
Install the image on? [sda]:
This will destroy all data on /dev/sda.
Continue? (Yes/No) [No]: Yes
How big of a root partition should I create? (1000MB - 8589MB) [8589]MB:
Creating filesystem on /dev/sda1: OK
Done!
Mounting /dev/sda1...
What would you like to name this image? [1.1.0]:
OK. This image will be named: 1.1.0
Copying squashfs image...
Copying kernel and initrd images...
Done!
I found the following configuration files:
/config/config.boot
/opt/vyatta/etc/config.boot.default
Which one should I copy to sda? [/config/config.boot]:
Copying /config/config.boot to sda.
Enter password for administrator account
Enter password for user 'vyos':
Retype password for user 'vyos':
I need to install the GRUB boot loader.
I found the following drives on your system:
sda 8589MB
Which drive should GRUB modify the boot partition on? [sda]:
Setting up grub: OK
Done!

インストールが終わったら再起動します。

vyos@vyos:~$ reboot
Proceed with reboot? (Yes/No) [No] Yes

バージョンを確認します。

vyos@vyos:~$ show version
Version: VyOS 1.1.0
Description: VyOS 1.1.0 (helium)
Copyright: 2014 VyOS maintainers and contributors
Built by: maintainers@vyos.net
Built on: Thu Oct 9 22:27:26 UTC 2014
Build ID: 1410092227-af6433f
System type: x86 64-bit
Boot via: image
Hypervisor: VMware
HW model: VMware Virtual Platform
HW S/N: VMware-56 4d 8c 89 9f 3f 1e 76-e3 89 53 a5 85 f5 46 fc
HW UUID: 564D8C89-9F3F-1E76-E389-53A585F546FC
Uptime: 13:54:20 up 0 min, 1 user, load average: 0.37, 0.11, 0.04

今回は、 VMware Workstation 上でインストールしたため、 HW model が VMware Virtual Platform になっていますが、他の環境では異なる文字列になっています。

インストールについて、詳しくは、公式のドキュメントか日本語訳をご参照ください。

アップグレード

次に先ほどインストールしたものから、 1.1.1 rc1 にアップグレードします。

アップグレードについては公式のドキュメントに書いてあります。

日本語訳はまだありません。。。

アップグレードの流れは下記の通りです。

add system image コマンドの引数に ISO イメージの URL を渡します。

イメージの名前は好きなものを指定できますが、ここでは、そのままにしています。

vyos@vyos:~$ add system image http://dev.packages.vyos.net/iso/helium/amd64/VyOS-livecd-1412020000-af6433f-amd64.iso
Trying to fetch ISO file from http://dev.packages.vyos.net/iso/helium/amd64/VyOS-livecd-1412020000-af6433f-amd64.iso
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 231M 100 231M 0 0 1922k 0 0:02:03 0:02:03 --:--:-- 2568k
ISO download succeeded.
Checking for digital signature file...
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
curl: (22) The requested URL returned error: 404
Unable to fetch digital signature file.
Do you want to continue without signature check? (yes/no) [yes]
Checking MD5 checksums of files on the ISO image...OK.
Done!
What would you like to name this image? [VyOS-999.helium.12020000]:
OK. This image will be named: VyOS-999.helium.12020000
Installing "VyOS-999.helium.12020000" image.
Copying new release files...
Would you like to save the current configuration
directory and config file? (Yes/No) [Yes]:
Copying current configuration...
Would you like to save the SSH host keys from your
current configuration? (Yes/No) [Yes]:
Copying SSH keys...
Setting up grub configuration...
Done.

インストールされたイメージを確認します。

vyos@vyos:~$ show system image
The system currently has the following image(s) installed:
1: VyOS-999.helium.12020000 (default boot)
2: 1.1.0

この状態ではまだアップグレードされていないので、 reboot で再起動します。

再起動後、 show version するとバージョンアップされているのを確認できます。

vyos@vyos:~$ show version
Version: VyOS 999.helium.12020000
Description: 999.helium.12020000
Copyright: 2014 VyOS maintainers and contributors
Built by: autobuild@vyos.net
Built on: Tue Dec 2 00:00:38 UTC 2014
Build ID: 1412020000-af6433f
System type: x86 64-bit
Boot via: image
Hypervisor: VMware
HW model: VMware Virtual Platform
HW S/N: VMware-56 4d 8c 89 9f 3f 1e 76-e3 89 53 a5 85 f5 46 fc
HW UUID: 564D8C89-9F3F-1E76-E389-53A585F546FC
Uptime: 14:15:36 up 0 min, 1 user, load average: 0.29, 0.08, 0.03

では、前のバージョンに戻してみましょう。

set system image default-boot コマンドを使います。

vyos@vyos:~$ set system image default-boot 1.1.0
Default boot image has been set to "1.1.0".
You need to reboot the system to start the new default image.

もう一度再起動するとバージョンが戻っているのを確認できます。

vyos@vyos:~$ show version
Version: VyOS 1.1.0
Description: VyOS 1.1.0 (helium)
Copyright: 2014 VyOS maintainers and contributors
Built by: maintainers@vyos.net
Built on: Thu Oct 9 22:27:26 UTC 2014
Build ID: 1410092227-af6433f
System type: x86 64-bit
Boot via: image
Hypervisor: VMware
HW model: VMware Virtual Platform
HW S/N: VMware-56 4d 8c 89 9f 3f 1e 76-e3 89 53 a5 85 f5 46 fc
HW UUID: 564D8C89-9F3F-1E76-E389-53A585F546FC
Uptime: 14:19:10 up 0 min, 1 user, load average: 0.04, 0.01, 0.01

新しいバージョンが出たときに今の設定がそのまま動くか試すときにとても便利です。

簡単にできますので、ぜひ試してみてください。

CoreOS のビルド方法とカスタマイズ

Tue, 02 Dec 2014 19:30:00 +0000

この記事は、 CoreOS Advent Calendar 2014 の2日目の記事です。

CoreOS は、 Chrome OS をフォークしたもので、 Chrome OS が Gentoo Linux ベースのため、 CoreOS も Gentoo Linux ベースになっており、 Gentoo のパッケージを持ってくるか、自分で ebuild ファイルを書くことで、パッケージを追加できます。

ただし、 rootfs はリードオンリーになっているため、ビルド時に追加する必要があります。

そこで、この記事では、ビルド方法と、パッケージの追加方法について説明します。

1 普通にビルドする方法

基本的には公式ドキュメントの方法に従います。

また、ここでは Ubuntu 14.04 を利用する前提でコマンドを記載します。

1.0. 準備

ドキュメントには記載がありませんが、 root ユーザでは、 cros_sdk コマンドがエラーになるため、ビルド用のユーザを作成してから作業します。

ここでは、 build という名前でユーザを作成します。

adduser build

curl と git をインストールします。

sudo apt-get install -y curl git

1.1. depot_tools のインストール

depot_tools というのは、The Chromium Project で使われている、ソースコード管理やコードレビューのためのツールの詰め合わせです。

インストールするには、下記のコマンドを実行します。

git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git
export PATH="$PATH":`pwd`/depot_tools

PATH を .bashrc などで設定してしまっても良いのですが、自分はこの辺りの処理を全て1つのスクリプトで行っており、常にクリーンな状態からビルドするようにしているため、毎回 git clone して export しています。

1.2. SDK chroot をセットアップ

作業用ディレクトリを作成します。

mkdir coreos; cd coreos

.repo というディレクトリを指定した manifest で初期化します。

repo init -u https://github.com/coreos/manifest.git -g minilayout --repo-url https://chromium.googlesource.com/external/repo.git
repo sync

上記のコマンドでは、ブランチを指定していないため、 master ブランチが参照されます。

特定のバージョンの CoreOS をビルドするには下記のようにします。

repo init -u https://github.com/coreos/manifest.git -b refs/tags/v509.1.0 -g minilayout --repo-url https://chromium.googlesource.com/external/repo.git -m release.xml
repo sync

-b でタグを指定し、 -m で manifest ファイルを指定しています。

manifest ファイルを指定しない場合、 master.xml が参照され、 master.xml の内容では、coreos-overlay や docker などの各リポジトリの最新のソースを取ってきてしまうため、欲しいバージョンの CoreOS とはかけ離れたものになってしまいます。

release.xml では、各リポジトリの特定の revision が書いてあり、正しいソースを取得することができます。

ちなみに、実際に v509.1.0 の manifest で repo sync すると docker のリポジトリが間違っているため、エラーになります。

v509.1.0 をビルドする場合は、 build-509 というブランチを利用しなければなりません。

repo については、詳しくは Android の開発者用のサイトを見ると良いです。

1.3. イメージのビルド

下記のコマンドを実行するとコンパイラなどの必要なツールを含んだ SDK chroot がダウンロードされ、 chroot 環境に入ります。

cros_sdk

chroot 環境に入らなかった場合は、 –enter を付けて再度実行すると入ります。

次に core ユーザのパスワードを設定します。

./set_shared_user_password.sh

ビルドする環境を設定します。

echo amd64-usr > .default_board
./setup_board

パッケージをビルドします。

./build_packages

イメージをビルドします。

./build_image --noenable_rootfs_verification dev

上記は開発用のイメージを作成するときのコマンドですが、プロダクション環境用のイメージを作るには次のようにします。

./set_official
COREOS_OFFICIAL=1 ./build_image prod --group Alpha

./set_official で、 coreos-au-key という自動アップデート時に使われる認証用の鍵がインストールされます。

また、 COREOS_OFFICIAL=1 で、バージョン番号から日付が消えます。

最後に、各環境用のイメージに変換します。例えば、VMware 用のイメージであれば、下記のようにします。

./image_to_vm.sh --from=../build/images/amd64-usr/latest --board=amd64-usr --prod_image --format vmware

変換後のファイルは、 src/build/images/amd64-usr/latest/ 配下に作成されます。

2. カスタマイズする

ここからはおまけになってしまうかもしれませんが、 CoreOS をニフティクラウドの上で動かすために追加したパッケージについて説明します。

zsh 入れたいみたいな話ではなく、自分たち専用のイメージを作って OEM 対応したいという場合の話になっています。

2.1. oem-niftycloud パッケージの作成

CoreOS は、各 IaaS プロバイダや、 OpenStack 、 CloudStack などの IaaS 基盤向けに oem-hoge というパッケージを作って対応しています。

それらのソースは coreos/coreos-overlay/coreos-base 配下にあります。

oem-hoge でやっていることは、主に下記の4つです。

/etc/environment に COREOS_PUBLIC_IPV4 などを設定する
oem 用の cloud-config で、必要なエージェントなどのデーモンを起動する
SSHキーを設定する
ユーザが設定した cloud-config を読み込んで、 coreos-cloudinit に渡す

oem-niftycloud は下記のようになりました。

coreos-overlay/coreos-base/oem-niftycloud/
├── files
│   ├── cloud-config.yml
│   ├── coreos-setup-environment
│   ├── niftycloud-coreos-cloudinit
│   └── niftycloud-ssh-key
└── oem-niftycloud-0.0.1.ebuild

cloud-config.yml
- niftycloud 用の cloud-config
coreos-setup-environment
- /etc/environment 作成用スクリプト
niftycloud-coreos-cloudinit
- ユーザが設定した cloud-config を読み込んで、 coreos-cloudinit に渡すスクリプト
niftycloud-ssh-key
- sshキーを設定するスクリプト
oem-niftycloud-0.0.1.ebuild
- oem-niftycloud をインストールするための ebuild ファイル

各スクリプトについては、 GitHub のリポジトリに置いてありますので、そちらをご参照ください。

2.2. niftycloud フォーマットの作成

CoreOS はイメージをビルドする際に各環境毎に必要なパッケージを入れるようになっています。

具体的には、 coreos/scripts/image_to_vm.sh の –format オプションで指定するのですが、当然ながら niftycloud というフォーマットはありません。

vmware であれば、 open-vm-tools が入るようになっていたり、 gce であれば、 GCE 上で動かすために必要なデーモンがインストールされるようになっています。

そこで、ニフティクラウド用のイメージを作成するため、 --format niftycloud と指定できるようにしました。

修正したのは、 scripts/build_library/vm_image_util.sh というスクリプトです。

修正内容は長くなってしまうので、 GitHub のコミットログをご参照ください。

2.3. ビルド方法

ここまで読めばわかると思いますが、1.3. イメージのビルドの最後の手順のオプションが下記のようになるだけです。

./image_to_vm.sh --from=../build/images/amd64-usr/latest --board=amd64-usr --prod_image --format niftycloud

3. ビルドの自動化

これまでの作業を手で行うのは大変面倒なので自動化しています。

自動化する際の Tips を紹介しておきます。

3.1. repo コマンドを初めて実行したときに色の出力をどうするか聞かれないようにする

初めて repo init すると下記のような質問が出ます。

Your identity is: Yuya Kusakabe <yuya.kusakabe@gmail.com>
If you want to change this, please re-run 'repo init' with --config-name
Testing colorized output (for 'repo diff', 'repo status'):
black red green yellow blue magenta cyan white
bold dim ul reverse
Enable color display in this user account (y/N)?

これを回避するには、git の色の設定を前もってしておきます。

git config --global color.ui false

3.2. core ユーザのパスワード設定でパスワードを聞かれないようにする

下記のように引数にパスワードを渡します。

./set_shared_user_password.sh {password}

3.3. SDK chroot 環境に入らないようにする

cros_sdk コマンドの後ろに -- を付けてから内部で実行したいコマンドを並べます。

cros_sdk --download
cros_sdk -- "./set_shared_user_password.sh" "core"
echo "amd64-usr" > src/scripts/.default_board
cros_sdk -- "./setup_board"
cros_sdk -- "./build_packages"
cros_sdk -- "./set_official"
cros_sdk -- "COREOS_OFFICIAL=1" "./build_image" "prod" "--group" "Alpha"
cros_sdk -- "./image_to_vm.sh" "--from=../build/images/amd64-usr/latest" "--board=amd64-usr" "--prod_image" "--format" "niftycloud"

最後に

CoreOS をビルドしたり、 OEM 対応したりする人は稀だと思いますが、似たようなことをする方の参考になれば幸いです。

~~実は、ここまでやってもニフティクラウドのイメージは自動アップデートに対応できていません。~~

~~理由は、本家の ohama サーバに oem-id が登録されていないせいのようなので、現在プルリクエスト中です。~~

2014/12/29 追記: アップデートできなかったのは別の問題だったようで、ビルドし直したところ、問題なくアップデートできました。

ちなみに update_engine_client -update で手動アップデートできるので便利です。

VyOS の概要

Mon, 01 Dec 2014 23:00:00 +0000

この記事は、 VyOS Advent Calendar 2014 の1日目の記事です。

VyOS とは

VyOS って何？という方も多いと思いますので、まずは、 VyOS の概要を説明したいと思います。

VyOS は、開発が停止してしまった、 Vyatta Core 6.6 R1 をフォークしたものです。

Vyatta 自体は、 Brocade 社に買収された後も開発が続けられておりますが、 OSS ではなくなっています。

開発は、元 Vyatta 社の Daniil Baturin が中心になって行っています。

VyOS の元になっている、 Vyatta Core 6.6 というバージョンでは、 Vyatta の商用版のルーティングソフトウェアが Quagga から ZebOS に変わっており、その影響で、無償版の Vyatta Core では IPv4 の BGP ピアグループが動かないというバグがありました。

このバグは、 VyOS 1.0.0 で修正されており、 AS5612 のルータが Vyatta Core 6.5 から VyOS 1.0.0 にアップグレードしています。

最新版は、 1.1.0 でもうすぐ 1.1.1 がリリースされそうです。

VyOS の特徴

Junos ライクなコマンド

Junos ライクなコマンドと設定ファイルで各機能の設定を行うことができます。

configure でコンフィグレーションモードに入るところや、設定の流れが、 commit で有効化、 save で保存になっており、 rollback も可能なところが、 Junos ライクなところだと思っています。

ネットワーク機器が全て Junos ライクなわけではないですが、ネットワーク機器のような操作感があるため、ネットワークエンジニアがいじりやすいインターフェースになっています。

※私は元々ネットワークエンジニアではないので、よくわかっていません。

Debian ベース

VyOS は、 Debian ベースの Linux ディストリビューションです。

Debian ベースのため、使い慣れた Linux のコマンドを使うことができます。また、自分でパッケージを追加し、機能を追加することが可能です。

現状では、 Squeeze ベースになっていますが、より新しい Debian リリースに更新することが、プロジェクトのゴールの1つになっていますので、近い将来、 Wheezy ベースになるのではないかと思います。

イメージベースのインストール方法

VyOS では、 overlayfs を用いた、イメージベースのインストールを行えるようになっています。

（1.0.x までは unionfs を使っていました。）

これにより、同じホストに複数のバージョンの VyOS をインストールできますので、新しいバージョンへのアップグレードが失敗したときなどに、簡単に前のバージョンの VyOS にロールバックすることが可能になっています。

具体的な方法は、後で書こうと思います。

機能

長くなるので、詳しくは後日書きますが、普通のルータとしての機能は大抵揃っています。

また、 Vyatta Core からフォークした後に追加された機能も増えてきていますので、それらについても後日説明したいと思います。

コミュニティ

VyOS は OSS であり、コミュニティで開発が行われています。

ここでは、コミュニティへの参加の仕方を紹介します。

日本のコミュニティ

日本には、世界最大の Vyatta Users Group があるため、 VyOS についても最初から世界最大になっております。

vyos-users.jp では、 vyos-users.jp というまとめサイトを作っており、 Wiki の翻訳や、勉強会の開催をしています。

フォーラムとして、 Google Group を用意していますが、 Twitter の方が活発です。

Twitter には vyosjp のアカウントもありますので、何かありましたら、リプライしてください。

また、 IRC の #vyosjp でもたまに会話しています。

Wiki の翻訳をしてくれる方は常に募集していますし、勉強会の開催を手伝ってくれたり、発表してくれる方も随時募集しています。

ご協力よろしくお願いいたします。

勉強会について

現在のところ、世界でも勉強会やミートアップが開催されたのは、日本だけで、これまでに2回開催しています。

だいたい、半年に1度はやろうと思っています。

過去の2回については、下記のページをご参照ください。

発表者や参加者の方々のおかげで、大変濃い内容になっており、私もいつも勉強させていただいています。

バグ報告について

バグ報告には、やり方があります。

詳しくは、下記のページに日本語訳がありますので、そちらをご参照ください。

バグ報告の方法

開発について

開発は、 GitHub 上で行われています。

開発の Issue もバグと同じように、まずは、 Bugzilla に登録しており、次のバージョンに含むものには、バージョン番号が入っています。

バージョン番号付けは、 Bugzilla の管理権限を持っているメンテナによって行われており、どのバージョンに入れるかは IRC で相談しています。

最後に

本日はギリギリになってしまいましたが、明日以降も書く人がいなければ、 VyOS Advent Calendar がんばります。

CoreOS + Docker Meetup Tokyo

Sat, 15 Nov 2014 20:00:00 +0000

CoreOS + Docker Meetup Tokyo #1 に参加してきました。

CoreOS, Inc の Kelsey Hightower さんが日本に来ていたので、開催したようです。

開催してくれた、Google の Kazunori Sato さんありがとうございました。

イベントは全部英語だったので少しつらかったですが、事前に CoreOS には触っていたし、別のところで、 Kelsey さんの講演を聞く機会もあったので、だいたい理解できました。

感想

Kelsey さんの発表

Kelsey さんは、 Kubernetes のコミッターで、 etcd のコントリビューターなので、どんな質問にもとても詳しく答えていて、参加できてよかったと思いました

発表内容は、 Kelsey さんの GitHub リポジトリに置いてある Kubernetes のワークショップ用のテキストを元に行っていて、PCがあればその場で動かしながら話を聞けそうでした。（この日はPCを持っていなかったので、メモすらしていません。）

また、 k8s 便利すぎてやばいので後で試さないといけないと思いました。

何が便利かというと、特に Docker コンテナのローリングアップデートができるところで、コマンド1発で全てのコンテナがアップデートされるというのが簡単に実現できます。

うちのシステムにも導入したいので、社内に布教しようと思います。

あと、 etcd の発音は、エティシーディに聞こえました。

LT

1つ目は、 Daniel Dressler さんの btrfs の話で正直ついていけませんでした。

btrfs がいかにいけてるかをスライドなしで語っていて、すごく熱いやつだなと思いましたｗ

2つ目は、Wantedly の Seigo Uchida さんが自作 Docker コンテナ管理ツールを作った話とデモでした。

heroku は便利だけど、日本の DC を選べないので、自作したようです。

他にもツールはあるけど、自作することで、 Docker 周りの技術の理解が深まってよかったと言っていました。

もしかしたら、オープンソース化するかもしれないらしいので、期待しています。

あと、僕も英語でプレゼンできるようになりたいと思いました。

懇親会

Google さんのおごりでした。ごちそうさまでした。

最後は、 golang がいかに良いかを Kelsey さんが語っているのを聞いている感じでしたｗ

VyOS Users Meeting Japan

Wed, 05 Nov 2014 23:00:00 +0000

VyOS Users Meeting Japan #2 を開催しました。

今回は、Patrick van Staveren (@trickv) さんが上海から仕事で来るタイミングに合わせたため、急な開催となってしまいましたが、自分と Patrick さんを含めて、6人の発表者、32人の参加者となりました。

発表してくれた @upaa さん、 @trickv さん、 @SatchanP さん、 @hiroysato さん、 @twovs さん、参加者の皆様ありがとうございました。

@trickv さんは、 vyos/build-ami をメンテナンスしているのですが、 vyos/build-ami の元になっているブログ記事を書いた、 @j3tm0t0 さんと会うことができ、大変喜んでいました。

（本人のブログ記事参照 -> http://trick.vanstaveren.us/wp/2014/11/02/vyos-users-meeting-japan/）

日本のコミュニティは世界最大という話がありましたが、新機能を作ったり、バグを直したりしている方が本当に多くて皆さん素晴らしいと思います。

欲しい機能や挙動がおかしいところは、とにかく周りに共有しましょう。

自分の発表内容について

とりあえず発表資料

20141102 VyOS 1.1.0 and NIFTY Cloud New Features from Yuya Kusakabe

英語しかできない方が来るということで、英語で作りました。発表は日本語です。

1.1.0がリリースされたので、概要だけ触れました。

実際には、自分で触った方が良いと思いますので、中身はあまりしゃべっていません。

また、VyOSが使えるIaaSを紹介しましたが、IDCFさんのクラウドの VyOS のバージョンが 1.0.4 で古いという話をしたところ、それをツイートしてくれた方がいて、IDCFさんが拾ってくれたようです。

@myb1126 さん、ありがとうございます。開発サイドに連絡しました！#idcfrontier
— IDCフロンティア (@idcfrontier) 2014, 11月 4

後半は、自宅の YAMAHA RTX1200 とニフティクラウドの検証環境を L2TPv3 over IPsec でつなぐデモをしました。

時間を短縮するためにすでにできている環境を見せただけだったので、あまり面白くなかったかもしれません。

また、会場のノートPCを自宅に L2TPv2 over IPsec でつないでのデモだったので、レスポンスが悪かったのは申し訳なかったです。

デモで見せた開発中の画面は公開できませんが、リリース後にはわかるので、お楽しみにということで。

今後について

発表でも触れましたが、今後もニフティというか自分は、 VyOS に貢献するつもりなので、ミーティングもまた開催します。

次回は、新機能を使ってみた系の話や、今回もあったような VyOS を本気で使っている事例がより集まると良いと思っています。

あと、 VyOS のステッカー作りたいので、おすすめの作り方がある方はご連絡ください。

YAPC::Asia Tokyo 2014 に行ってきました

Mon, 01 Sep 2014 00:00:00 +0900

YAPC::Asia Tokyo 2014 に個人スポンサー＆レポーターとして参加してきたので、一応ブログ書きました。

参加したのは、1日目と2日目です。

YAPC::Asia Tokyo の参加は3回目で、毎回ノベルティに釣られて個人スポンサーで参加しています。

昨年の提灯は未だに会社の机に置いてあり、よくこれは何？と聞かれるので、YAPCの宣伝になっていると思います。

技評さんの「YAPC::Asia 2014 スペシャルレポート」は会社の先輩である、@muddydixon さんに誘われてやりましたが、こんなに真面目にトークを聞いたことがないというくらい真面目にトークを聞けたので、やってよかったと思っています。

いつもならトークの途中で検証を始めたり、コード書き始めたり、考えに耽ったりしてしまって、いつの間にかトーク終わってるとかあったので。

各トークの感想は、YAPC::Asia 2014 スペシャルレポートに書いたので省略しようかと思いましたが、個人的な感想を少しだけ書いておきます。

聞いたトークは下記の通りですが、全てをレポートしたわけではないです。

また、空いている時間はイベントホールで無限コーヒー飲みながらレポートまとめたり、RedBull飲みながらレポートまとめたり、かき氷食べたりしていました。

1日目（8月29日）
- 完成されたシステムなどない。完成された人間もいない。あるのは成長し続ける未完成なシステムと、それを支える未完成な人間だけだ
  - スピリチュアルというか理想論かなと思ったが、後半の質疑応答で現実に戻った感じだった
  - 変化に強いシステムにしたいと思った
- 最近のウェブサービスの検索機能やその先の話
  - ElasticSearchの実例というのが貴重だった
  - コア機能は自社でメンテできるべきと主張し、実際に自社でメンテできるようにしたのがかっこいい
  - コア機能は自社でメンテしたい
- いろんな言語を適材適所で使おう
  - まず会社の上の方にこういうこと話せる人がいるのが重要な気がした
  - 全体的に納得感の高い発表だった
  - うちも組織能力を涵養しないとなと思った
  - 「涵養」読めなくて焦った
- O2O/IoT/Wearable時代におけるWeb以外のネットワーク技術入門
  - 情報量すごくて頭に入りきらないレベルだった
  - この日は夜から MQTT Meetup Tokyo 2014.08 で、そのためもあって少し予習しておいてよかった
  - O2O/IoT/Wearableなことをしようとしている人たちが何に苦労しているのかなんとなくわかった気になった
- 開発合宿！！！！
  - 開発合宿やりたい
2日目（8月30日）
- 突然ITインフラを任された人のための…監視設計入門
  - こういう普段当たり前のようにやっていることをきちんと体系立ててまとめるのは大事だなと思った
  - 自分の担当してる範囲でもまだまだやれることあるので、がんばろうと思った
- そんなにビッグでもないデータ処理手法の話
  - 何をやりたいのかというのは、何をするにしても大事
  - データを役立てるところまでやれてないので、早くやろうと思った
- Lightning Talks Day 2
  - YAPCのLT大会が一番面白いと思う
  - Twitterやってないとエンジニアやっていけない
- キーノート
  - 20代あと1年半しかない
  - 来年はトークに応募しようかなと思った
- クロージング
  - PHPのトークが1位で、2位と3位もPerl関係なくてさすがYAPCだなと思った

最後に、運営の皆様、CONBUの皆様、関係者の皆様お疲れ様でした。

また来年も楽しみにしています。

VyOS Users Meeting Japan

Sun, 27 Jul 2014 23:00:00 +0000

ニフティクラウドユーザーブログにも書きましたが、VyOS Users Meeting Japan #1を開催しました。

発表資料

20140727 VyOS Users Meeting Japan #1 VyOS 概要とデモ from Yuya Kusakabe

VyOSができた経緯、Vyatta CoreからVyOSへの移行方法、VyOSのロードマップ、vyos-users.jpについて話した後、vagrantとansbileを使ったデモを行いました。

デモで使ったVagrantfileとplaybookは、GitHubに置いてあります。

https://github.com/higebu/vagrant-ansible-examples-with-vyos/tree/master/site-to-site-ipsec-vpn

試し方はとても簡単で、VagrantとAnsibleをインストールした上で、下記のコマンドを実行するだけです。

vagrant plugin install vagrant-vyatta
git clone git@github.com:higebu/vagrant-ansible-examples-with-vyos.git
cd vagrant-ansible-examples-with-vyos/site-to-site-ipsec-vpn
vagrant up

コマンドに慣れていれば、素のLinuxのコマンドやコンフィグファイルをいじるより、わかりやすいため、自動化しやすいと思います。

L2TPv3の方はうまく動かない状態になっている気がするので、いつか直しておきたいと思います。

JANOG34 Meeting in TAKAMATSU で VyOS について LT してきました

Fri, 18 Jul 2014 23:00:00 +0000

JANOG34 Meeting in TAKAMATSU で VyOS について LT してきました。

発表資料

JANOG 34 LT VyOS from Yuya Kusakabe

JANOG自体はWAN側の話や物理寄りの話が多く、 Vyatta Core の開発が終了し、 VyOS になったことを知らない方も多かったようなので、発表できてよかったと思っています。

当日はニコ生での生中継もあり、壇上なうができてよかったです。

自分の発表以外では、 YAMAHA RTX1210 に触れたのが印象に残っています。

特に、金属製の筐体になったのに、 RTX1200 と重さがほとんど変わっていない点に驚きました。

Packer の Vagrant Cloud Post-Proccessor を試してみた

Sat, 12 Jul 2014 00:00:00 +0900

Packer の次のバージョンで Vagrant Cloud Post-Proccessor が追加されるようで、 master ブランチではすでに使えるので試してみました。

公式ドキュメントでは、2014/07/14 リリース予定になっています。

ただし、この機能は Vagrant Cloud のホスティング機能を利用しているため、 Vagrant Cloud の有償プランにアップグレードしておく必要があります。

Pro でも毎月 $2 なので、 HashiCorp, Inc にお世話になっている方は払っておくといいと思いますｗ

https://vagrantcloud.com/account/plans

あと、 Vagrant Cloud がβじゃなくなってます。

http://www.hashicorp.com/blog/vagrant-cloud-end-of-beta.html

環境

Ubuntu 14.04
Go 1.3
Packer 0.6.1.dev
Vagrant 1.6.3

インストール

Go 言語をインストール

wget https://go.googlecode.com/files/go1.3.linux-amd64.tar.gz
sudo tar -C /usr/local -xzf go1.3.linux-amd64.tar.gz

環境変数の設定

下記を .bash_profile などに追記

export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin
export GOPATH=$HOME/go
export PATH=$PATH:$GOPATH/bin

Packer をインストール

sudo apt-get install mercurial bzr
go get -u github.com/mitchellh/gox
git clone https://github.com/mitchellh/packer.git ~/go/src/github.com/mitchellh/packer
cd ~/go/src/github.com/mitchellh/packer
make
cp -p pkg/linux_amd64/* ~/go/bin/

テンプレート

Post-Proccessor で vagrant の後に vagrant-cloud が動くようにします。

Builder などは省略していますが、下記のようになります。

 "variables": {
 "version": "",
 "cloud_token": ""
 },
 "post-processors": [
 [{
 "type": "vagrant",
 "output": "./vyos-1.0.4-amd64_{{.Provider}}.box"
 },
 {
 "type": "vagrant-cloud",
 "access_token": "{{user `cloud_token`}}",
 "box_tag": "higebu/vyos-1.0.4-amd64",
 "version": "{{user `version`}}",
 "version_description": "Initial release"
 }]
 ],

実際のテンプレートは Github で公開しています。

https://github.com/higebu/packer-templates/tree/master/VyOS-1.0.4-amd64

ビルド

ビルドする前に Vagrant Cloud で box を作成しておく必要があります。

User Variables で version と cloud_token を指定できるようにしているので、下記のようになります。

cloud_token は自分のものと置き換えてください。

packer build -only=virtualbox-iso -var 'version=1.0.0' -var 'cloud_token=#####' template.json
packer build -only=vmware-iso -var 'version=1.0.0' -var 'cloud_token=#####' template.json

ビルドしたものは下記にあります。

https://vagrantcloud.com/higebu/vyos-1.0.4-amd64

Zabbix の VMware 監視機能のバグフィックスを取り込んでもらえた話

Mon, 23 Jun 2014 00:00:00 +0900

今回取り込んでもらえたのは、100台以上の ESXi が登録されないというバグに対するパッチです。

このバグはチケットを作る前から中の方に報告はしていたのですが、なかなか直らなかったので、自分でパッチを作って報告しました。

2.2.1 の頃からパッチを当てたものを使っていて、 2.2.2 が出たときに今後もパッチを作り続けなければならないのかなと思ったのですが、他の影響力のあるユーザー企業さんが同じ問題にぶつかり、急に優先度が上がって取り込まれたということでよかったです。

とにかく、 OSS でバグを見つけたら、報告したり、パッチを作って送ったりすることは大事です。

なかなか取り込んでくれなくても、開発者は多忙なので、取り込んでもらえるまで諦めないことも大事です。

以下パッチの詳細です。

JIRA のチケット

https://support.zabbix.com/browse/ZBX-7721

チケットにしないと気づいてもらえないので、チケットにするのは大事です。

英語が間違っているかもしれませんが、間違ってたらすみませんと思いながら気にせず投稿しています。

間違ってたり、わからなかったりしたら突っ込んでくれるはずなので、大丈夫だと思っています。

このバグの原因について

オートディスカバリで vCenter 配下の Hypervisor を取ってくる機能は、 VMware の API の RetrievePropertiesEx を使って実現しています。

この API はデフォルトでは100個しか取ってこれず、次のリストがある場合、 token を返すようになっています。

この token を使って、 ContinueRetrievePropertiesEx という API を叩くと、101台目以降が取得できるのですが、実装されていませんでした。

ソースを見るとわかるのですが、 libcurl で直に SOAP の XML を投げていて、胸が熱くなります。

2.2.2 向けのパッチ

2.2.4 RC1 か 2.3.0 から直っているのですが、 2.2.2 を使っていて、困っている奇特な方はお使いください。

wget http://downloads.sourceforge.net/project/zabbix/ZABBIX%20Latest%20Stable/2.2.2/zabbix-2.2.2.tar.gz
tar xf zabbix-2.2.2.tar.gz
patch -p1 -d zabbix-2.2.2 < ZBX-7721-zabbix-2.2.2.patch

2.2.3 はスルーするつもりなので、作っていません。

今後

100台以上は取れるようになったのですが、実は200台以上が取れていないように見えるので、調査中です。

VyOS の OpenSSL パッケージをアップデートする

Mon, 09 Jun 2014 12:50:00 +0900

CVE-2014-0224 などの OpenSSL の脆弱性対策のため、 VyOS では次のメンテナンスリリース（1.0.4）で、 OpenSSL のパッケージをアップデートするようです。 (http://vyos-dev.tumblr.com/post/88142058983/openssl-vulnerabilities)

ただ、上記の記事にも書いてありますが、緊急で対応したい場合、 OpenSSL のパッケージを自分でアップデートしなければならないので、そのやり方だけ書いておきます。

以下、手順です。

リポジトリを追加

vyos@vyos# configure
vyos@vyos# set system package repository squeeze-lts url http://ftp.jp.debian.org/debian/
vyos@vyos# set system package repository squeeze-lts distribution squeeze-lts
vyos@vyos# set system package repository squeeze-lts components 'main contrib non-free'
vyos@vyos# commit
vyos@vyos# save

インストール

vyos@vyos# sudo apt-get upgrade openssl
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages will be upgraded:
 libgnutls26 libssl0.9.8 openssl
3 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Need to get 2639 kB of archives.
After this operation, 123 kB of additional disk space will be used.
Do you want to continue [Y/n]? Y
Get:1 http://ftp.jp.debian.org/debian/ squeeze-lts/main libssl0.9.8 amd64 0.9.8o-4squeeze15 [1004 kB]
Get:2 http://ftp.jp.debian.org/debian/ squeeze-lts/main libgnutls26 amd64 2.8.6-1+squeeze4 [573 kB]
Get:3 http://ftp.jp.debian.org/debian/ squeeze-lts/main openssl amd64 0.9.8o-4squeeze15 [1062 kB]
Fetched 2639 kB in 6s (425 kB/s)
Preconfiguring packages ...
(Reading database ... 36818 files and directories currently installed.)
Preparing to replace libssl0.9.8 0.9.8o-4squeeze14 (using .../libssl0.9.8_0.9.8o-4squeeze15_amd64.deb) ...
Unpacking replacement libssl0.9.8 ...
Preparing to replace libgnutls26 2.8.6-1+squeeze2 (using .../libgnutls26_2.8.6-1+squeeze4_amd64.deb) ...
Unpacking replacement libgnutls26 ...
Preparing to replace openssl 0.9.8o-4squeeze14 (using .../openssl_0.9.8o-4squeeze15_amd64.deb) ...
Unpacking replacement openssl ...
Processing triggers for man-db ...
Setting up libssl0.9.8 (0.9.8o-4squeeze15) ...
Setting up libgnutls26 (2.8.6-1+squeeze4) ...
Setting up openssl (0.9.8o-4squeeze15) ...

確認
openssl

dpkg -s openssl
Package: openssl
Status: install ok installed
Priority: optional
Section: utils
Installed-Size: 2368
Maintainer: Debian OpenSSL Team <pkg-openssl-devel@lists.alioth.debian.org>
Architecture: amd64
Version: 0.9.8o-4squeeze15
Depends: libc6 (>= 2.7), libssl0.9.8 (>= 0.9.8m-1), zlib1g (>= 1:1.1.4)
Suggests: ca-certificates
Conflicts: ssleay (<< 0.9.2b)
Conffiles:
/etc/ssl/openssl.cnf 0b1cf9a835b829131d630b7c2fe55f3c
Description: Secure Socket Layer (SSL) binary and related cryptographic tools
This package contains the openssl binary and related tools.
.
It is part of the OpenSSL implementation of SSL.
.
You need it to perform certain cryptographic actions like:
- Creation of RSA, DH and DSA key parameters;
- Creation of X.509 certificates, CSRs and CRLs;
- Calculation of message digests;
- Encryption and decryption with ciphers;
- SSL/TLS client and server tests;
- Handling of S/MIME signed or encrypted mail.

libssl

dpkg -s libssl0.9.8
Package: libssl0.9.8
Status: install ok installed
Priority: important
Section: libs
Installed-Size: 2424
Maintainer: Debian OpenSSL Team <pkg-openssl-devel@lists.alioth.debian.org>
Architecture: amd64
Source: openssl
Version: 0.9.8o-4squeeze15
Depends: libc6 (>= 2.7), zlib1g (>= 1:1.1.4), debconf (>= 0.5) | debconf-2.0
Conflicts: libssl, libssl096-dev (<< 0.9.6-2), openssl (<< 0.9.6-2), ssleay (<< 0.9.2b)
Description: SSL shared libraries
libssl and libcrypto shared libraries needed by programs like
apache-ssl, telnet-ssl and openssh.
.
It is part of the OpenSSL implementation of SSL.

VYATTA USERS MEETING Spring 2014でVyOSについて発表しました

Fri, 04 Apr 2014 23:00:00 +0000

ニフティクラウドユーザーブログにも書きましたが、VYATTA USERS MEETING Spring 2014でVyOSについて発表しました。

発表資料1

VYATTA USERS MEETING Spring 2014 NIFTY Cloud from Yuya Kusakabe

発表資料2

VYATTA USERS MEETING Spring 2014 VyOS from Yuya Kusakabe

後半は、VyOSの紹介と、設立した vyos-users.jp の紹介でした。

Unmanaged L2TPv3 Supportのプルリクエストをマージしてもらえた後だったので、それの紹介も入っています。

OSSはコミュニティが大事だと思っているので、VyOSのコミュニティが大きくなるようがんばりたいと思います。

VyOS の Vagrant 用 box を Vagrant Cloud にアップしました

Thu, 13 Mar 2014 01:22:00 +0900

Vagrant Cloud が出たので、とりあえず、VyOS の box をアップしてみました。

Vagrant 1.5 をインストール後、下記の手順で使えます。

vagrant plugin install vagrant-vyatta
vagrant init higebu/vyos-1.0.2
vagrant up

vagrant-vyatta も VyOS 対応済です。

VyOS に SoftEther VPN Server をインストール

Sat, 08 Mar 2014 23:49:00 +0900

VyOS は Vyatta からフォークしたOSSのネットワークOSです。

VyOS 1.0.2 に SoftEther VPN Server をインストールしてみます。

SoftEther VPN Server のバージョンは v4.05-9423-beta-2014.02.18 です。

VyOS のインストールは ISO をダウンロードしたら、マウントしてinstall systemを実行するだけなので省略します。

以下、手順です。

VyOS に Debian のリポジトリを追加

set system package repository squeeze components 'main'
set system package repository squeeze distribution 'squeeze'
set system package repository squeeze url 'http://ftp.jp.debian.org/debian/'
commit
save
sudo aptitude update

build-essential インストール

sudo aptitude -y install build-essential

SoftEther VPN Server インストール

wget http://jp.softether-download.com/files/softether/v4.05-9423-beta-2014.02.18-tree/Linux/SoftEther%20VPN%20Server/64bit%20-%20Intel%20x64%20or%20AMD64/softether-vpnserver-v4.05-9423-beta-2014.02.18-linux-x64-64bit.tar.gz
tar xf softether-vpnserver-v4.05-9423-beta-2014.02.18-linux-x64-64bit.tar.gz
cd vpnserver
make
# ここで、質問には全て 1 と回答します。
sudo mv vpnserver /usr/local
sudo chown -R root:staff /usr/local/vpnserver
sudo chmod 600 /usr/local/vpnserver/*
sudo chmod 700 /usr/local/vpnserver/vpncmd
sudo chmod 700 /usr/local/vpnserver/vpnserver

確認

vpncmd コマンドを実行し、 VPN Tools を選択
check コマンドの実行結果が下記のようになっていればインストール成功です

vyos@vyos:~$ sudo /usr/local/vpnserver/vpncmd
vpncmd command - SoftEther VPN Command Line Management Utility
SoftEther VPN Command Line Management Utility (vpncmd command)
Version 4.05 Build 9423 (English)
Compiled 2014/02/18 19:33:00 by yagi at pc25
Copyright (c) SoftEther VPN Project. All Rights Reserved.

By using vpncmd program, the following can be achieved.

1. Management of VPN Server or VPN Bridge
2. Management of VPN Client
3. Use of VPN Tools (certificate creation and Network Traffic Speed Test Tool)

Select 1, 2 or 3: 3

VPN Tools has been launched. By inputting HELP, you can view a list of the commands that can be used.

VPN Tools>check
Check command - Check whether SoftEther VPN Operation is Possible
---------------------------------------------------
SoftEther VPN Operation Environment Check Tool

Copyright (c) SoftEther VPN Project.
All Rights Reserved.

If this operation environment check tool is run on a system and that system passes, it is most likely that SoftEther VPN software can operate on that system. This check may take a while. Please wait...

Checking 'Kernel System'...
 Pass
Checking 'Memory Operation System'...
 Pass
Checking 'ANSI / Unicode string processing system'...
 Pass
Checking 'File system'...
 Pass
Checking 'Thread processing system'...
 Pass
Checking 'Network system'...
 Pass

All checks passed. It is most likely that SoftEther VPN Server / Bridge can operate normally on this system.

The command completed successfully.

以上です。

これで、VyOS で SoftEther の VPN も利用可能になります。

あとは、 VyOS の set コマンドで SoftEther の設定を行えるようにすると便利そうです。

追記: init スクリプト

Debian用のものを作ったので、Gistにおいておきました。

#!/bin/sh
### BEGIN INIT INFO
# Provides: vpnserver
# Required-Start: $network $remote_fs
# Required-Stop: $network $remote_fs
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: SoftEther VPN Server
### END INIT INFO

DAEMON=/usr/local/vpnserver/vpnserver
LOCK=/var/lock/subsys/vpnserver
test -x $DAEMON || exit 0
case "$1" in
start)
$DAEMON start
touch $LOCK
;;
stop)
$DAEMON stop
rm $LOCK
;;
restart)
$DAEMON stop
sleep 3
$DAEMON start
;;
*)
echo "Usage: $0 {start|stop|restart}"
exit 1
esac
exit 0

vpnserver (Gist)

Zabbix Conference Japan 2013でVMware監視機能について発表してきました

Sat, 23 Nov 2013 19:44:00 +0000

11/22に開催されたZabbix Conference Japan 2013でVMware監視機能について発表してきました。

発表資料

Zabbix Conference Japan 2013 VMware monitoring from Yuya Kusakabe

11/12に2.2.0がリリースされてから1週間後の11/19に本番導入しています。

検証はα版の頃からやっていますが、結構大変でした。

他の監視もZabbixに統合しようと思っているので、また何か出せる情報があれば、このブログやどこかの勉強会で共有していきたいと思っています。

VYATTA USERS MEETING Autumn 2013で発表してきました

Wed, 16 Oct 2013 21:44:00 +0000

VYATTA USERS MEETING Autumn 2013で発表してきました。もう3回目になりますが、毎回ニフティクラウドでのVyattaの利用について発表させていただいています。

発表資料

jvum2013a niftycloud from Yuya Kusakabe

vagrant-vyattaについて

発表の中で少し話しましたが、Vagrantを使ってお手軽にVyattaを試せるようにVagrantのプラグインを作りました。プラグインについては、下記のブログで紹介しています。 Vyatta用のVagrantプラグイン

また、VirtualBox用のboxをPackerを用いて作成していて、下記のブログで作り方を説明しています。 PackerでVyattaのVagrant用boxを作る

実際に使ってくれている方がいてよかったです。

同じくお世話になっております orz.. RT @ar1 #jvum2013a おお、vagrant-vyattaの作者でしたか！御世話になってます。@higebu
— Yukihiro Kikuchi (@yukihirokikuchi) October 11, 2013

所感

Vyattaユーザがかなり増えていて驚いた
ネットワーク構築の自動化はVyattaに限らず必須になっていくと思った
APIはオープンソースにして欲しい
APIはオープンソースにして欲しい
Vyattaと関係ない話が聞けるのが面白いのでまた参加したい

Vyatta用のVagrantプラグイン

Fri, 23 Aug 2013 00:00:00 +0900

先日、PackerでVyattaのVagrant用boxを作るという記事を書きましたが、Vyattaはそのままではvagrant haltが実行できないなど不便です。

そこで、VyattaをVagrantから制御するためのプラグインを作りました。

使い方は下記の通りです。

vagrant plugin install vagrant-vyatta
vagrant box add vyatta http://higebu.com/box/vyatta-livecd_VC6.5R1_amd64_virtualbox.box # chefなし
vagrant box add vyatta http://higebu.com/box/vyatta-livecd_VC6.5R1_amd64_chef_virtualbox.box # chef入り
vagrant init vyatta
vagrant up
vagrant halt

vagrant haltの他にホスト名の設定とネットワークの設定ができるようにしています。

ソースはGithubに置いてあります。

PackerでVyattaのVagrant用boxを作る

Thu, 15 Aug 2013 00:00:00 +0900

PackerはVagrantを作った@mitchellhさんが作ったOSイメージ作成ツールです。インストールはダウンロードページから自分のOSにあったバイナリを取ってきて入れるだけです。

今回はあまり見かけないVyattaのboxを作ってみました。テンプレートはgithubに置いてあります。

packer-templates

今のところ6.4、6.5R1、6.6R1の64bitのものを置いてあります。 Packerのバージョンは0.2.3、VirtualBoxのバージョンは4.1.26で作っています。他のバージョンだと動かないかもしれません。 VMware用も書いておいたのでVMware Fusionでも動くと思います。（試してません。）

テンプレートを使うときは以下のようにします。

packer build --only=virtualbox template.json # virtualboxのみ
packer build --only=vmware template.json # vmwareのみ

テンプレートの作り方ですが、基本的にはveeweeのDebian用のテンプレートをパクっています。 Vyattaのために少し工夫したのは以下の点です。

Vyattaにはdebian-installerが入っていないので初期設定をコンソールでやっている
シェルでVyattaのsetコマンドを使えるようにしている

WRAPPER=/opt/vyatta/sbin/vyatta-cfg-cmd-wrapper
. /etc/bash_completion

もろもろを入れるためにDebian化している
GuestAdditions入れるのにkernel-headerが必要なので、vyatta-devリポジトリからlinux-vyatta-kbuildをインストールしている

ノートPC上でVyatta立ち上げて自宅やクラウド上のネットワークとVPN接続するときに便利です。

Chef入りのVyattaなんて誰が使うんだという感じですが、Chef入りもあります。一応、ビルド済のboxファイルもダウンロード可能な場所に置いてあるので欲しいという方はコメントください。

Ubuntuにapt-getでVMware Toolsをインストールする

Sun, 07 Jul 2013 00:00:00 +0900

ESXi5.0上のUbuntu12.04にapt-getでVMware Toolsをインストールする手順です。

wget http://packages.vmware.com/tools/keys/VMWARE-PACKAGING-GPG-RSA-KEY.pub -q -O- | sudo apt-key add -
echo 'deb http://packages.vmware.com/tools/esx/5.0latest/ubuntu precise main' | sudo tee /etc/apt/sources.list.d/vmware-tools.list
sudo apt-get update
sudo apt-get install vmware-tools-esx-kmods-3.2.0-29-generic
sudo apt-get install vmware-tools-esx-nox

ESXi5.1の場合は、5.0latestの部分を5.1latestにしてください。

最新の12.04のカーネルのバージョンは3.5.0-36ですが、2013/7/7現在、リポジトリには3.2.0-29までしかありませんので、 3.5.0-36にしてから入れたらいろいろとおかしくなるかもしれません。

また、 http://packages.vmware.com/tools/esx/5.0latest/ubuntu/dists/ 配下にpresiceまでしかないため、12.10以降のパッケージはないようです。

対応が中途半端ですね。

詳細は下記のページで

http://www.vmware.com/download/packages.html

iPhoneのメッセージアプリが大量の添付ファイルを受けて起動しなくなったので直した

Tue, 21 May 2013 00:00:00 +0900

先日iPhone5のメッセージが開かなくなりました。

原因は、その直前に来た大量の添付ファイル付きのメール（MMS）です。

そこで、メッセージが参照しているDBから該当のメールを直接削除することで直しました。

環境

Mac OSX 10.8.3
iPhone5 ( iOS 6.1.4 )
iBackupBot 3.5.2
MesaSQLite 3.2.6

iBackupBot と SQLite をいじれるなんらかのツール（今回は MesaSQLite ）を用意してください。

以下、手順です。

iTunes で iPhone をバックアップ
iBackupBot で先ほどのバックアップから Library/SMS/sms.db をエクスポート
エクスポートされた、 Library_SMS_sms.db を MesaSQLite で開き、該当のメール、添付ファイル情報を削除
1. Triggers タブで、 attachment テーブルを選択し、trigger delete_attachment_path を削除。（後で戻します。）
2. message テーブルから該当のメールを削除。（ attachment テーブルのデータも自動で消えます。）
3. SQL Query タブで下記の SQL を実行し、 attachment テーブルの trigger を元に戻す。
```
CREATE TRIGGER delete_attachment_files AFTER DELETE ON attachment BEGIN SELECT delete_attachment_path(old.filename); END
```
iBackupBot で sms.db をインポート
iTunes で iPhone を復元

iBackupBot の使い方は他のブログなどで詳しく説明されているので割愛して、ここでは3のDBを編集するところを少し詳しく説明しました。

これで、iPhone から見ると添付ファイルが大量に付いたメールは見えなくなり、メッセージアプリが正常に起動するようになりました。

Zabbix Java GatewayでDouble型の値を監視できるようにするパッチ

Sun, 17 Mar 2013 00:00:00 +0900

Zabbix Java Gatewayを使ってJMX経由で何かしらの値を監視するときに、値の型がjava.lang.Doubleだとエラーになってしまい、監視できない。

そこで、エラーにならないように修正する。

元ネタは下記のフォーラムのコメント。

jmx java.lang.Double bug?

Zabbix 2.0.4のときに作ったけど、たぶん2.0.5でも動くはず。

パッチは下記の通りです。

パッチの当て方

Zabbixのソースをダウンロード

http://www.zabbix.com/download.php

解凍

tar zxvf zabbix-2.0.4.tar.gz
cd zabbix-2.0.4/src/zabbix_java/

パッチを当てる

patch src/com/zabbix/gateway/JMXItemChecker.java zabbix2.0.4_jmx_double_type.patch

コンパイル

mkdir -p class/src
mkdir -p class/tests
javac -d class/src -classpath lib/org-json-2010-12-28.jar:lib/logback-core-0.9.27.jar:lib/logback-classic-0.9.27.jar:lib/slf4j-api-1.6.1.jar src/com/zabbix/gateway/*.java
jar cf bin/zabbix-java-gateway-2.0.4.jar -C class/src .

インストールされているZabbix Java Gatewayと置き換える（RPMでインストールしてる場合）

cp -p bin/zabbix-java-gateway-2.0.4.jar /usr/sbin/zabbix_java/bin/

これでCassandraのLoadとか監視できます。

追記 Zabbixの寺島さんに言われてサポートサイトに投稿しました。

https://support.zabbix.com/browse/ZBX-6404

今度からZabbix使っていてバグなどを見つけたらここに報告しよう。

Zabbixのグラフ画面で選択したホストのグラフを全て表示するパッチ

Tue, 05 Mar 2013 00:00:00 +0900

ちょっと前に、Zabbixのグラフ画面で選択したホストのグラフを全て表示するようにするパッチを作ったので。

Zabbix2.0.4でしかテストしてませんが、2.0.5でも動くはず。

パッチ当てるときは下記のような感じ。

patch -p1 -d /usr/share/zabbix < zabbix2.0.4_display_all_graph.patch

中身は下記の通り。ダウンロードも下から。

CassandraとHadoopの連携

Sat, 22 Dec 2012 00:00:00 +0900

Cassandraに入れたデータでMapReduceするサンプル（word count）を動かす。

環境

CentOS 6.3
Java 1.7.0_10
Ant 1.8.4
Cassandra 1.2.0-rc1
Hadoop 1.1.1

構成

CassandraとTaskTrackerが同じノードにいるようにする

それぞれのインストール方法は割愛

手順

HadoopがCassandraのライブラリを読み込むようにする

vi /etc/hadoop/hadoop-env.sh
# 末尾に追記
export HADOOP_CLASSPATH="/var/lib/cassandra/lib/*:$HADOOP_CLASSPATH"

HadoopとCassandraを起動しておく
Cassandraのビルド

git clone git://github.com/apache/cassandra.git
cd cassandra
ant

word_countのビルド

cd examples/hadoop_word_count
vi ivy.xml
# バージョンを合わせる
<dependency org="org.apache.hadoop" name="hadoop-core" rev="1.1.1"/>
ant

word_countの設定

vi bin/word_count
# 下記のように編集（mapred-site.xmlのパスは自分の環境に合わせる）
#$JAVA -Xmx1G -ea -cp $CLASSPATH WordCount output_reducer=$OUTPUT_REDUCER
$JAVA -Xmx1G -ea -cp $CLASSPATH WordCount -conf /etc/hadoop/mapred-site.xml output_reducer=$OUTPUT_REDUCER

word_countの実行

bin/word_count_setup
bin/word_count
bin/word_count_counters

参考

Hadoop Integration
Hadoop Support DataStaxのエンタープライズ版だともっと簡単にやれるらしい

Pythonでtail --follow=name

Sat, 15 Sep 2012 00:00:00 +0900

Pythonでログをtailして1行ずつ処理したいと思ったんだけど、じゃあtailコマンドの結果を受け取ればいいんじゃねっていうプログラムです。

#!/usr/bin/env python

import subprocess

filename = 'test.log'
cmd = ('tail -n +1 --follow=name ' + filename)
p = subprocess.Popen([cmd], shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
while True:
 print p.stdout.readline()

tailf.py (Gist)

-n +1で一行目から読み込みます。

読み込みつつ、ポジションファイルとか作って何行目まで読んだとか保存しておけば、後でリカバリできます。

まぁ、Pythonで全部書けばいいじゃんて思うかもしれませんが、こういうやり方もあるよっていうことで。

Vimでただのメモをいい感じにハイライトしたい

Wed, 05 Sep 2012 00:00:00 +0900

最近、VimのカラーテーマをSolarizedにしたんですが、そしたらxxx.txtに書いてたメモがすごく読みづらくなった。

ほんとは画像とか見せたらわかりやすいと思うんだけど、とにかく全部一色で見づらい。

それで今回導入したのがHybridTextというやつ。

これ今年の8月22日にアップされてて、タイミング良すぎてわろた。

入れ方はvim.orgのページ見ればわかると思うけど、一応書くと以下のような感じ。

ダウンロードしたhybrid.vimをsyntaxフォルダに入れる
テキストファイル開いて:set filetype=hybridって打ってみる
2で色が変わったらOKなので、以下の行をvimrcに追加する au BufRead,BufNewFile *.txt set syntax=hybrid 実際どういろが付くかもvim.orgのページにあるサンプルを見るとわかりやすいんだけど、

行頭に「#」つけたり、タブでインデントしたり、"で囲ったりすると色が変わってとても見やすい。

特に普段からタブでインデントしてメモ書いてるので、すごく見やすくなった。

~~あ、プラグインとかはneobundleで管理してるからこれもNeoBundleで入れたかったけど、まだgithubにはちゃんとしたものは上がってないようだった。~~

2013/03/01 追記： githubにあるやつはバージョンが1.0で、vim.orgにあるやつは1.2なので、vim.orgのやつをダウンロードした方が良いです。

vim-scripts/hybrid.vim

あと、HybridTextのページに載ってた、TEXT2MINDMAPっていうのが面白そう。

普段マインドマップ書かないんだけどちょっと遊んでみたい。

今4時なので、結構適当な文章になってるけど、Vim使いの人はぜひ使ってみてください。

VMware上のVMでvNICをVMXNET3にしたときにUDPのパケットが飛ばない現象のまとめ

Sun, 02 Sep 2012 00:00:00 +0900

ESXi上のVMで fluentd → fluentd しようとしたらハートビート用のudpの通信ができていなかったので、調べた結果のまとめ。

調べた範囲ではパターンは3つ。

vNICは全てVMXNET3です。

E1000にすると直ります。

ESX or ESXi 4.0 4.1でVMのOSがRHEL 5.3以上の場合

以下のVMwareのKBに当てはまります。

UDP packet loss with MSI interrupts on VMXNET3

いくつか対処法が載っているけど、ESXを4.1u1以上にするのがいいですね。

VMのOSがRHEL6系の場合

以下のRed Hat KBに当てはまります。

Why does the vmxnet3 driver shipped with RHEL 6 update 2 drops small UDP packets?

カーネルをアップデートすると直るけど、あまりやりたくないですね。

とりあえず、楽にカーネルをアップデートしたいときはELRepoを使うといいです。

CentOS6.4でカーネルを3.5.3にしたら直ったのは確認しました。

ESXi5系の場合

以下のVMwareのKBに当てはまります。

UDP packets are dropped from Linux systems using the VMXNET3 Network Adapter

~~これはもうどうしようもない。~~

~~最後のは何とかして欲しいですね。。~~

追記：パッチが出ていて、それを当てれば直るようです。

Vyattaにrvmとfluentd入れたけどうまくいかなかった

Sun, 03 Jun 2012 00:00:00 +0900

Vyattaにfluentd入れて、fluentd→fluentdでログ集めようとしたけど失敗した

環境

ESXi5.0 u1
Vyatta Core 6.4 (VMXNET3、Debianのリポジトリを追加してからVMware公式のVMware Tools入れてる)
fluentd 0.10.22

入れた手順

rvm入れる

# aptitude install ruby-full
# curl -L get.rvm.io | bash -s stable
# source /usr/local/rvm/scripts/rvm
# rvm requirements
# aptitude install build-essential openssl libreadline6 libreadline6-dev curl git-core zlib1g zlib1g-dev libssl-dev libyaml-dev libsqlite3-dev sqlite3 libxml2-dev libxslt-dev autoconf libc6-dev ncurses-dev automake libtool bison subversion
# rvm install 1.9.3
# rvm use ruby-1.9.3
# rvm use 1.9.3 --default

fluentd入れる

# gem install fluentd

以下のエラーが出た

ERROR: Loading command: install (LoadError)
cannot load such file -- zlib
ERROR: While executing gem ... (NameError)
uninitialized constant Gem::Commands::InstallCommand

必要なパッケージ入れる

# rvm pkg install readline

ここで

Error running 'autoreconf -is --force', please read /usr/local/rvm/log/readline/autoreconf.log

が出たら

# rvm --skip-autoreconf pkg install readline

で入れる

# rvm pkg install zlib
# rvm pkg install openssl

ruby1.9.3入れ直す

# rvm remove 1.9.3
# rvm install 1.9.3
# rvm use 1.9.3 --default

fluentd入れる

# gem install fluentd
# fluentd --setup /etc/fluent
# vi /etc/fluent/fluent.conf
# mkdir /var/log/fluent/
# touch /var/log/fluent/vyatta.log
# fluentd -d /var/run/fluentd.pid -c /etc/fluent/fluent.conf

これで、受け側のfluentdにログ飛ばす設定したんだけど、ログは飛ばかなくて以下のエラー

2012-06-06 17:25:26 +0900: starting fluentd-0.10.22
2012-06-06 17:25:26 +0900: reading config file path="/etc/fluent/fluent.conf"
2012-06-06 17:25:26 +0900: adding source type="tail"
2012-06-06 17:25:26 +0900: adding match pattern="**.**" type="forward"
2012-06-06 17:25:26 +0900: adding forwarding server '192.168.0.230:24224' host="192.168.0.230" port=24224 weight=60
2012-06-06 17:25:44 +0900: detached forwarding server '192.168.0.230:24224' host="192.168.0.230" port=24224 phi=8.148601411473535
2012-06-06 17:26:27 +0900: failed to flush the buffer, retrying. error="no nodes are available" instance=10245920
2012-06-06 17:26:27 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/plugin/out_forward.rb:137:in `write_objects'
2012-06-06 17:26:27 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/output.rb:440:in `write'
2012-06-06 17:26:27 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/buffer.rb:274:in `write_chunk'
2012-06-06 17:26:27 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/buffer.rb:258:in `pop'
2012-06-06 17:26:27 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/output.rb:304:in `try_flush'
2012-06-06 17:26:27 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/output.rb:121:in `run'
12-06-06 17:26:29 +0900: failed to flush the buffer, retrying. error="no nodes are available" instance=10245920
2012-06-06 17:26:29 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/plugin/out_forward.rb:137:in `write_objects'
2012-06-06 17:26:29 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/output.rb:440:in `write'
2012-06-06 17:26:29 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/buffer.rb:274:in `write_chunk'
2012-06-06 17:26:29 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/buffer.rb:258:in `pop'
2012-06-06 17:26:29 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/output.rb:304:in `try_flush'
2012-06-06 17:26:29 +0900: /usr/local/rvm/gems/ruby-1.9.3-p194/gems/fluentd-0.10.22/lib/fluent/output.rb:121:in `run'</code>

tcpdumpとかいろいろして見てみたんだけど、fluentd同士が生き死にを確認するために飛ばしているというudpのパケットがVMから出ていないようだった

ってこういうの前あったなと思ってググったらKBにありましたよ

UDP packets are dropped from Linux systems using the VMXNET3 Network Adapter

E1000に変えろとかね・・・

もうちょっと検証してみます・・・

VMware上のVyattaをクローンできるようにする

Wed, 09 May 2012 00:00:00 +0900

最近の他のOS同様、Vyattaもクローンしたり、NIC付け替えるとeth0、eth1だったのがeth2、eth3になったりします。

configファイルはeth0、eth1のままなので、いちいち設定し直さないとネットワークにつながりません。

それは大変面倒なので、ググったらvyatta-clone-helperっていうすばらしいツールがあったので入れ方をメモ。

Vyatta4Peopleのリポジトリを追加

configure
set system package repository vyatta4people url http://packages.vyatta4people.org/debian
set system package repository vyatta4people distribution experimental
set system package repository vyatta4people components main
commit
save

vyatta-clone-helperをインストール

sudo aptitude update
sudo aptitude install vyatta-clone-helper

クローン後に起動してから、さらに再起動するとeth0、eth1・・・になっている。

すばらしいツールですね。

ソースは下記参照。

http://www.vyatta4people.org/vyatta-clone-helper-created/

作られたのは結構前だけど、6.4でもできました。

VyattaにVMware Tools入れる

Mon, 07 May 2012 00:00:00 +0900

ただ入れるだけだと、VMware ToolsがONにならなかったり、IPが取れなかったりいろいろ不安定になるのですが、gccとかがないのが原因らしい。

というわけで、入れた手順。

バージョンはVyatta Core 6.3とESXi5.0です。 ※追記 Vyatta Core 6.4やESXi4.1でもいけた

open-vm-toolsはいらないので消す（これと競合してたかもしれない）

## 6.3
sudo aptitude remove open-vm-tools open-vm-modules-2.6.37-1-amd64-vyatta-virt
## 6.4
sudo aptitude remove open-vm-tools open-vm-modules-3.0.23-1-amd64-vyatta-virt

Debianのリポジトリを追加する

configure
set system package repository squeeze components 'main contrib non-free'
set system package repository squeeze distribution 'squeeze'
set system package repository squeeze url 'http://ftp.jp.debian.org/debian/'
set system package repository squeeze username ''
set system package repository squeeze password ''
set system package repository squeeze/updates components 'main'
set system package repository squeeze/updates distribution 'squeeze/updates'
set system package repository squeeze/updates username ''
set system package repository squeeze/updates password ''
set system package repository squeeze/updates url 'http://security.debian.org/'
commit
save

gccとか入れる

sudo aptitude update
sudo aptitude install build-essential dh-make debhelper devscripts

VMware Toolsを入れる

mount /dev/cdrom /mnt
cp -p /mnt/VMwareTools-8.6.5-621624.tar.gz .
tar zxvf VMwareTools-8.6.5-621624.tar.gz
cd vmware-tools-distrib
sudo ./vmware-install.pl -d

これでまともに動くようになった。

ちゃんとDebian化させるにはlinux-headersも入れるべきなのかな。

6.4だとDebian squeezeとカーネルのバージョンが違うのが気になる。

eAcceleratorを有効にしているとphpmyadminが動かない

Mon, 07 May 2012 00:00:00 +0900

小ネタ

WordPressを移行するときにphpmyadmin使おうとしたら動かなくて、諦めてmysqldumpしたんだけど後から調べたら解決したのでメモ

環境

Ubuntu 11.10
PHP 5.3.6-13ubuntu3.6
phpmyadmin 3.4.5deb1
MySQL 5.1.58

現象

phpmyadminにアクセスすると以下のようなエラーが出る（画面上は500だったと思う）

/var/log/apache2/error.log

[Fri May 04 15:53:57 2012] [error] [client xxx.xxx.xxx.xxx] PHP Warning: Unknown: open_basedir restriction in effect. File() is not within the allowed path(s): (/usr/share/phpmyadmin/:/etc/phpmyadmin/:/var/lib/phpmyadmin/) in Unknown on line 0, referer: http://yyy.yyy.yyy.yyy/phpmyadmin/
[Fri May 04 15:53:57 2012] [error] [client xxx.xxx.xxx.xxx] PHP Warning: require(): open_basedir restriction in effect. File() is not within the allowed path(s): (/usr/share/phpmyadmin/:/etc/phpmyadmin/:/var/lib/phpmyadmin/) in /usr/share/phpmyadmin/libraries/common.inc.php on line 52, referer: http://yyy.yyy.yyy.yyy/phpmyadmin/
[Fri May 04 15:53:57 2012] [error] [client xxx.xxx.xxx.xxx] PHP Fatal error: Call to undefined function PMA_sanitize() in /usr/share/phpmyadmin/libraries/Message.class.php on line 601, referer: http://yyy.yyy.yyy.yyy/phpmyadmin/

解決方法

/etc/apache2/conf.d/phpmyadmin.conf に以下を追記する

<Directory /usr/share/phpmyadmin>
php_admin_value eaccelerator.enable 0
</Directory>

でapache再起動すると動くようになる

Zabbix1.9.8から1.9.9にするときのDBスキーマ変更パッチ

Fri, 02 Mar 2012 00:00:00 +0900

![Zabbix](https://www.zabbix.com/img/zabbix_logo.png =120x31 “Zabbix”)

Zabbixを1.9.8から1.9.9にしたらエラーを吐いていたので、調べたらDBのスキーマ変わってて、パッチもあった。

ぐぐったら出てきたページ↓

https://www.zabbix.com/forum/showthread.php?t=25046

18031:20120209:100634.790 [Z3005] query failed: [1054] Unknown column 'mt.status' in 'field list'
[select m.mediatypeid,m.sendto,m.severity,m.period,mt.stat us from media m,media_type mt where m.mediatypeid=mt.mediatypeid and m.active=0 and m.userid=3]

完全に一致。

パッチのページ

https://zabbix.org/wiki/How_to/trunk_db_patches

以下、パッチ当てる手順

環境
- CentOS 5.7
- MySQL 5.0.77
- DB名 zabbix
- DBユーザ zabbix svnは入ってる前提

最新のパッチをダウンロード

svn co https://www.zabbix.org/svn/zabbixorg/zabbix/upgrade_incremental/
cd upgrade_incremental

DBにバージョン情報登録

grep 1.9.8 releases
23551
mysql -uzabbix -p password zabbix -e create table dbdata (name varchar(32), value int)
mysql -uzabbix -p password zabbix -e insert into dbdata values ('dbversion', '23551')

パッチ生成

./upgrade_incremental zabbix
./generate_version_patch 1.9.8 1.9.9

パッチ実行

mysql -uzabbix -p password zabbix < zabbix_incremental_patch_1.9.8-1.9.9.sql

以上。これで普通に動くし、エラーで動かなくなってても元に戻る。でも、テンプレートのインポート/エクスポート機能にバグが直ってないから2.0出るまで待つべきだった。

Selenium WebDriver (Java) で自己署名証明書のセキュリティ警告を出さないようにする

Tue, 13 Dec 2011 00:00:00 +0900

Seleniumでテストするときに自分で作ったSSL証明書だとセキュリティ警告が出てテストできないけど、 Firefoxの場合は以下の方法でスルーできます。

今回は2.0から追加されたWebDriverでやりました。テスト用にプロファイル作って読み込ませる方法でもできます。以下ソース。

FirefoxProfile profile = new FirefoxProfile();
profile.setAcceptUntrustedCertificates(true);
driver = new FirefoxDriver(profile);

Seleniumのダウンロードはこちら。これを書いている時点での最新版は2.15.0でした。

あとはアップロード、ダウンロードのテストもできたら完璧なんですが・・・

Eclipseのエディタの背景色と文字色を変えるプラグイン

Tue, 17 May 2011 00:00:00 +0900

白地だと眩しいから色を変えよう ↓ 設定が面倒 ↓ プラグインあった

という流れ

忘れないようにメモしておく

Eclipse Color Themeというやつです

リンク先から落としてもいいし、マーケットプレイスからインストールすることもできる

初めから20個くらいテーマが入ってるけど、他の人が作ったテーマを探せるところがある

http://www.eclipsecolorthemes.org/

オリジナルのテーマをアップすることができて、現在1715テーマもある（2011年5月17日時点）

設定画面はこんな感じ↓

地デジアンテナを立てました

Mon, 25 Apr 2011 00:00:00 +0900

うちの地域は電波が弱い地域で、ケーブルテレビさんがタダでテレビのケーブルを提供してくれていたが、

地デジ化に伴い、有料化するということで、自分でアンテナ立ててみた。

いろいろ試してた間はベランダに屋根馬使って立ててたので、風で倒れたりして大変だった。

しかし、今回ついに上の写真のような感じに落ち着いた。

BSアンテナは昔父が付けたやつ。

上の小さいのがテレ玉用。

下のでかいのが東京タワー用

その下にUU混合器。

東京タワー用のやつにはブースターも付けた。

ブースターはかなり優秀で、分配してるせいもあって、リビングのテレビでは

テレ玉、MXが電波0、テレビ東京が映像乱れてたのに、全部きれいに映るようになった。

なんで屋根の上じゃないのかっていうと、家が古いので、屋根の上に乗って壊れたら怖いからですｗ

地デジアンテナを自分で立てるために必要な技術は、ケーブルの加工だけだった。

わりと誰でもできると思う。

以下、今回買ったもの。

ブログ移行時に消えた・・・

もちろん、5Cのケーブルとか防水のF型接栓とかも買いました。

ケーブルテレビのときより安定して映ってるので大成功ですが、東京スカイツリーが完成したら、

今のアンテナじゃ感度良すぎるかもしれない。

とりあえずアンテナ立てるのが面白くて楽しかったから満足。

Titaniumでエミュレータを動かすとNo such file or directoryと言われる

Tue, 19 Apr 2011 00:00:00 +0900

AndroidアプリとiPhoneアプリがJavaScriptで開発できるあれですが、

くだらないところで詰まってたので、メモっておく。

環境：Windows 7

Titaniumのインストールは公式サイトを見ればできると思う。

今回は、インストールは終わったのにサンプルが動かなかった。

使ったサンプルはもちろんKitchenSinkです。

以下そのときのログ。

[INFO] Launching Android emulator...one moment
[INFO] Creating new Android Virtual Device (8 WVGA854)
[ERROR] Exception occured while building Android project:
[ERROR] Traceback (most recent call last):
[ERROR] File &quot;C:\ProgramData\Titanium\mobilesdk\win32\1.6.1\android\builder.py&quot;, line 1642, in <module>
[ERROR] s.run\_emulator(avd\_id, avd_skin)
[ERROR] File &quot;C:\ProgramData\Titanium\mobilesdk\win32\1.6.1\android\builder.py&quot;, line 348, in run_emulator
[ERROR] avd\_name = self.create\_avd(avd\_id,avd\_skin)
[ERROR] File &quot;C:\ProgramData\Titanium\mobilesdk\win32\1.6.1\android\builder.py&quot;, line 318, in create_avd
[ERROR] inifilec = open(inifile,'r').read()
[ERROR] IOError: [Errno 2] No such file or directory:
'C:\\Users\\yuya\\.android\\avd\\titanium\_8\_WVGA854.avd\\config.ini'
[INFO] Building KitchenSink for Android ... one moment
[INFO] plugin=C:\ProgramData\Titanium\plugins\ti.log&#92;&#48;.1\plugin.py
[INFO] Detected compiler plugin: ti.log/0.1
[INFO] Compiler plugin loaded and working for android
[INFO] Titanium SDK version: 1.6.1 (03/15/11 11:45 2fdc0c5)
[ERROR] Timed out waiting for emulator to be ready, you may need to close the emulator and try again

11、12行目を見ると、Virtual Deviceがないよと言っているようです。

パスを見るとC:\Users配下を見に行っているが、自分のパソコンではマイドキュメント系は

全てD:\Users配下に移動しているので.androidフォルダもそっちにある。

というわけで、C:\Users\yuyaの下にD:\Users\yuya\.androidへのシンボリックリンクを作った。

コマンドプロンプトで以下のコマンドを打つ。

cd C:\Users\yuya
mklink .android D:\Users\yuya\.android

yuyaのところは自分のユーザ名にしてください。

これでサンプルが動いた。

サンプルが動いたので満足