ひよっこ。

I want to…

Posts Tagged ‘bazaar’

bzr2.5に更新したら、bash-completionがエラーになっちまった

Posted by hikaruworld : 2012 5月 3

bzrのバージョンを2.5にupdateしたところ、bash_completion
エラーになってしまってちょっと困ってました。
導入した経緯は、ここを参照。

出力されるエラーはこんな感じです。

bash-3.2$ bzr stbzr: ERROR: exceptions.AttributeError: 'module' object has no attribute 'shlex_split_unicode'

Traceback (most recent call last):
  File "/usr/local/Cellar/bazaar/2.5.0/libexec/bzrlib/commands.py", line 920, in exception_to_return_code
    return the_callable(*args, **kwargs)
  File "/usr/local/Cellar/bazaar/2.5.0/libexec/bzrlib/commands.py", line 1131, in run_bzr
    ret = run(*run_argv)
  File "/usr/local/Cellar/bazaar/2.5.0/libexec/bzrlib/commands.py", line 673, in run_argv_aliases
    return self.run(**all_cmd_args)
  File "/usr/local/Cellar/bazaar/2.5.0/libexec/bzrlib/commands.py", line 695, in run
    return self._operation.run_simple(*args, **kwargs)
  File "/usr/local/Cellar/bazaar/2.5.0/libexec/bzrlib/cleanup.py", line 136, in run_simple
    self.cleanups, self.func, *args, **kwargs)
  File "/usr/local/Cellar/bazaar/2.5.0/libexec/bzrlib/cleanup.py", line 166, in _do_with_cleanups
    result = func(*args, **kwargs)
  File "/Users/hoge/.bazaar/plugins/bash_completion/__init__.py", line 62, in run
    bash_completion_function(sys.stdout, **kwargs)
  File "/Users/hoge/.bazaar/plugins/bash_completion/bashcomp.py", line 401, in bash_completion_function
    data = dc.collect()
  File "/Users/hoge/.bazaar/plugins/bash_completion/bashcomp.py", line 303, in collect
    self.aliases()
  File "/Users/hoge/.bazaar/plugins/bash_completion/bashcomp.py", line 317, in aliases
    for token in commands.shlex_split_unicode(expansion):
AttributeError: 'module' object has no attribute 'shlex_split_unicode'

bzr 2.5.0 on python 2.7.3 (Darwin-10.8.0-i386-64bit)
arguments: ['/usr/local/bin/bzr', 'bash-completion']
plugins: bash_completion[1.2.1dev], bzrtools[2.4.1], cd[unknown],
    changelog_merge[2.5.0], colo[0.3.1dev], difftools[0.91.0],
    extmerge[unknown], hello_world[1.2.3dev4], launchpad[2.5.0],
    netrc_credential_store[2.5.0], news_merge[2.5.0], po_merge[2.5.0],
    qbzr[0.21.0dev2], rewrite_interactive[unknown], vimdiff[unknown],
    weave_fmt[2.5.0], xmloutput[0.8.8]
encoding: 'utf-8', fsenc: 'utf-8', lang: 'ja_JP.UTF-8'

shlex_split_unicodeがないって言われているみたいなんだけど、bzrのソースコードを覗いたところ、
確かになくなってしまっています。
log見たけど、2.2辺りで非推奨になってrev6030で消えてしまったみたいです。

ただ、対象の関数が行っている処理自体は大した事なくて、cmdlineモジュールに委譲しているだけでした。

def shlex_split_unicode(unsplit):
    return cmdline.split(unsplit)

という訳で、以下の用にbash_completionを修正。

=== modified file 'bashcomp.py'
--- bashcomp.py	2010-05-29 08:42:48 +0000
+++ bashcomp.py	2012-05-03 12:51:03 +0000
@@ -24,6 +24,7 @@
     help_topics,
     option,
     plugin,
+    cmdline,
 )
 import bzrlib
 import re
@@ -314,7 +315,7 @@
 
     def aliases(self):
         for alias, expansion in config.GlobalConfig().get_aliases().iteritems():
-            for token in commands.shlex_split_unicode(expansion):
+            for token in cmdline.split(expansion):
                 if not token.startswith("-"):
                     self.user_aliases.setdefault(token, set()).add(alias)
                     break

これでOKでした。
以上です。

広告

Posted in program | タグ: , | Leave a Comment »

bazaarのプラグインを作る(2)

Posted by hikaruworld : 2011 12月 26

前回の続きです。

hello_world.pyだと色々とやりづらいので、
plugins以下にhello_worldという形でモジュール化しておきます。

$ ls ~/.bazaar/plugins
hello_world.py
$ cd ~/.bazaar/plugins
$ mkdir hello_world
$ mv hello_world.py hello_world/__init__.py

2-4.helloコマンドに引数を与える

bzr stなどにLOCATIONを指定できるように、
自分で作ったプラグインにもコマンドライン引数を設定する事が可能です。
というわけで、helloコマンドにユーザ名を指定して
hello usernameという形に出力するようにプラグインを拡張してみます。

引数を指定したい場合はtakes_argsというプロパティをクラス内に定義して、
取得したい要素を配列で定義します。そしてそこで定義した値をrun関数の引数で受け取る事が可能です。

# __init__.py
# クラス部分だけ抜粋
class cmd_hello(Command):
    takes_args = ["username?"]
    
    def run(self, username=None):
        print "Hello %s" % username

末尾に?をつけると任意要素に、つけない場合は必須要素になります。
他に末尾に指定できる項目は、?, *, +, $あたりがあるようですが詳しくは追っていません。
bzlib.command.pyの_match_argformを見る感じだと、+だと最低1つは存在し、かつ以降の値をまとめるとかできる感じですね。
詳しくはTODOにして後で検証してみます。
必須項目にしていた場合に設定せずにコマンド起動すると、ちゃんとbzrが叱ってくれます。

bzr: ERROR: command ‘hello’ requires argument USERNAME

2-5.オプションの設定

bzrのコマンドには引数ではなく、各種Optionの設定を行う事が出来ます。
どのコマンドでも利用できる-vや-hと言ったオプションと、例えばremoveコマンド独自の–forceといったような2つに大別されます。
これらのオプションはtakes_optionsをtakes_argsと同じように設定する事で利用が可能になります。

但し、前者(-vや-h)はそのオプション名を文字列で指定すればよいのですが、
独自オプションを作る場合は、個別にOptionクラスRegistryOptionを定義する必要があります。

TODO RegistryOption周りの説明

ここでは、verboseというどのコマンドでも利用可能オプションと、
このコマンド特有のhideというオプションの設定を行います。

# __init__.py
from bzrlib.commands import Command, register_command
from bzrlib.option import Option

class cmd_hello(Command):

    takes_args = ["username"]
    takes_options = [Option("hide", "username print asterisk"), "verbose"]

    def run(self, username, hide=False, verbose=False):
        print "hello %s" % ("*" * len(username) if hide else username)

これで–hideというオプションを設定した場合は出力が***になります

$ bzr hello hogepiyo
hello hogepiyo
$ bzr hello hogepiyo --hide
hello ********

2-6. プラグインのテスト

プラグインのテストはselftestというコマンドで実行する事が可能です。
但し、testtoolsに依存していますので、
存在していないと、こんな感じで怒られます。

bzr: ERROR: No module named testtools
You may need to install this Python library separately.

pipなりeasy_installなりでインストールしておきます。

selftestの仕組みはプラグインにtest_suite関数が定義されていれば自動でテストを実行してくれます。
なので、こんな感じで関数を定義しておきます。

# from hello_world.py
# 対象箇所のみ抜粋
def test_suite():
	pass
    from bzrlib.tests.TestUtil import TestLoader
    import tests.test_hello
    from unittest import TestSuite

    result = TestSuite()

    result.addTest(TestLoader().loadTestsFromModule(tests.test_hello))

これだけだと、テストの実体がないのでテストを読み込んで実行するようにします。
以下のように構成されているとします。

$ cd ~/.bazaar/plugins/hello_world
$ mkdir tests
$ touch tests/__init__.py tests/test_hello.py
$ tree .
.
├── __init__.py
└── tests
    ├── __init__.py
    └── test_hello.py

test_hello.pyを以下のように記述します。

# test_hello.py
from bzrlib.tests import TestCase

class TestHelloWorld(TestCase):
    def test_hello(self):
    	# とりあえず失敗させる
        self.assertEqual(1, 0)

__init__.py側でも該当のモジュール読み込むようにします。
# この辺りはbzrtools辺りのtest_suiteの実装を参考にしています。

# __init__.py
def test_suite():
    from bzrlib.tests.TestUtil import TestLoader
    from unittest import TestSuite

    import tests.test_hello

    result = TestSuite()
    result.addTest(TestLoader().loadTestsFromModule(tests.test_hello))

    return result

pythonのunittest.TestSuiteにaddTestしているだけですね。
TestUtil.TestLoaderはunittest.TestLoaderを拡張しているので基本は同じはず…。

これでselftestを実行してみます。

$ bzr selftest hello_world
FAIL: bzrlib.plugins.hello_world.tests.test_hello.TestBase.test_hellost_hello                                                                                                       
    Empty attachments:
  log

Traceback (most recent call last):
  File "~/.bazaar/plugins/hello_world/tests/test_hello.py", line 6, in test_hello
    self.assertEqual(1, 0)
AssertionError: not equal:
a = 1
b = 0

======================================================================                                                                                                              
FAIL: bzrlib.plugins.hello_world.tests.test_hello.TestBase.test_hello
----------------------------------------------------------------------
_StringException: Empty attachments:
  log

Traceback (most recent call last):
  File "~/.bazaar/plugins/hello_world/tests/test_hello.py", line 6, in test_hello
    self.assertEqual(1, 0)
AssertionError: not equal:
a = 1
b = 0

----------------------------------------------------------------------
Ran 1 test in 0.154s

FAILED (failures=1)

テストが成功するように修正して実行してみます。

# test_hello.py
#self.assertEqual(1, 0)
self.assertEqual(0, 0)
$ bzr selftest hello_world
bzr selftest: /usr/local/Cellar/bazaar/2.4.2/libexec/bzr
   /usr/local/Cellar/bazaar/2.4.2/libexec/bzrlib
   bzr-2.4.2 python-2.6.1 Darwin-10.8.0-i386-64bit

----------------------------------------------------------------------                                                                                                              
Ran 1 test in 0.154s

ok

何も出ませんが、成功しています。
どのテストが実行されたかは、-vをつけると分かります。

running 1 tests...
bzr selftest: /usr/local/Cellar/bazaar/2.4.2/libexec/bzr
   /usr/local/Cellar/bazaar/2.4.2/libexec/bzrlib
   bzr-2.4.2 python-2.6.1 Darwin-10.8.0-i386-64bit

bzrlib.plugins.hello_world.tests.test_hello.TestBase.test_hello                                                                                                       OK        2ms
----------------------------------------------------------------------
Ran 1 test in 0.156s

OK

3. 補足

3-1. プラグインロード時の問題

bzrは起動時にこれらのコマンドを読み込むため、__init__.pyにいわゆる『重い』処理を書いておくと
最初のbzrの起動がとても重くなってしまうそうです(2回目以降はキャッシュされますが…)。
そのための回避策としてチュートリアルには2つ方法が提示されています。

初期の読み込みを最小限にする

bzrの起動時に読み込まれるのが最初の起動ファイル?だけのようです。
ここで記述されている必要があるのがCommandクラスの定義とコマンドの登録のみなので、
それ以外を全て別のファイルに追い出してしまうという方法のようです。

遅延読み込みの実装を行う

lazy_import.lazy_importを利用する方法です。
この方法はコマンドが起動されるまで依存するモジュールの読み込みを遅延できるようです。
ドキュメントやビルドインコマンドでは以下のように読み込まれる事が確認できます。

from bzrlib.lazy_import import lazy_import
lazy_import(globals(), """
from bzrlib import (
    branch as _mod_branch,
    option,
    workingtree,
    )
""")

ただ、一部のプラグインは、commands.plugin_cmds.register_lazyを利用して読み込んでいるものもありました。
この辺はまだ調べていないのでTODOで。

3-2. 参考にしたサイト

Developing a plugin

以上です。大体こんな感じでプラグインが作成できます。
簡単ですね。あとはIntegrating with Bazaarあたりを参考にいじっていけると思います。

以上です。

Posted in program | タグ: , , , | Leave a Comment »

bazaarのプラグインを作る(1)

Posted by hikaruworld : 2011 12月 25

bazaarのよいところの一つはpythonで簡単にプラグインを書ける事です。
知ってはいたんですが、作った事なかったのでHelloWorldしてみました。

1.基本的なルール

1-1.プラグインのインストール場所

bzrのプラグインは$HOME/.bazaar/plugins以下に配備すると自動でモジュールをロードしてくれます。
実際にどんなプラグインをインストールしているかは、

bzr plugins

とコマンドを打つことで確認できます。

1-2.参考にする実装

bzrは起動時にビルドインコマンドを読み込みます(bzr infoとかです)。
そのコマンド自体はbzrlib/builtins.pyで定義されているのでプラグインを作成するときには参考にしましょう。

2.helloプラグインの実装

2-1.プラグインの作成

プラグイン自体をbzrに認識させる方法は3つありますが、1つはビルドインコマンドなどが使う方法なので、通常は$HOME/.bazaar/pluginsに配備する方法で実現します。

1つ目のもっとも単純な方法は、plugins以下に任意のpythonファイルを置くことです。
例えば今回の場合であれば、以下のように配置し、bzr pluginsで確認してみると

$ cd ~/.bazaar/plugins
$ touch hello.py

hello
(no description)

という風に認識してくれます。

もう一つは、任意のディレクトリを作成して、__init__.pyを置くことです。
こちらの方が主流ですね(って、スクリプトだけのプラグインってみたことないですが)。

$ cd ~/.bazaar/plugins
$ mkdir hello
$ touch hello/__init__.py

但し、この状態ではプラグインのコマンドなどは定義されていないので、

$ bzr hello

とかやっても、こんな感じで怒られます。

invalid syntax (, line 1)
Unable to load ‘.hello’ in ‘~/.bazaar/plugins’ as a plugin because the file path isn’t a valid module name; try renaming it to ‘_hello’.
bzr: ERROR: unknown command “hello”

2-2.helloコマンドの作成

今回の目的はbzr helloとコマンドを打つと、
標準出力にHello Worldと出力するプラグインなので、
helloコマンドを新しく定義します。

bzrのコマンド(infoやbranchのようなもの)は
bzrlib.commands.Commandクラスを継承して実装する必要があります。
今回はhelloコマンドなので定義だけならこんな感じになります。
Defining a new commandに書いてあるままです。

from bzrlib.commands import Command, register_command

class cmd_hello(Command):
     pass

register_command(cmd_hello)

注意点は、クラス名のprefixとしてcmd_が付与されること、
アンダースコア(_)でつないだ場合にはコマンド時にはハイフンつなぎになる事くらいです。
# cmd_hoge_piyoはhoge-piyoというコマンドになります。

但し、このままではhelloコマンドを実行してもエラーになってしまいます。

bzr: ERROR: exceptions.NotImplementedError: no implementation of command ‘hello’

新しいコマンドを作成した場合は、run関数を実装してあげる必要があります。

from bzrlib.commands import Command, register_command

class cmd_hello(Command):
    def run(self):
        print “Hello World”

register_command(cmd_hello)

これでbzr helloと実行するとHelloWorldと表示してくれるプラグインが出来上がります。

$ bzr hello
Hello World

2-3.helloコマンドのプラグイン情報の記述

bzr pluginsやbzr help XXX(プラグインのコマンドとか)をしてみるとわかりますが、
プラグインにはさまざまなメタ情報が設定されています。

launchpad 2.4.1
Launchpad.net integration plugin for Bazaar.

この設定を行います。

バージョンの記述

バージョンの記述はプラグインを定義しているファイルにversion_infoという値をタプルで定義します。

version_info  = (0, 1, 2, "dev", 0)

上記のように定義してbzr pluginsで確認してみると0.1.2devという風に表示されます。
5番目の要素に0を指定した場合は空気読んで表示されないみたいですね。

プラグインの概要を記述する

bzr pluginsを実行したときにそのプラグインに関する概要が表示されると思います。
この設定もプラグインファイルの冒頭にコメントを記述することで表記可能です。

""" This plugin description"""

複数行書いても概要で表示されるのは1行目だけです。

これでHelloWorldプラグインは完成です。
こんな感じになります。

"""This plugin is print HelloWorld
"""
from bzrlib.commands import Command, register_command

class cmd_hello(Command):
    def run(self):
        print “Hello World”

version_info = (0, 1, 2, "dev", 0)

register_command(cmd_hello)

長くなってきたのでに続きます…。

Posted in program | タグ: , , | Leave a Comment »

MacOSXでbzrのbash-completionを利用する

Posted by hikaruworld : 2011 12月 23

MacのTerminalをbash環境で利用している場合に、bzrのbash-completionが欲しくなります。
bash-completionとは何かはこの辺りが参考になるかと。

bash-completionをhomebrewで

自分はbash-completionをhomebrewでインストールしたので、こんな感じ。

$ brew install bash-completion

で言われるがままに、~/.bashrcにこれを追記するとコード補完が有効になります。

if [ -f `brew --prefix`/etc/bash_completion ]; then
    . `brew --prefix`/etc/bash_completion
fi

bazaarのbash-completionを有効に

残念ながらそのままではgitやsvnは補完してくれますが、
bazaarは補完してくれません(Macの場合)。
bazaarを補完してもらうためには、bzr bash-completionをインストールします。

通常のプラグインと同じように、~/.bazaar/plugins以下にbranchを取得します。

bzr branch lp:bzr-bash-completion bash-completion

有効化するためにREADMEにあるように、~/.bashrcに以下を追記。

# read bash_completion for bzr
if [ -f $HOME/.bazaar/plugins/bash_completion/lazy.sh ]; then
    . $HOME/.bazaar/plugins/bash_completion/lazy.sh
fi

eval “`bzr bash-completion`”でもよいようですが、遅延初期化の方が無駄な待ちがないので。

これで、bzr sとか入れてTABを押すとこんな感じで補完されます。

bash-3.2$ bzr s
s-c              server           shelve           st
selftest         shelf1           shelve1          stat
send             shell            sign-my-commits  status
serve            shell-complete   split            switch

これで、変なタイポを減らせます。
# なぜかuncommitのコマンドばかり間違える私もこれでさよなら。

Posted in program | タグ: , , | Leave a Comment »

私が、分散バージョン管理を使おうと思ったただ一つの理由

Posted by hikaruworld : 2010 3月 31

最近デビューしました。

たった一つの理由を挙げろといわれれば

今のプログラミング開発手法のマッチしているから

に尽きる。

TDDやCIが良い例だと思う。

TDDの例

SVNの場合TDDのレッド⇒グリーン⇒リファクタリングのタイミングでコミットするには粒度が小さすぎる。
でもコミットしないと小さな不安が残る。だけど、コミットすると余計なリビジョンがかさむことになる。

分散バージョン管理であれば、レッド→グリーンになったタイミングでローカルブランチにコミット出来る。
そのあと、一つのTDD(設計工程)が終わった段階でまとめてメインブランチにpushする。
※bazaarでのやり方がわからないんだけど(汗

自分で試行錯誤しているときは安心(グリーン)したタイミングでコミット。
で、ひと段落したらメインリポジトリへpushというのが自然な流れで実行できる。

CIの例

CIの場合に、SVNでよくやるのがpost-commit-hock。
要するに、コミット直後のタイミングをhockしてCIで自動テストを実行するようなパターン。

でも、これはイビツだと最近感じる。

リポジトリへのコミット直後のタイミングでテストを実行して、
早い段階でエラーを感知する。これは大事。

でも本当に欲しいのは、メインブランチのコミット前に自動テストを実行して問題があったら
メインブランチへのコミットをリジェクトして欲しい。メインブランチはきれいになっていてほしい。
雨が降るとわかっていたら最初から傘が欲しいんだ。

Bazaarであればそれが出来る。自動ゲートキーパー方式。
Gitとかで出来るかは知らないんだけども。

なぜBazaar

GitでもなくMercurialでもなく、Bazaar。
別に大した事じゃないけど、ほぼPython製で、コミットコメントに日本語が使えたことが大きな理由。
あと、Pythonゆえにネットに情報は少なくても、丁寧に翻訳された日本語ドキュメントがあった。

コミットコメントにユーモアを含めることを身上としている僕(嘘)にとっては
英語で気のきいたユーモアなんて書けなかったので唯一コミットコメントに日本語が通るbazaarを選んだんだ。

2010/03/31 update
今は、GitもMercurialも(たぶん)、日本語のコミットコメントが使えるとのこと。(Thanks! @aroma_black)
Mercurialに関してはEclipseプラグイン経由で日本語のコミットコメントが使えるらしいです。(Thanks! @bleis)

ちなみにbazaarもEclipse経由では日本語が通りませんorz… by 自分

で、話を戻すと

くどいうようだけど、分散バージョン管理(一応以降はbazaarで進めるけども、基本的にはどれでも一緒だと思う)のよいところ。

今のプログラミング開発手法にマッチしているから

自分の仕事のやり方の隙間をあっさり埋めてくれるツールだった。

いろいろ教育が面倒だよね?

確かに教育コストはかかるとおもう。
Bazaarなんて縦横無尽にbranchが切れる上、気が向いたらSVN的に使ったりもできるから。
でも、TDDと一緒に勉強するならコストはそんなにかかんないよね?
でも、CIと一緒に勉強するならコストはそんなにかかんないよね?

実績がないんじゃ?

バカでかいシステムで本当にマージ方式で問題なく運用できるのかと。
でも、linuxの開発以上にでっかいシステムってどれくらいあります?(Thanks @nawoto )

※ちなみにbazaarのリビジョン番号のふられ方はとてもステキ(マージ周りはまた別の機会に)。

迷っているなら…

ちなみにどの分散バージョン管理を使えばいいか迷っている人は、
この辺の記事を参考に決めると良いでしょう。基本好みだと思います。

  1. 分散バージョン管理Git/Mercurial/Bazaar徹底比較
  2. 分散バージョン管理システムの詳細なガイド

といわけで、次回からは私がこよなくbazaarに惚れた理由をツラツラ書いていきたく思います。

2010/03/31 12:00 Update

内容に関して、@aroma_black@bleis に指摘をもらったので、その分を反映。
ありがとー。

まだまだ知らないことだらけですわ。。。

Posted in program | タグ: , , | 1 Comment »