hirax.net::Keywords::「GUITest」のブログ

■「計測・解析ソフトのハック」が実験系技術者の一番のLifeHack…かもしれない。　

　「計測・解析ソフトウェア/ハードウェアのハック」が実験系技術者の一番のLifeHack…かもしれない、と思っています。それを逆に言うならば、実験系技術者が費やす多くの時間を、計測・解析ソフトが消費しているということになります。つまり、一番時間を消費している部分の高速化をすることが、全体の高速化に効果的だろう、ということです。

　そんなこんなで、何を今更…という、Perlで「シリアル通信とユーザインターフェース自動制御」のやり方を整理しておくことにしました。なぜかというと、経験的に「計測・解析ソフトウェア/ハードウェアのハック」は、シリアル通信制御とユーザインターフェース自動制御でほとんどの場合対応できることが多いから、です。しかも、計測・解析ソフトウェア/ハードウェアを外注したりすると、時間や費用が無視できないほどかかったりするわけで、そういったシステムを簡単に作ることができるということを知っていると、結構便利であるわけです。

　たとえば、RBIOシリーズのような汎用(入)出力ボードは、お小遣い程度の価格で「シリアル通信経由でのハードウェア制御をする」ことが簡単にできます。それは、「計測ハードウェアのハック」がとても簡単にできる、ということです。
　そして、Windows上（あるいはWindows上で動くソフトウェア）の作業を”勝手に”プログラミングすることができれば、「計測・解析ソフトウェアのハック」も簡単にすることができます。

　というわけで、「シリアル通信とユーザインターフェース自動制御」ができれば、「計測・解析ソフトウェア/ハードウェアのハック」を簡単に実現することができるわけです。

　とりあえず、たとえば、Perlで「シリアル通信とユーザインターフェース自動制御」を使うには、Win32::SerialPort と Win32::GuiTest という二つのライブラリが必要です。それらのインストールは、コマンドプロンプトから、

ppm install Win32-SerialPort
ppm install http://www.bribes.org/perl/ppm/Win32-GuiTest.ppd

という風に行うことができます。もっとも、インターネットに直接アクセスすることができない Proxy 内部からであれば、

set HTTP_proxy=http://proxy.hoge.com:8080
set HTTP_proxy_user=hogehoge
set HTTP_proxy_pass=hogehoge

といったような、Proxy対策の環境変数設定をコマンドプロンプトから前もって行っておくことが必要になります。

　あとは、シリアルポート通信ようのConfigファイルを作る、プログラムを書く、ということだけです。たとえば、

!c:\perl\bin\perl
use Win32::SerialPort;
use Win32::GuiTest qw( FindWindowLike GetWindowText SetForegroundWindow MouseMoveAbsPix SendMouse GetWindowRect SendKeys);

といったライブラリを読み込む宣言をした後に、ソフトウェアのユーザインターフェース周りは、

MouseMoveAbsPix(320, 160);
SendMouse("{LEFTCLICK}");
SendKeys($fileName);
SendKeys("{ENTER}");

というような感じで、マウスやボタンやキーボードを自動で動かすことができます。また、ハードウェア周りは、

my $conf_file="serialport.conf";
tie *PORT, 'Win32::SerialPort',$conf_file or die; pushSwitch(0);
close PORT or warn "Can't close serialport:COM*";

sub pushSwitch{
my ($portNo) = @_;
my $text=sprintf "PCT%d%d\n",$portNo,1;
print PORT $text;
}

という感じで*、スイッチやモータを適当にシリアル通信（とRB-IOのようなお手軽I/Fボードで）制御すれば良い、という具合です。午前中に秋葉原に行って部品を買って、午後にスクリプトを2,30行書けば、それで自動計測・制御システムのできあがり、というわけです。

　＊（なお、ここで使用している"serialport_conf"は、こういったserialport_conf.plで作成します）

■Ruby版 Win32GuiTest クラスを作りました。　

　（この記事の続きが「続：Ruby版 Win32GuiTest クラスを作りました。」）になります。

　Ruby版 Win32GuiTest クラスを作りました。PerlのPerlのWin32-GuiTestと同じような機能を集めたものです。つまり、MoonWolf　さんのWin32::GuiTestと同じようなものです。

　夕方からPerlのWin32::GuiTestの関数リストを見て、それと同じようなものををつらつら書いていき、私自身が使いそうにない関数・機能が続き始めた辺りでやる気が下がってきたので、とりあえずソースコード(guiTest.rb)をここに置いておくことにします。

　(コードにも入っていますが)サンプルコードは下記のようになります。これは、「ワードパッドを立ち上げて、ウィンドーを全面に持ってきて、適当に文字を入力して、その文字をコピーして数回ペーストした後に、保存せずに終了する」という具合に動きます（'RichEdit20W'の部分は、クラス名からの子ウィンドゥ検索を示すために入れたので、実際にはなくても構わない部分だと思います）。

  gui=Win32GuiTest.new
  gui.run('wordpad.exe')
  sleep 2
  gui.setForegroundWindow(
    gui.findWindowLikeName('ワードパッド').first[0] )
  gui.setFocus( 
    gui.findWindowLikeClass('RichEdit20W').first[0] )
  gui.sendKeys('This is a sample.{ENTER}',1)
  gui.sendKeys('^a^c')
  5.times do |i|
     gui.sendKeys("#{i} ...{ENTER}")    
     gui.sendKeys('^v')    
  end
  gui.sendKeys('%f',2)    
  gui.sendKeys('x',1)    
  gui.sendKeys('n',1)

　VMware上で作業をしていることもあり、動作未確認の部分(マウス操作・ホイール操作)もあるのですが、「キーボード・マウス・ウィンドウを操作する」というGUIの基本三点セット処理にはそこそこ使える・・・と良いな、と思っています。

■続：Ruby版 Win32GuiTest クラスを作りました。　

　（この記事は「Ruby版 Win32GuiTest クラスを作りました。」）の続きです。

　 Ruby版 Win32GuiTest に関数・機能を追加しました。下の動画は「ペイントを立ち上げて、ウィンドウの場所を動かし、絵を描いた上で、ビットマップファイルを保存する」という作業をRuby版 Win32GuiTestを使ってRubyで自動で行ったものになります。

　実際のコードはソースコード(guiTest.rb)に入っているように、下記のようになります。次はリサージュ図形でも書いてみることにしましょうか。

  gui=Win32GuiTest.new
  gui.run('mspaint.exe')
  sleep 1
  w=gui.findWindowLikeName('ペイント').first[0]
  gui.setForegroundWindow(w)
  gui.moveWindow(w)
  r=gui.getWindowRect(gui.getForegroundWindow)
  sleep 1
  360.times do |i|
    rad=i*2*3.14/360.0
    x=r[0]+200+100*Math.cos(rad)
    y=r[1]+200+100*Math.sin(rad)
    gui.mouseMoveAbsPix(x.to_i,y.to_i)
    gui.sendLButtonDown if i==0
  end  
  gui.sendLButtonUp
  gui.sendKeys('%f',2)    
  gui.sendKeys('x',1)    
  gui.sendKeys('y',1)    
  gui.sendKeys('TestBitmap.bmp',2)    
  gui.sendKeys('{ENTER}',2)    

■ペイント automated by Ruby Win32::GuiTest　

　というわけで、リサージュ図形(もどき)を「ペイント automated by Ruby Win32::GuiTest」で描いてみました。ペイントソフトでリサージュを（マウスを使って）描くのは大変ですけど、自動化すれば簡単ですよね。・・・簡単・・・ですよね・・・？

■Rubyで「シリアル通信スレッドクラス」を作る　

　Rubyで「(Ｒｕｂｙシリアル通信ライブラリ（Windows用）TEXCELL を使った)シリアル通信スレッドクラス」を作りました。ソースコードとサンプルはここに置いておきます。”Microsoft Windows VISTAではほとんど見捨てられているような”シリアルポートでの送受信をRubyでスレッドを使って行うクラスです。Queueにデータを突っ込めば「シリアル通信スレッドクラス」から自動的に送信されます。また、受信した文字列が「（指定した改行コードで）一行になるたびに」receiveイベントが呼ばれるので(また、その際にQueueを指定しておけば受信行が自動的にそのQueueに追加されていきます)、読み込みのタイミング・必要な情報がまだ途中までしか読み込まれていない場合などの処理を気にすることなく使いたい、と考えながら作ってみた「シリアル通信スレッドクラス」です。
　たとえば、COM3で受信した内容をコンソールに出力するだけであれば、このようなコードで動くはずです。

require 'comThread'
receiveComThread=ComThread.new({:icomno=>3})
receiveComThread.start({:receive=>true, 
　　　　　　　　:receiveMonitor=>true})
sleep 60
receiveComThread.stop

　シリアル通信モニタプログラム(シリアルポート間で送受信されている内容を眺めるプログラム)も、多分10行くらいで書けると思います。チェックせずに書いてしまうと、こんな感じになると思います。

  require 'comThread'
  q=Queue.new
  receiveComThread=ComThread.new({:icomno=>3,:rq=>q})
  sendComThread=ComThread.new({:icomno=>4,:sq=>q})
  receiveComThread.start({:receive=>true,
　　　 :receiveMonitor=>true})
  sendComThread.start({:send=>true})  
  sleep 60
  sendComThread.stop
  receiveComThread.stop

　以前、こんなことを書きました。

　「計測・解析ソフトウェア/ハードウェアのハック」が実験系技術者の一番のLifeHackかもしれない…と思っています。その思いを逆に言うならば、実験系技術者が費やす多くの時間を、計測・解析処理が消費していると思っているからです。そして、一番時間を消費している部分の高速化をすることが、全体の高速化に効果的だろう、と思っているわけです。

　そんなこんなで、何を今更…という、Perlで「シリアル通信とユーザインターフェース自動制御」のやり方を整理しておくことにしました。なぜかというと、経験的に(既成機器をを使わざるえないことが多い)「計測・解析ソフトウェア/ハードウェアのハック」は、シリアル通信制御とユーザインターフェース自動制御でほとんどの場合対応できる、からです。

　というわけで、先週末はこの「Perlでシリアル通信とユーザインターフェース自動制御のやり方を整理しておくことにしました」の部分を「Rubyでシリアル通信とユーザインターフェース自動制御を書いて整理しておくことにしました」ということをしてみたわけです。この「シリアル通信クラス」と「ユーザインターフェース自動制御」があると、結構便利な実験屋さんもいるかもしれません。