블로그 이미지
JEEN

서울에 사는 꽃청년의 IT찌질모험기

Rss feed Tistory
IT 2008.12.09 15:07

[ Firefox, Selenium ] 그림파일은 읽지 않게 해줘요.

  난관에 봉착하고 그 난관을 넘어섰을 때 어떤 짜릿함을 느낀다고 할까요. 끙끙 앓으면서 문제를 해결했을 때의 그 참맛이라고 할까요.
 
  Selenium 을 Mechanize 로 대신 쓰는 이유는 Mechanize 자체는 Java script 를 해석할 수 없기 때문이라고 했습니다. Selenium 자체는 브라우저에 의존하기 때문에 브라우저에서 JS 로 컨트롤할 수 있는 부분은 거의 모든 부분을 컨트롤 할 수 있죠.
 하지만 그만큼 쓸데없는 연결이 발생하게 마련입니다. 처리하는 중에 쓸데없이 그림 파일을 읽을 필요도 없거니와, 그거 읽는 데 소비할 시간이 아깝다는 것이죠.

그림1. Firefox 환경설정 - 내용


 물론 Firefox 설정화면에서 위의 "그림 자동으로 읽기"의 체크를 해제하면 그림은 읽지 않게 할 수 있습니다. 하지만 Selenium 은 매번 실행시에 임시 profile 을 만들고 그것을 사용하기 때문에 기존 브라우저 설정을 그대로 적용할 수는 없습니다.

2008/11/19 - [IT] - [ Selenium ] Selenium RC 를 사용해보자. II

 위의 포스트에서도 소개했듯이, 그럴때는 Selenium 의 독자적인 profile 을 준비해야합니다.  임시 profile 을 생성할 시에 이 profile 을 우선적용하는 것이지요. 그럼 "그림 자동으로 읽기"에 관한 설정 정보는 어떤 것일 까요?


  URL 입력창에 about:config 로 들어가서 image 라는 설정이름을 가진 것들 중에 그럴 듯한 것을 훑어봤습니다. 그리고 설정화면에서 "그림 자동으로 읽기"를 해제하면 permissions.default.image 가 2로 바뀌죠.
  그럼 이것을 user preference java script 에 추가합니다.

  user_pref("permissions.default.image", 2);


  하지만 문제가 생겼습니다. 대상이 되는 서비스는 img 태그에 그림만을 지정한 것이 아니라 어떤 백그라운드 처리를 위해서 몇가지 img 태그에 그림파일이 아닌 url 이 적혀 있었던 것이었습니다. 다행히 그림용 URL 과는 달리 이런 URL 은 domain 이름부터가 달랐습니다.
  이 경우는 <그림 1>의 "그림 자동으로 읽기" 의 "예외목록..." 버튼을 누르면 설정이 가능합니다.
하지만 이 설정의 경우에는 about:config 에서 아무리 찾아봐도 등장하지 않았습니다. 그래서 찾아본 결과, Firefox 의 Profile Folder 의 Hostperm.1 파일에서 관리하고 있다고 합니다. 아래의 URL 을 참고해주세요.

  Profile Folder : http://kb.mozillazine.org/Profile_folder
  Hostperm.1   : http://kb.mozillazine.org/Hostperm.1

  하지만 profile folder 를 뒤져봐도 hostperm.1 이라는 파일은 어디에 있는 지 안보입니다. 다시 찾아본 결과 이에 대한 설정은 profile folder 의 permissions.sqlite 에서 관리하고 있다고 합니다. 일반 텍스트 파일도 아니고 SQLite 라니... 일단 이 파일을 Selenium 의 Firefox Profile 디렉토리에 복사하고 내용을 보도록 하겠습니다.

  sqlite3 permissions.sqlite

  해서 내용을 보면, permissions.sqlite DB 에는 moz_hosts 라는 테이블 하나 뿐입니다. 테이블 구성은 id, host, type, permission 이 있는데요. 위의 Hostperm.1 을 참고해서 다음처럼 등록했습니다.

  INSERT INTO moz_hosts VALUES(1, 'image.blahblah.net', 'image', 2);
  INSERT INTO moz_hoss VALUES(1, 'image2.blahblah.net', 'image', 2);
 
  그리고 Selenium 을 돌려서 해당 사이트에서 확인한 결과 image.blahblah.net 과 image2.blahblah.net 이라는 도메인을 가진 그림파일은 읽어오지 않게 되었습니다.
  그림 파일을 읽어오지 않으니, Selenium 으로 하는 작업 시간도 어느정도 단축할 수 있습니다. 특별히 그림을 판독하는 기능도 없거니와, 그림이 이건지 저건지 알 필요도 없으니까요.

  여기서 대전제를 먼저 쓰는 것을 잊어버렸는데요. Selenium 은 disk cache 를 사용할 수 없습니다. cache 를 사용할 수 있다면 여러번의 작업시 매번 똑같은 사이트를 들락날락 거리는 데 이미지를 매번 읽을 필요는 없겠죠. 하지만 memory cache 는 사용할 수 있습니다. 한번의 작업에 같은 사이트를 들락날락 거릴때는 cache 를 사용할 수 있죠. 하지만 작업이 끝나면 그 cache 는 지워져버리지만요.

  Selenium 을 통해서 Firefox 의 세세한 부분까지 알게되니(라고 쓰고 '알아야 한다니' 라고 읽습니다) .. 참...
  아무튼 사실 Selenium의 이야기를 가장한 Firefox 의 이야기였습니다.
신고
IT 2008.11.19 20:18

[ Selenium ] Selenium RC 를 사용해보자. II


 애초 Selenium 사용목적은 Test 목적이 아니었다 라는 것은 처음부터 말해왔습니다.
 Agent 로 사용할 Selenium 에서 필요한 기능은 바로 "파일 다운로드"인데요. 하지만 브라우저 자체 설정에서 매번 다운로드 매니저를 띄우고... javascript 의 confirm 이나 alert 이 아닌 대화창은 Selenium 으로 조작이 불가능하더군요.

 결국은 Firefox 설정을 만지는 수 밖에 없겠다 싶어서 [ 환경설정 ] 에서 뭐가 없나 찾아봤지만 뭐 별다른 것없어서... 결국은 about:config 로 직접 수정해보기로 했습니다.

  - http://kb.mozillazine.org/About:config_entries

 Firefox 에서 about:config 의 reference 를 보고 그럴 듯한 것들을 찾아서 바꿔보았습니다. browser.download.* 이 그럴듯한 것으로 보이길래, 해당 값들을 적당하게 수정해서 다운로드 하니.. 과연 다운로드 매니저가 안뜨더군요.

 그래서 Selenium RC Server 의 Firefox 에서 위에서 한 설정을 그대로 씌우고 작동을 했는데...
 결과는 안먹히덥니다. Selenium RC 에서 작동한 firefox 는 변경된 설정을 따르지 않는지 어떤지 잘 모르겠습니다. 뭔가 자기 나름대로의 기본값이 있나본데요.

 결국 검색해서 찾아낸 것은 -firefoxProfileTemplate 라는 옵션입니다.
 
 * 우선은, profile 이라는 디렉토리를 만들고,
 * 그리고 prefs.js 라는 파일을 만들어서, 변경할 옵션들을 모조리 거기에 잡아넣습니다.

 설정값은 아래의 링크를 참고했습니다.

 - http://clearspace.seleniumhq.org/message/31350

 그런데 위의 링크의 설정으로도 다운로드 매니저가 나오더군요. 그래서 다시 about:config 를 뒤지면서 그럴 듯한 놈을 찾아서 바꿔보았습니다. 제가 사용할 설정은 다음과 같습니다.

 * profile/prefs.js
user_pref("browser.download.dir", "/home/leejj/Desktop");
user_pref("browser.download.downloadDir", "/home/leejj/Desktop");
user_pref("browser.download.folderList", 2);
user_pref("browser.download.manager.showWhenStarting", false);
user_pref("browser.download.manager.useWindow", false);
user_pref("browser.startup.homepage_override.mstone", "ignore");

 위의 설정들이 어떤 내용인가에 대해서는 언급하지 않겠습니다. 위의 about:config reference 를 참고해주세요.

 이게 끝이 아닙니다. 방금전에 다시 해봤는데 안되더군요; 아무튼 원인은 mimeType.rdf 를 설정해주어야 하더군요.
 일반적으로 다운로드를 위해서 링크나 버튼을 클릭하면 아래와 같은 다운로드 매니저가 등장합니다.
[다시 묻지 않음]을 선택하면 [환경설정] 의 프로그램 탭에 등록되게 됩니다. 이 경우에는 "파일 저장"으로 등록이 되죠.
 

  [환경설정] - [프로그램] 탭에서는 위의 다운로드 매니저에서 등록한 파일 형식 Comma Separated Vars 는 파일저장으로 실행이 등록 되어 있습니다.

  그럼 이렇게 지정한 mime-type 을 mimeType.rdf 파일로 적어줘야할 필요성이 있습니다.
  Firefox 환경설정은 Selenium RC Server(여기에서는 Ubuntu) 에서 /etc/firefox-3.0/profile 에 있습니다.
 하지만 여기에서는 위의 형식들이 등록되어 있지 않습니다. 어디에 등록되어 있는 지 몰라서, 생각을 바꾸기로 했습니다.

  Selenium RC Server 는 매번 실행시에 브라우저의 커스텀 프로파일을 생성합니다. 클라이언트에서 RC 를 움직여서 Firefox 가 움직이고 있을 때 /tmp/customProfile****************/ 이라는 디렉토리가 생기죠. RC 에 의해 실행되고 있는 Firefox 에서 위처럼 파일을 다운로드 할때, [ 파일 저장 ]으로 하고 [ 다시 묻지 않음 ] 을 클릭하니... 그곳에 있는 mimeType.rdf 파일의 사이즈가 바뀌더군요.
  그래서 재빨리 그곳에 있는 mimeType.rdf 를 퍼와서 위의 prefs.js 가 있는 디렉토리와 같은 디렉토리에 넣어줍니다.

 * CSV 파일을 항상 저장하도록 설정하는 mimeType.rdf
<?xml version="1.0"?>
<RDF:RDF xmlns:NC="http://home.netscape.com/NC-rdf#"
         xmlns:RDF="http://www.w3.org/1999/02/22-rdf-syntax-ns#">
  <RDF:Description RDF:about="urn:mimetype:text/csv"
                   NC:value="text/csv"
                   NC:editable="true"
                   NC:fileExtensions="csv"
                   NC:description="CSV document">
    <NC:handlerProp RDF:resource="urn:mimetype:handler:text/csv"/>
  </RDF:Description>
  <RDF:Description RDF:about="urn:mimetype:externalApplication:text/csv"
                   NC:prettyName=""
                   NC:path="" />
  <RDF:Seq RDF:about="urn:mimetypes:root">
    <RDF:li RDF:resource="urn:mimetype:text/csv"/>
  </RDF:Seq>
  <RDF:Description RDF:about="urn:mimetype:handler:text/csv"
                   NC:alwaysAsk="false"
                   NC:saveToDisk="true">
    <NC:externalApplication RDF:resource="urn:mimetype:externalApplication:text/csv"/>
  </RDF:Description>
</RDF:RDF>

 물론 다운로드 해야할 파일 형식이 다른 것이 있다면 이렇게 추가해주어야할 것입니다.
 
 그리고 selenium-server 를 다시 띄워줄 때는 위에서 말한 -firefoxProfileTemplate 를 지정해줘야 합니다. 인수는 파일이 아닌 profile 디렉토리를 지정합니다.

 $ java -jar selenium-server.jar -firefoxProfileTemplate profile

 그리고 어떤 다운로드를 위한 버튼을 클릭하는 케이스를 IDE 로 만들어서 Client 코드로 실행합니다. 그러니 Selenium RC Server 의 Firefox 에서는 방금전과 같은 다운로드 매니저는 일절 출몰하지 않고, 그대로 진행되더군요. Download Directory 로 설정한 /home/leejj/Desktop 에서는 다운로드된 파일이 제대로 박혀있습니다.

 뭔가 이러면 되겠지 하던 게 제대로 안먹고.. 거기에 가장 치명적인 오타때문에 몇 십분을 허비한 것 같습니다. 아무튼 이걸로 원하는 Agent 를 위한 기능은 다 구현할 수 있겠다는 생각으로 맘이 편안해지기는 합니다. (뭐 당연히 구현할 때도 쩔쩔댈 일이 있을지도 모르겠지만요...)
신고
IT 2008.11.18 13:24

[ Selenium ] Selenium RC 를 사용해보자. I

    Selenium IDE 를 통해서 레코딩이 끝나고, 동작확인이 되었으니, Selenium RC 를 사용해서 한번 작업해보았습니다.

  - http://selenium-rc.seleniumhq.org/

  이 페이지에서 Selenium RC 를 다운로드 할 수 있고, Selenium RC 는 Java Runtime Environment 를 필요로 합니다. 그리고 클라이언트는 "Perl" 을 사용하기로 하고... cpan 에서 다운로드 하거나... Selenium RC 파일을 압축해제 하면.. 안에 각 클라이언트 별로 라이브러리가 있으니... 그곳에서 인스톨해도 상관은 없습니다.
 

  ( 이렇게해서 Selenium IDE 에서 Perl 코드를 Export 할 수 있습니다~ )

Selenium Server 는 회사의 콘솔을 사용하고... Client 는 제 MacBook 입니다.

일단은 서버에서 selenium-server.jar 을 실행해서 selenium 서버를 띄웁니다.

$ java -jar selenium-server.jar

*** 여기서 문제가 있는데요. 현재 위의 Selenium RC 링크에서 다운받을 수 있는 03/05/2008 릴리즈의 Version 1.0 beta 1 에서는 Firefox3 를 실행할 수 없다는 점입니다.
  (Server Debug 메시지에서 Preparing Firefox profile 이라고 나오면서... 막상 브라우저는 안뜨더군요..)
  그래서 해외의 어느 개발자가 이것을 패치해서 배포하고 있으니... Firefox 3 를 쓰신다면 이것을 사용해보시는 것이 좋을 것 같습니다.

  - http://notetodogself.blogspot.com/2008/10/use-selenium-rc-in-firefox-3.html

아래는 Selenium IDE 로 Export 한 Perl Code 입니다.
  1. use strict;
  2. use warnings;
  3. use Time::HiRes qw(sleep);
  4. use Test::WWW::Selenium;
  5. use Test::More "no_plan";
  6. use Test::Exception;
  7.  
  8. my $sel = Test::WWW::Selenium->new( host => "192.168.*.*",
  9.                                    port => 4444,
  10.                                    browser => "*firefox /usr/lib/firefox-3.0.3/firefox",
  11.                                    browser_url => "https://***.***.**/" );
  12.  
  13. $sel->open_ok("/i/dnet.cgi");
  14. $sel->type_ok("UserID", "leejj");
  15. $sel->type_ok("_word", "****");
  16. $sel->click_ok("s_login");
  17. $sel->wait_for_page_to_load_ok("30000");
  18. $sel->click_ok("//tr[2]/td[1]/a/img");
  19. $sel->wait_for_page_to_load_ok("30000");
  20. $sel->type_ok("Detail", "Selenium Test");
  21. $sel->click_ok("s_ok");
  22. $sel->wait_for_page_to_load_ok("30000");
  23. $sel->click_ok("xlogout");
  24. $sel->wait_for_page_to_load_ok("30000");

위의 인수로 browser 를 지정할 때는 Client 에서 Full Path 로 지정하거나, Server 에서 firefox-bin 을 PATH 에 지정해줄 필요가 있습니다. 저는 전자의 방법으로 했습니다.
 
  그리고 Client 에서 스크립트를 실행합니다. 그러면 Server Debug 메시지가 좌르르륵 나오면서 Firefox 가 뜨고, 이것저것 움직.... 이지않고 SSL 인증 실패가 나오더군요. 그냥 기간만료된 SSL 을 사용하고 있는 사내 서비스를 대상으로 해서 그런지 모르겠지만;;

** 추기
** 이건 selenium-server 를 띄울 때 -trustAllSSLCertificates 라는 옵션을 추가해주니 무사히 통과되었습니다.

$ java -jar selenium-server.jar -trustAllSSLCertificates

** 하지만 브라우저의 SSL 오류 페이지는 나오죠. 이건 아마 브라우져 설정으로 어떻게 넘어갈 수 있지 않을까 생각합니다. Firefox 라면 about:config 에서 어떻게 만진다든지...

 그래서 Google 에서 간단하게 리코딩하고 소스코드 Export 해서 다시 실행시켜봤는데... server 쪽에서는 Firefox 가 뜨고는 뭔가 작업이 이루어졌는 것 같은데... Firefox 가 꺼지고 결과를 보니 Selenium Failure 라고 나오는 군요.
  (Permission denied to get property Window.seleniumMarker1229881835434 on session xxxxxxx)

** 추기
** 이건 Cross-domain 에 관한 이슈였습니다. 검색해보니까 바로 답이 나오네요.
** Client 의 browser 를 *firefox 에서 *chrome 으로 바꿔줍니다.
** 그러면 ...

$ perl google-selenium.pl
ok 1 - open, /
ok 2 - type, q, Seoul.pm
ok 3 - click, btnG
1..3

 이렇게 테스트는 통과하게 됩니다.
 *chrome 이라고 해서 구글의 크롬인가 했는데... 그건 아닌가 봅니다. 이에 대해서는 조금 더 조사해볼 필요가 있겠네요.

* 이번에는 작업을 진행하면서 순간순간 블로그에 기록해두는 식으로 적어봤습니다. 이쪽이 좀 더 효율이 있네요. 앞으로는 이렇게 써나가도록 노력해보겠습니다.
신고
IT 2008.11.18 11:16

[ Selenium ] 웹서비스 테스트 자동화와는 별 상관없는 작업을 위해...


  Selenium 은 이미 2년전 쯤에 한번 크게 주목받은 웹 테스트 자동화 툴입니다. 요즘도 몇몇 군데에서는 사용하고  있는 곳도 있는데... 제 주위의 개발자들 사이에서는 "이름만 들어봤다" 정도더군요.

** 추기
** 야후에서는 Selenium 으로 테스트 많이 한다더군요.(salelinux 님 曰)
** 사실 Google Video 에서 Selenium 검색해도 많은 강의가 나와있기도 합니다.

  사실 이번에 이 Selenium 을 사용하게 된 계기는 웹 테스트 자동화 라는 타이틀과는 전혀 별개의 동작을 위해서입니다. Test 가 목적이 아니라, 실제로 작업을 수행하는 Agent 의 기능에 주목을 한 것이죠.

  그럴려면 WWW::Mechanize 같은 것으로도 충분하지 않느냐? 라고 하시기도 하실테지만... WWW::Mechanize 같은 경우에는 JavaScript 동작에서는 어떻게 할 수 없다는 단점이 있어서 입니다.

  아무튼 오늘은 간단하게 Selenium IDE 만을 사용해보았습니다. Selenium IDE 란, Firefox 의 확장 플러그인으로 제공되며, 위에서 언급한 웹 테스트를 위한 툴입니다.

- http://release.openqa.org/selenium-ide/1.0-beta-2/selenium-ide-1.0-beta-2.xpi

  위의 URL 에서 확장 플러그인을 인스톨하고, FF 를 재기동합니다.(IE도 있지만, 제 환경 상 FF 기준으로 가겠습니다.)

  그리고 [도구] - [ Selenium IDE ] 를 실행하면 아래와 같은 화면이 나옵니다.

  뭐, 자세한 튜토리얼은...

  - http://wiki.seleniumhq.org/download/attachments/400/Selenium+IDE.swf?version=1

  이것을 보고 대강 이해했습니다. 작업을 녹화해서 간편하게 커맨드와 타입/값을 지정하고, 녹화한 작업을 다시한번 수행할 수 있습니다. 이렇게 만든 작업은 HTML 로 Export 가 가능하구요(HTML 이 Selenium 포맷인 듯...).
일단 처음 사용해보고는 이것저것 가능할 것 같다라고 생각하고 있습니다.

  일단은 그래서 Selenium IDE 로 "사내 스케쥴 관리" 서비스에서 작동 테스트를 해봤습니다. 위의 값들은 레코딩하면서 얻어낸 값이구요. 레코딩이 끝나고 재생을 시키면 레코딩한 순서대로 작업이 진행되고, 어떤 커맨드들로 그 값이 존재하느냐 라는 등등의 테스트 판정을 할 수 있었습니다. 작업분기는 어떻게 처리되는 지 모르겠군요. 안되는 듯 합니다만...

  ** 추기
  ** Selenium IDE 가 화면의 전환을 기다려주지 않고 혼자서 움직이면서 Element 를 못 찾겠느니 하는 얘기를 할 때가 있습니다. 그럴때는 command 를 click => clickAndwait 로 바꿔서 조금씩 기다려주면 되더군요. 참고하시기 바랍니다.

  Selenium-RC 라는 것을 사용해서 원격에서 클라이언트를 통해서 컨트롤이 가능하다고도 하네요.
  (.NET, JAVA, PHP, Perl 등을 지원한다고 하네요. 전 Perl 이 중요하니... 그걸로 되었다고 생각...;)
  이런 언어들을 사용해서 보다 자세한 작업 분기 및 여러가지 활용방안이 생겨나겠죠.

  아무튼 웹서비스 테스트와는 전혀 관계없이, 순전히 Agent 로 사용하는 목적은 복수의 웹서비스에서의 주문관련 처리를 한 곳에서 관리하기 위해 Agent로 사용하는 것입니다. 얼마만큼 생각대로 움직여 줄지, 혹은 제가 움직일 수 있을 지 아직은 모르겠지만...  뭐 어떻게든 되겠죠 뭐.
신고
TOTAL 483,269 TODAY 25

티스토리 툴바