블로그 이미지
JEEN

서울에 사는 꽃청년의 IT찌질모험기

Rss feed Tistory
IT 2008.12.09 15:07

[ Firefox, Selenium ] 그림파일은 읽지 않게 해줘요.

  난관에 봉착하고 그 난관을 넘어섰을 때 어떤 짜릿함을 느낀다고 할까요. 끙끙 앓으면서 문제를 해결했을 때의 그 참맛이라고 할까요.
 
  Selenium 을 Mechanize 로 대신 쓰는 이유는 Mechanize 자체는 Java script 를 해석할 수 없기 때문이라고 했습니다. Selenium 자체는 브라우저에 의존하기 때문에 브라우저에서 JS 로 컨트롤할 수 있는 부분은 거의 모든 부분을 컨트롤 할 수 있죠.
 하지만 그만큼 쓸데없는 연결이 발생하게 마련입니다. 처리하는 중에 쓸데없이 그림 파일을 읽을 필요도 없거니와, 그거 읽는 데 소비할 시간이 아깝다는 것이죠.

그림1. Firefox 환경설정 - 내용


 물론 Firefox 설정화면에서 위의 "그림 자동으로 읽기"의 체크를 해제하면 그림은 읽지 않게 할 수 있습니다. 하지만 Selenium 은 매번 실행시에 임시 profile 을 만들고 그것을 사용하기 때문에 기존 브라우저 설정을 그대로 적용할 수는 없습니다.

2008/11/19 - [IT] - [ Selenium ] Selenium RC 를 사용해보자. II

 위의 포스트에서도 소개했듯이, 그럴때는 Selenium 의 독자적인 profile 을 준비해야합니다.  임시 profile 을 생성할 시에 이 profile 을 우선적용하는 것이지요. 그럼 "그림 자동으로 읽기"에 관한 설정 정보는 어떤 것일 까요?


  URL 입력창에 about:config 로 들어가서 image 라는 설정이름을 가진 것들 중에 그럴 듯한 것을 훑어봤습니다. 그리고 설정화면에서 "그림 자동으로 읽기"를 해제하면 permissions.default.image 가 2로 바뀌죠.
  그럼 이것을 user preference java script 에 추가합니다.

  user_pref("permissions.default.image", 2);


  하지만 문제가 생겼습니다. 대상이 되는 서비스는 img 태그에 그림만을 지정한 것이 아니라 어떤 백그라운드 처리를 위해서 몇가지 img 태그에 그림파일이 아닌 url 이 적혀 있었던 것이었습니다. 다행히 그림용 URL 과는 달리 이런 URL 은 domain 이름부터가 달랐습니다.
  이 경우는 <그림 1>의 "그림 자동으로 읽기" 의 "예외목록..." 버튼을 누르면 설정이 가능합니다.
하지만 이 설정의 경우에는 about:config 에서 아무리 찾아봐도 등장하지 않았습니다. 그래서 찾아본 결과, Firefox 의 Profile Folder 의 Hostperm.1 파일에서 관리하고 있다고 합니다. 아래의 URL 을 참고해주세요.

  Profile Folder : http://kb.mozillazine.org/Profile_folder
  Hostperm.1   : http://kb.mozillazine.org/Hostperm.1

  하지만 profile folder 를 뒤져봐도 hostperm.1 이라는 파일은 어디에 있는 지 안보입니다. 다시 찾아본 결과 이에 대한 설정은 profile folder 의 permissions.sqlite 에서 관리하고 있다고 합니다. 일반 텍스트 파일도 아니고 SQLite 라니... 일단 이 파일을 Selenium 의 Firefox Profile 디렉토리에 복사하고 내용을 보도록 하겠습니다.

  sqlite3 permissions.sqlite

  해서 내용을 보면, permissions.sqlite DB 에는 moz_hosts 라는 테이블 하나 뿐입니다. 테이블 구성은 id, host, type, permission 이 있는데요. 위의 Hostperm.1 을 참고해서 다음처럼 등록했습니다.

  INSERT INTO moz_hosts VALUES(1, 'image.blahblah.net', 'image', 2);
  INSERT INTO moz_hoss VALUES(1, 'image2.blahblah.net', 'image', 2);
 
  그리고 Selenium 을 돌려서 해당 사이트에서 확인한 결과 image.blahblah.net 과 image2.blahblah.net 이라는 도메인을 가진 그림파일은 읽어오지 않게 되었습니다.
  그림 파일을 읽어오지 않으니, Selenium 으로 하는 작업 시간도 어느정도 단축할 수 있습니다. 특별히 그림을 판독하는 기능도 없거니와, 그림이 이건지 저건지 알 필요도 없으니까요.

  여기서 대전제를 먼저 쓰는 것을 잊어버렸는데요. Selenium 은 disk cache 를 사용할 수 없습니다. cache 를 사용할 수 있다면 여러번의 작업시 매번 똑같은 사이트를 들락날락 거리는 데 이미지를 매번 읽을 필요는 없겠죠. 하지만 memory cache 는 사용할 수 있습니다. 한번의 작업에 같은 사이트를 들락날락 거릴때는 cache 를 사용할 수 있죠. 하지만 작업이 끝나면 그 cache 는 지워져버리지만요.

  Selenium 을 통해서 Firefox 의 세세한 부분까지 알게되니(라고 쓰고 '알아야 한다니' 라고 읽습니다) .. 참...
  아무튼 사실 Selenium의 이야기를 가장한 Firefox 의 이야기였습니다.
신고
IT 2008.11.19 20:18

[ Selenium ] Selenium RC 를 사용해보자. II


 애초 Selenium 사용목적은 Test 목적이 아니었다 라는 것은 처음부터 말해왔습니다.
 Agent 로 사용할 Selenium 에서 필요한 기능은 바로 "파일 다운로드"인데요. 하지만 브라우저 자체 설정에서 매번 다운로드 매니저를 띄우고... javascript 의 confirm 이나 alert 이 아닌 대화창은 Selenium 으로 조작이 불가능하더군요.

 결국은 Firefox 설정을 만지는 수 밖에 없겠다 싶어서 [ 환경설정 ] 에서 뭐가 없나 찾아봤지만 뭐 별다른 것없어서... 결국은 about:config 로 직접 수정해보기로 했습니다.

  - http://kb.mozillazine.org/About:config_entries

 Firefox 에서 about:config 의 reference 를 보고 그럴 듯한 것들을 찾아서 바꿔보았습니다. browser.download.* 이 그럴듯한 것으로 보이길래, 해당 값들을 적당하게 수정해서 다운로드 하니.. 과연 다운로드 매니저가 안뜨더군요.

 그래서 Selenium RC Server 의 Firefox 에서 위에서 한 설정을 그대로 씌우고 작동을 했는데...
 결과는 안먹히덥니다. Selenium RC 에서 작동한 firefox 는 변경된 설정을 따르지 않는지 어떤지 잘 모르겠습니다. 뭔가 자기 나름대로의 기본값이 있나본데요.

 결국 검색해서 찾아낸 것은 -firefoxProfileTemplate 라는 옵션입니다.
 
 * 우선은, profile 이라는 디렉토리를 만들고,
 * 그리고 prefs.js 라는 파일을 만들어서, 변경할 옵션들을 모조리 거기에 잡아넣습니다.

 설정값은 아래의 링크를 참고했습니다.

 - http://clearspace.seleniumhq.org/message/31350

 그런데 위의 링크의 설정으로도 다운로드 매니저가 나오더군요. 그래서 다시 about:config 를 뒤지면서 그럴 듯한 놈을 찾아서 바꿔보았습니다. 제가 사용할 설정은 다음과 같습니다.

 * profile/prefs.js
user_pref("browser.download.dir", "/home/leejj/Desktop");
user_pref("browser.download.downloadDir", "/home/leejj/Desktop");
user_pref("browser.download.folderList", 2);
user_pref("browser.download.manager.showWhenStarting", false);
user_pref("browser.download.manager.useWindow", false);
user_pref("browser.startup.homepage_override.mstone", "ignore");

 위의 설정들이 어떤 내용인가에 대해서는 언급하지 않겠습니다. 위의 about:config reference 를 참고해주세요.

 이게 끝이 아닙니다. 방금전에 다시 해봤는데 안되더군요; 아무튼 원인은 mimeType.rdf 를 설정해주어야 하더군요.
 일반적으로 다운로드를 위해서 링크나 버튼을 클릭하면 아래와 같은 다운로드 매니저가 등장합니다.
[다시 묻지 않음]을 선택하면 [환경설정] 의 프로그램 탭에 등록되게 됩니다. 이 경우에는 "파일 저장"으로 등록이 되죠.
 

  [환경설정] - [프로그램] 탭에서는 위의 다운로드 매니저에서 등록한 파일 형식 Comma Separated Vars 는 파일저장으로 실행이 등록 되어 있습니다.

  그럼 이렇게 지정한 mime-type 을 mimeType.rdf 파일로 적어줘야할 필요성이 있습니다.
  Firefox 환경설정은 Selenium RC Server(여기에서는 Ubuntu) 에서 /etc/firefox-3.0/profile 에 있습니다.
 하지만 여기에서는 위의 형식들이 등록되어 있지 않습니다. 어디에 등록되어 있는 지 몰라서, 생각을 바꾸기로 했습니다.

  Selenium RC Server 는 매번 실행시에 브라우저의 커스텀 프로파일을 생성합니다. 클라이언트에서 RC 를 움직여서 Firefox 가 움직이고 있을 때 /tmp/customProfile****************/ 이라는 디렉토리가 생기죠. RC 에 의해 실행되고 있는 Firefox 에서 위처럼 파일을 다운로드 할때, [ 파일 저장 ]으로 하고 [ 다시 묻지 않음 ] 을 클릭하니... 그곳에 있는 mimeType.rdf 파일의 사이즈가 바뀌더군요.
  그래서 재빨리 그곳에 있는 mimeType.rdf 를 퍼와서 위의 prefs.js 가 있는 디렉토리와 같은 디렉토리에 넣어줍니다.

 * CSV 파일을 항상 저장하도록 설정하는 mimeType.rdf
<?xml version="1.0"?>
<RDF:RDF xmlns:NC="http://home.netscape.com/NC-rdf#"
         xmlns:RDF="http://www.w3.org/1999/02/22-rdf-syntax-ns#">
  <RDF:Description RDF:about="urn:mimetype:text/csv"
                   NC:value="text/csv"
                   NC:editable="true"
                   NC:fileExtensions="csv"
                   NC:description="CSV document">
    <NC:handlerProp RDF:resource="urn:mimetype:handler:text/csv"/>
  </RDF:Description>
  <RDF:Description RDF:about="urn:mimetype:externalApplication:text/csv"
                   NC:prettyName=""
                   NC:path="" />
  <RDF:Seq RDF:about="urn:mimetypes:root">
    <RDF:li RDF:resource="urn:mimetype:text/csv"/>
  </RDF:Seq>
  <RDF:Description RDF:about="urn:mimetype:handler:text/csv"
                   NC:alwaysAsk="false"
                   NC:saveToDisk="true">
    <NC:externalApplication RDF:resource="urn:mimetype:externalApplication:text/csv"/>
  </RDF:Description>
</RDF:RDF>

 물론 다운로드 해야할 파일 형식이 다른 것이 있다면 이렇게 추가해주어야할 것입니다.
 
 그리고 selenium-server 를 다시 띄워줄 때는 위에서 말한 -firefoxProfileTemplate 를 지정해줘야 합니다. 인수는 파일이 아닌 profile 디렉토리를 지정합니다.

 $ java -jar selenium-server.jar -firefoxProfileTemplate profile

 그리고 어떤 다운로드를 위한 버튼을 클릭하는 케이스를 IDE 로 만들어서 Client 코드로 실행합니다. 그러니 Selenium RC Server 의 Firefox 에서는 방금전과 같은 다운로드 매니저는 일절 출몰하지 않고, 그대로 진행되더군요. Download Directory 로 설정한 /home/leejj/Desktop 에서는 다운로드된 파일이 제대로 박혀있습니다.

 뭔가 이러면 되겠지 하던 게 제대로 안먹고.. 거기에 가장 치명적인 오타때문에 몇 십분을 허비한 것 같습니다. 아무튼 이걸로 원하는 Agent 를 위한 기능은 다 구현할 수 있겠다는 생각으로 맘이 편안해지기는 합니다. (뭐 당연히 구현할 때도 쩔쩔댈 일이 있을지도 모르겠지만요...)
신고
TOTAL 462,404 TODAY 31

티스토리 툴바