wamblee.org Git - utils/blob - crawler/basic/src/org/wamblee/crawler/impl/App.java

   1 package org.wamblee.crawler.impl;
   2
   3 import java.io.File;
   4 import java.io.FileInputStream;
   5 import java.io.FileOutputStream;
   6 import java.io.InputStream;
   7 import java.io.PrintStream;
   8
   9 import org.apache.commons.httpclient.HttpClient;
  10 import org.apache.commons.logging.Log;
  11 import org.apache.commons.logging.LogFactory;
  12 import org.dom4j.Element;
  13 import org.wamblee.crawler.Action;
  14 import org.wamblee.crawler.Configuration;
  15 import org.wamblee.crawler.Crawler;
  16 import org.wamblee.crawler.Page;
  17 import org.wamblee.crawler.PageException;
  18
  19 /*
  20  * Copyright 2005 the original author or authors.
  21  *
  22  * Licensed under the Apache License, Version 2.0 (the "License");
  23  * you may not use this file except in compliance with the License.
  24  * You may obtain a copy of the License at
  25  *
  26  *      http://www.apache.org/licenses/LICENSE-2.0
  27  *
  28  * Unless required by applicable law or agreed to in writing, software
  29  * distributed under the License is distributed on an "AS IS" BASIS,
  30  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  31  * See the License for the specific language governing permissions and
  32  * limitations under the License.
  33  */
  34
  35 /**
  36  * Entry point for the crawler.
  37  */
  38 public class App {
  39
  40     private static final Log LOG = LogFactory.getLog(App.class);
  41
  42     private static final String LOG_FILE = "crawler.log";
  43
  44     public static void main(String[] args) throws Exception {
  45         String configFileName = args[0];
  46         String starturl = args[1];
  47
  48         FileOutputStream fos = new FileOutputStream(new File(LOG_FILE));
  49         PrintStream os = new PrintStream(fos);
  50
  51         try {
  52             ConfigurationParser parser = new ConfigurationParser(os);
  53             InputStream configFile = new FileInputStream(new File(
  54                     configFileName));
  55             Configuration config = parser.parse(configFile);
  56
  57             HttpClient client = new HttpClient();
  58             // client.getHostConfiguration().setProxy("localhost", 3128);
  59
  60             Crawler crawler = new CrawlerImpl(client, config);
  61
  62             System.out.println("Retrieving: " + starturl);
  63             Page page = crawler.getPage(starturl);
  64             showPage(page);
  65             page = page.getAction("channels-favorites").execute();
  66             recordInterestingShows(page);
  67             showPage(page);
  68             page = page.getAction("Nederland 1").execute();
  69             showPage(page);
  70             page = page.getAction("right-now").execute();
  71             showPage(page);
  72             page = page.getAction("Het elfde uur").execute();
  73             showPage(page);
  74         } finally {
  75             os.flush();
  76             os.close();
  77             System.out.println("Output written on '" + LOG_FILE + "'");
  78         }
  79     }
  80
  81     /**
  82      * @param starturl
  83      * @param crawler
  84      */
  85     private static void showPage(Page aPage) {
  86         Action[] links = aPage.getActions();
  87         for (Action link : links) {
  88             System.out.println("Link found '" + link.getName() + "'");
  89         }
  90         Element element = aPage.getContent();
  91         System.out.println("Retrieved content: " + element.asXML());
  92     }
  93
  94     private static void recordInterestingShows(Page page) throws PageException {
  95         Action[] channels = page.getActions();
  96         for (Action channel : channels) {
  97             examineChannel(channel.getName(), channel.execute().getAction(
  98                     "right-now").execute());
  99         }
 100     }
 101
 102     private static void examineChannel(String aChannel, Page aPage) throws PageException {
 103         Action[] programs = aPage.getActions();
 104         for (Action program : programs) {
 105             System.out.println(aChannel + " - " + program.getName());
 106             if (program.getName().toLowerCase().matches(".*babe.*")) {
 107                 Page programPage = program.execute();
 108                 Action record = programPage.getAction("record");
 109                 System.out.println("Recording possible: " + record != null);
 110             }
 111         }
 112     }
 113
 114 }