timeout is now 5 seconds max.
[utils] / crawler / basic / src / org / wamblee / crawler / GetPageRequest.java
1 /*
2  * Copyright 2005 the original author or authors.
3  * 
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  * 
8  *      http://www.apache.org/licenses/LICENSE-2.0
9  * 
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 package org.wamblee.crawler;
18
19 import java.io.IOException;
20
21 import javax.xml.transform.TransformerException;
22
23 import org.apache.commons.httpclient.HttpClient;
24 import org.apache.commons.httpclient.HttpMethod;
25 import org.apache.commons.httpclient.NameValuePair;
26 import org.apache.commons.httpclient.methods.GetMethod;
27 import org.w3c.dom.Document;
28 import org.wamblee.xml.XslTransformer;
29
30 /**
31  * Gets a page by issueing a get request.
32  */
33 public class GetPageRequest extends AbstractPageRequest {
34
35     /**
36      * Constructs the request.
37      * @param aMaxTries Maximum number of retries. 
38      * @param aMaxDelay Maximum delay before executing the request.
39      * @param aParams Request parameters to use. 
40      * @param aHeaders Request headers to use. 
41      * @param aXslt XSLT to use. 
42      */
43     public GetPageRequest(int aMaxTries, int aMaxDelay, NameValuePair[] aParams, 
44             NameValuePair[] aHeaders, String aXslt, XslTransformer aTransformer) {
45         super(aMaxTries, aMaxDelay, aParams, aHeaders, aXslt, aTransformer);
46     }
47     
48     /*
49      * (non-Javadoc)
50      * 
51      * @see org.wamblee.crawler.PageRequest#getPage(org.apache.commons.httpclient.HttpClient)
52      */
53     public Document execute(String aUrl, NameValuePair[] aParams, HttpClient aClient)
54             throws PageException {
55         HttpMethod method = new GetMethod(aUrl);
56         NameValuePair[] params = getParameters(aParams);
57         if (params.length > 0) {
58             String oldQueryString = method.getQueryString();
59             method.setQueryString(params);
60             String queryString = method.getQueryString();
61             if (oldQueryString.length() > 0) {
62                 queryString = queryString + '&' + oldQueryString;
63                 method.setQueryString(queryString);
64             }
65         }
66         try {
67             return executeMethod(aClient, method);
68         } catch (TransformerException e) {
69             throw new PageException("Transformation problem for url " + aUrl, e);
70         } catch (IOException e) { 
71             throw new PageException("Problem getting " + aUrl, e);
72         }
73     }
74
75 }