&

admin

2017年2月16日 16:25 本文熱度 7711

獲取網(wǎng)頁(yè)數(shù)據(jù)有很多種方式。在這里主要講述通過(guò)WebClient、WebBrowser和HttpWebRequest/HttpWebResponse三種方式獲取網(wǎng)頁(yè)內(nèi)容。

這里獲取的是包括網(wǎng)頁(yè)的所有信息。如果單純需要某些數(shù)據(jù)內(nèi)容?？梢宰约簶?gòu)造函數(shù)甄別摳除出來(lái)！一般的做法是根據(jù)源碼的格式，用正則來(lái)過(guò)濾出你需要的內(nèi)容部分。

一、通過(guò)WebClient獲取網(wǎng)頁(yè)內(nèi)容

這是一種很簡(jiǎn)單的獲取方式，當(dāng)然，其它的獲取方法也很簡(jiǎn)單。在這里首先要說(shuō)明的是，如果為了實(shí)際項(xiàng)目的效率考慮，需要考慮在函數(shù)中分配一個(gè)內(nèi)存區(qū)域。大概寫法如下

[csharp] view plain copy

//MemoryStream是一個(gè)支持儲(chǔ)存區(qū)為內(nèi)存的流。
byte[] buffer = new byte[1024];
using (MemoryStream memory = new MemoryStream())
{
int index = 1, sum = 0;
while (index * sum < 100 * 1024)
{
index = reader.Read(buffer, 0, 1024);
if (index > 0)
{
memory.Write(buffer, 0, index);
sum += index;
}
}
//網(wǎng)頁(yè)通常使用utf-8或gb2412進(jìn)行編碼
Encoding.GetEncoding("gb2312").GetString(memory.ToArray());
if (string.IsNullOrEmpty(html))
{
return html;
}
else
{
Regex re = new Regex(@"charset=(? charset[/s/S]*?)[ |'']");
Match m = re.Match(html.ToLower());
encoding = m.Groups[charset].ToString();
}
if (string.IsNullOrEmpty(encoding) || string.Equals(encoding.ToLower(), "gb2312"))
{
return html;
}
}

好了，現(xiàn)在進(jìn)入正題，WebClient獲取網(wǎng)頁(yè)數(shù)據(jù)的代碼如下

[csharp] view plain copy

//using System.IO;
try
{
WebClient webClient = new WebClient();
webClient.Credentials = CredentialCache.DefaultCredentials;//獲取或設(shè)置用于向Internet資源的請(qǐng)求進(jìn)行身份驗(yàn)證的網(wǎng)絡(luò)憑據(jù)
Byte[] pageData = webClient.DownloadData("http://www.360doc.com/content/11/0427/03/1947337_112596569.shtml");
//string pageHtml = Encoding.Default.GetString(pageData); //如果獲取網(wǎng)站頁(yè)面采用的是GB2312，則使用這句
string pageHtml = Encoding.UTF8.GetString(pageData); //如果獲取網(wǎng)站頁(yè)面采用的是UTF-8，則使用這句
using (StreamWriter sw = new StreamWriter("e:\\ouput.txt"))//將獲取的內(nèi)容寫入文本
{
htm = sw.ToString();//測(cè)試StreamWriter流的輸出狀態(tài)，非必須
sw.Write(pageHtml);
}
}
catch (WebException webEx)
{
Console.W
}

相對(duì)來(lái)說(shuō)，這是一種最簡(jiǎn)單的獲取方式。拖WebBrowser控件進(jìn)去，然后匹配下面這段代碼

[csharp] view plain copy

WebBrowser web = new WebBrowser();
web.Navigate("http://www.163.com");
web.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(web_DocumentCompleted);
void web_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
{
WebBrowser web = (WebBrowser)sender;
HtmlElementCollection ElementCollection = web.Document.GetElementsByTagName("Table");
foreach (HtmlElement item in ElementCollection)
{
File.AppendAllText("Kaijiang_xj.txt", item.InnerText);
}
}

這是一種比較通用的獲取方式。

[csharp] view plain copy

public void GetHtml()
{
var url = "http://www.360doc.com/content/11/0427/03/1947337_112596569.shtml";
string strBuff = "";//定義文本字符串，用來(lái)保存下載的html
int byteRead = 0;
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url);
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
//若成功取得網(wǎng)頁(yè)的內(nèi)容，則以System.IO.Stream形式返回，若失敗則產(chǎn)生ProtoclViolationException錯(cuò) 誤。在此正確的做法應(yīng)將以下的代碼放到一個(gè)try塊中處理。這里簡(jiǎn)單處理
Stream reader = webResponse.GetResponseStream();
///返回的內(nèi)容是Stream形式的，所以可以利用StreamReader類獲取GetResponseStream的內(nèi)容，并以StreamReader類的Read方法依次讀取網(wǎng)頁(yè)源程序代碼每一行的內(nèi)容，直至行尾（讀取的編碼格式：UTF8）
StreamReader respStreamReader = new StreamReader(reader,Encoding.UTF8);
///分段，分批次獲取網(wǎng)頁(yè)源碼
char[] cbuffer = new char[1024];
byteRead = respStreamReader.Read(cbuffer,0,256);
while (byteRead != 0)
{
string strResp = new string(char,0,byteRead);
strBuff = strBuff + strResp;
byteRead = respStreamReader.Read(cbuffer,0,256);
}
using (StreamWriter sw = new StreamWriter("e:\\ouput.txt"))//將獲取的內(nèi)容寫入文本
{
htm = sw.ToString();//測(cè)試StreamWriter流的輸出狀態(tài)，非必須
sw.Write(strBuff);
}
}

該文章在 2017/2/16 16:25:49 編輯過(guò)

關(guān)鍵字查詢

相關(guān)文章

正在查詢...