網(wǎng)絡爬蟲的應用

今天想和大家聊聊互聯(lián)網(wǎng)技術(shù)之一——網(wǎng)絡爬蟲。在了解網(wǎng)絡爬蟲如何應用之前，我們先帶大家了解一下，什么是網(wǎng)絡爬蟲。網(wǎng)絡爬蟲通常被稱為網(wǎng)頁蜘蛛、網(wǎng)絡機器人等，也會被業(yè)內(nèi)人士戲稱為網(wǎng)頁追逐者。因為這項技術(shù)，會按照所設定的程序和規(guī)則，自動抓取收錄網(wǎng)絡中的信息、程序或者腳本。目前被廣泛應用于各大搜索引擎的信息抓取中。隨著互聯(lián)網(wǎng)的迅速發(fā)展，各項應用工具不斷被優(yōu)化，網(wǎng)絡爬蟲技術(shù)也隨之升級，持續(xù)為有高效搜索需求的用戶提供了有力的信息技術(shù)支持，也為中小站點的推廣引流提供了有效的空間和渠道。

• 

  為什么要使用網(wǎng)絡爬蟲

  目前互聯(lián)網(wǎng)發(fā)展速度極快，而萬維網(wǎng)已經(jīng)形成的大量信息的堆積，我們需要一種方式來幫助我們過濾掉無用的信息，并且抓取更多有用的信息作為反饋，于是網(wǎng)絡爬蟲技術(shù)應運而生。通過網(wǎng)絡爬蟲，我們可以進行有目的的搜索，包括圖片、數(shù)據(jù)庫、音頻/視頻多媒體等不同數(shù)據(jù)，網(wǎng)絡爬蟲技術(shù)都可以根據(jù)所設定的抓取條件，對這些信息含量密集又具有一定結(jié)構(gòu)的數(shù)據(jù)進行發(fā)現(xiàn)和獲取。這樣我們就可以花相對較少的時間去獲取相關(guān)信息，而信息的來源也將更為準確。

• 

  網(wǎng)絡爬蟲抓取的目標

  我們常說可以用網(wǎng)絡爬蟲來抓取信息，但是抓取的是哪類信息，相信很多朋友并不是特別了解。網(wǎng)絡爬蟲可抓取的信息目標，可分為基于目標網(wǎng)頁特征、目標數(shù)據(jù)模式和領域概念這三種類型。1.基于目標網(wǎng)頁特征：指的是爬蟲所抓取、存儲、索引的對象多為網(wǎng)站或網(wǎng)頁，其特征可以是網(wǎng)頁的內(nèi)容特征或鏈接結(jié)構(gòu)特征等多種形式。2.基于目標數(shù)據(jù)模式：指的是網(wǎng)絡爬蟲技術(shù)所抓取的數(shù)據(jù)可轉(zhuǎn)化、映射為目標數(shù)據(jù)模式。3.基于目標領域：指的是將根據(jù)語義去分析不同目標在某一主題領域中的重要程度，從而進行選擇性抓取。

• 

  網(wǎng)絡爬蟲技術(shù)可以做什么

  網(wǎng)絡爬蟲技術(shù)，除了被廣泛應用在搜索引擎的信息抓取方面外，日常工作中，我們還可以合理利用網(wǎng)絡爬蟲技術(shù)來進行哪方面的工作呢？1.抓取公司人員信息。大公司的HR每天因為工作的原因，要查看成百上千名員工的信息，在內(nèi)部網(wǎng)絡中如果使用爬蟲技術(shù)，就可以輕松的看到同類型信息中的不同員工單名，方便工作的開展。2.商業(yè)銀行的應用。網(wǎng)絡爬蟲技術(shù)可以幫助商業(yè)銀行進行自身銀行、客戶銀行、競爭對手的銀行和經(jīng)營環(huán)境等方面的了解，可以通過了解來進行網(wǎng)絡輿情監(jiān)測、競爭對手分析等工作。

• 

  使用網(wǎng)絡爬蟲違法嗎

  相信很多懂得網(wǎng)絡爬蟲技術(shù)的朋友，都有一個疑惑，網(wǎng)絡爬蟲能獲取這么多東西，那會涉嫌網(wǎng)絡違法嗎？其實大多情況下，使用網(wǎng)絡爬蟲技術(shù)都是不違法的。像百度等搜索引擎幾乎都是用爬蟲技術(shù)獲取的，但是也有部分情況是例外的。比如：我們所要采集信息的站點，特別聲明了禁止爬蟲采集，或者進行商業(yè)轉(zhuǎn)載時，如果采集了該類網(wǎng)站的信息，可能就要承擔相應的法律責任。還有就是當網(wǎng)站聲明了rebots協(xié)議（網(wǎng)絡爬蟲排除標準協(xié)議）的，會標明網(wǎng)站內(nèi)哪部分內(nèi)容不可被抓取，這方面需要各位注意一下。

• 

  寫網(wǎng)絡爬蟲程序的幾點建議

  在得知網(wǎng)絡爬蟲技術(shù)的優(yōu)勢之后，許多朋友也想自己寫一套符合工作需求的網(wǎng)絡爬蟲程序，今天向大家介紹寫網(wǎng)絡爬蟲程序的幾點小建議。目前，市場中的大部分網(wǎng)絡爬蟲都是用Python，Java或C#語實現(xiàn)的，寫網(wǎng)絡爬蟲可以使用Windows7 + Eclipse作為開發(fā)環(huán)境，用java開發(fā)的話，期間需要XAMPP提供通過url訪問MySQL數(shù)據(jù)庫的端口。同時，還會用到三個開源的Java類庫：用Apache Http Components 4.3 提供HTTP接口；用HTML Parser 2.0 解析網(wǎng)頁；用MySQL Connector/J 5.1.27 連接Java程序和MySQL。