nodeJs爬蟲的技術點總結

來源：懂視網責編：小采時間：2020-11-27 22:14:48

nodeJs爬蟲的技術點總結

nodeJs爬蟲的技術點總結:背景最近打算把之前看過的nodeJs相關的內容在復習下，順便寫幾個爬蟲來打發無聊，在爬的過程中發現一些問題，記錄下以便備忘。依賴用到的是在網上爛大街的cheerio庫來處理爬取的內容，使用superagent處理請求，log4js來記錄日志。日志配置話不多說

推薦度：

點擊下載本文 文檔為doc格式

導讀nodeJs爬蟲的技術點總結:背景最近打算把之前看過的nodeJs相關的內容在復習下，順便寫幾個爬蟲來打發無聊，在爬的過程中發現一些問題，記錄下以便備忘。依賴用到的是在網上爛大街的cheerio庫來處理爬取的內容，使用superagent處理請求，log4js來記錄日志。日志配置話不多說

背景

最近打算把之前看過的nodeJs相關的內容在復習下，順便寫幾個爬蟲來打發無聊，在爬的過程中發現一些問題，記錄下以便備忘。

依賴

用到的是在網上爛大街的cheerio庫來處理爬取的內容，使用superagent處理請求，log4js來記錄日志。

日志配置

話不多說，直接上代碼：

const log4js = require('log4js');

log4js.configure({
 appenders: {
 cheese: {
 type: 'dateFile',
 filename: 'cheese.log',
 pattern: '-yyyy-MM-dd.log',
 // 包含模型
 alwaysIncludePattern: true,

 maxLogSize: 1024,
 backups: 3 }
 },
 categories: { default: { appenders: ['cheese'], level: 'info' } }
});

const logger = log4js.getLogger('cheese');
logger.level = 'INFO';

module.exports = logger;

以上直接導出一個logger對象，在業務文件里直接調用logger.info()等函數添加日志信息就可以，會按天生成日志。相關信息網絡上一堆。

爬取內容并處理

 superagent.get(cityItemUrl).end((err, res) => {
 if (err) {
 return console.error(err);
 }

 const $ = cheerio.load(res.text);
 // 解析當前頁面,獲取當前頁面的城市鏈接地址
 const cityInfoEle = $('.newslist1 li a');
 cityInfoEle.each((idx, element) => {
 const $element = $(element);
 const sceneURL = $element.attr('href'); // 頁面地址
 const sceneName = $element.attr('title'); // 城市名稱
 if (!sceneName) {
 return;
 }
 logger.info(`當前解析到的目的地是: ${sceneName}, 對應的地址為: ${sceneURL}`);

 getDesInfos(sceneURL, sceneName); // 獲取城市詳細信息

 ep.after('getDirInfoComplete', cityInfoEle.length, (dirInfos) => {
 const content = JSON.parse(fs.readFileSync(path.join(__dirname, './imgs.json')));

 dirInfos.forEach((element) => {
 logger.info(`本條數據為:${JSON.stringify(element)}`);
 Object.assign(content, element);
 });

 fs.writeFileSync(path.join(__dirname, './imgs.json'), JSON.stringify(content));
 });
 });
 });

使用superagent請求頁面，請求成功后使用cheerio 來加載頁面內容，然后使用類似Jquery的匹配規則來查找目的資源。

多個資源加載完成，使用eventproxy來代理事件，處理一次資源處罰一次事件，所有事件觸發完成后處理數據。

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com