国产99久久精品_欧美日本韩国一区二区_激情小说综合网_欧美一级二级视频_午夜av电影_日本久久精品视频

最新文章專題視頻專題問(wèn)答1問(wèn)答10問(wèn)答100問(wèn)答1000問(wèn)答2000關(guān)鍵字專題1關(guān)鍵字專題50關(guān)鍵字專題500關(guān)鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關(guān)鍵字專題關(guān)鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問(wèn)答文章1 問(wèn)答文章501 問(wèn)答文章1001 問(wèn)答文章1501 問(wèn)答文章2001 問(wèn)答文章2501 問(wèn)答文章3001 問(wèn)答文章3501 問(wèn)答文章4001 問(wèn)答文章4501 問(wèn)答文章5001 問(wèn)答文章5501 問(wèn)答文章6001 問(wèn)答文章6501 問(wèn)答文章7001 問(wèn)答文章7501 問(wèn)答文章8001 問(wèn)答文章8501 問(wèn)答文章9001 問(wèn)答文章9501
當(dāng)前位置: 首頁(yè) - 科技 - 知識(shí)百科 - 正文

Puppeteer環(huán)境搭建的詳細(xì)步驟

來(lái)源:懂視網(wǎng) 責(zé)編:小采 時(shí)間:2020-11-27 22:07:18
文檔

Puppeteer環(huán)境搭建的詳細(xì)步驟

Puppeteer環(huán)境搭建的詳細(xì)步驟:簡(jiǎn)介 Puppeteer是Google開(kāi)發(fā)并開(kāi)源的一款工具,可用代碼驅(qū)動(dòng)瀏覽器操作。 由于諸多優(yōu)秀的特性,Puppeteer常被用在爬蟲與自動(dòng)化測(cè)試上。詳細(xì)介紹參見(jiàn)官方 README 。 Puppeteer本身是個(gè)NodeJS的庫(kù),自動(dòng)化腳本也需要使用NodeJS編寫,如果對(duì)JS不了解建
推薦度:
導(dǎo)讀Puppeteer環(huán)境搭建的詳細(xì)步驟:簡(jiǎn)介 Puppeteer是Google開(kāi)發(fā)并開(kāi)源的一款工具,可用代碼驅(qū)動(dòng)瀏覽器操作。 由于諸多優(yōu)秀的特性,Puppeteer常被用在爬蟲與自動(dòng)化測(cè)試上。詳細(xì)介紹參見(jiàn)官方 README 。 Puppeteer本身是個(gè)NodeJS的庫(kù),自動(dòng)化腳本也需要使用NodeJS編寫,如果對(duì)JS不了解建

Puppeteer 用處

  • 利用網(wǎng)頁(yè)生成PDF、圖片
  • 爬取SPA應(yīng)用,并生成預(yù)渲染內(nèi)容(即“SSR” 服務(wù)端渲染)
  • 可以從網(wǎng)站抓取內(nèi)容
  • 自動(dòng)化表單提交、UI測(cè)試、鍵盤輸入等
  • 幫你創(chuàng)建一個(gè)最新的自動(dòng)化測(cè)試環(huán)境(chrome),可以直接在此運(yùn)行測(cè)試用例6.捕獲站點(diǎn)的時(shí)間線,以便追蹤你的網(wǎng)站,幫助分析網(wǎng)站性能問(wèn)題
  • 配置

    Node環(huán)境配置

    下載并安裝NodeJS:

    wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz
    tar xf node-v8.12.0-linux-x64.tar.xz
    mv node-v8.12.0-linux-x64 /usr/local/lib
    ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/
    ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/

    *(可選)配置淘寶的源,加速npm包的下載:

    npm config set registry https://registry.npm.taobao.org

    安裝Puppeteer

    配置淘寶的Puppeteer下載源,用于安裝Chromium:

    export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org
    npm i puppeteer
    

    國(guó)內(nèi)不配置時(shí)會(huì)在卡在下載Chromium

    示例

    新建一個(gè)test.js

    const puppeteer = require('puppeteer');
    
    (async () => {
     const browser = await puppeteer.launch({
     ignoreHTTPSErrors: true,
     headless: false,
     args: ['--no-sandbox']
     });
     const page = await browser.newPage();
     await page.goto('https://intest.tech');
     await page.waitFor(5e3);
     await browser.close();
    })();
    
    

    運(yùn)行:

    node test.js

    截圖

    知識(shí)點(diǎn)

  • puppeteer.launch 啟動(dòng)瀏覽器實(shí)例
  • browser.newPage() 創(chuàng)建一個(gè)新頁(yè)面
  • page.goto 進(jìn)入指定網(wǎng)頁(yè)
  • page.screenshot 截圖
  • const puppeteer = require('puppeteer');
    
    (async () => {
    const browser = await (puppeteer.launch({
    // 若是手動(dòng)下載的chromium需要指定chromium地址, 默認(rèn)引用地址為 /項(xiàng)目目錄/node_modules/puppeteer/.local-chromium/
    executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
    //設(shè)置超時(shí)時(shí)間
    timeout: 15000,
    //如果是訪問(wèn)https頁(yè)面 此屬性會(huì)忽略https錯(cuò)誤
    ignoreHTTPSErrors: true,
    // 打開(kāi)開(kāi)發(fā)者工具, 當(dāng)此值為true時(shí), headless總為false
    devtools: false,
    // 關(guān)閉headless模式, 會(huì)打開(kāi)瀏覽器
    headless: false
    }));
    const page = await browser.newPage();
    await page.goto('https://www.jianshu.com/u/40909ea33e50');
    await page.screenshot({
    path: 'jianshu.png',
    type: 'png',
    // quality: 100, 只對(duì)jpg有效
    fullPage: true,
    // 指定區(qū)域截圖,clip和fullPage兩者只能設(shè)置一個(gè)
    // clip: {
    // x: 0,
    // y: 0,
    // width: 1000,
    // height: 40
    // }
    });
    browser.close();
    })();
    

    進(jìn)階,獲取網(wǎng)易云音樂(lè)的歌詞和評(píng)論

    網(wǎng)易云音樂(lè)的API經(jīng)過(guò)AES和RSA算法加密,需要攜帶加密的信息通過(guò)POST方式請(qǐng)求才能獲取到數(shù)據(jù)。但 Puppeteer 出現(xiàn)后,這些都不重要了,只要它頁(yè)面上顯示了,通過(guò) Puppeteer 都能獲取到該元素。

    知識(shí)點(diǎn)

  • page.type 獲取輸入框焦點(diǎn)并輸入文字
  • page.keyboard.press 模擬鍵盤按下某個(gè)按鍵,目前mac上組合鍵無(wú)效為已知bug
  • page.waitFor 頁(yè)面等待,可以是時(shí)間、某個(gè)元素、某個(gè)函數(shù)
  • page.frames() 獲取當(dāng)前頁(yè)面所有的 iframe,然后根據(jù) iframe 的名字精確獲取某個(gè)想要的 iframe
  • iframe.$('.srchsongst') 獲取 iframe 中的某個(gè)元素
  • iframe.evaluate() 在瀏覽器中執(zhí)行函數(shù),相當(dāng)于在控制臺(tái)中執(zhí)行函數(shù),返回一個(gè) Promise
  • Array.from 將類數(shù)組對(duì)象轉(zhuǎn)化為對(duì)象
  • page.click() 點(diǎn)擊一個(gè)元素
  • iframe.$eval() 相當(dāng)于在 iframe 中運(yùn)行 document.queryselector 獲取指定元素,并將其作為第一個(gè)參數(shù)傳遞
  • iframe.$$eval 相當(dāng)于在 iframe 中運(yùn)行 document.querySelectorAll 獲取指定元素?cái)?shù)組,并將其作為第一個(gè)參數(shù)傳遞
  • const fs = require('fs');
    const puppeteer = require('puppeteer');
    
    (async () => {
    const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));
    const page = await browser.newPage();
    // 進(jìn)入頁(yè)面
    await page.goto('https://music.163.com/#');
    
    // 點(diǎn)擊搜索框擬人輸入 鬼才會(huì)想起
    const musicName = '鬼才會(huì)想';
    await page.type('.txt.j-flag', musicName, {delay: 0});
    
    // 回車
    await page.keyboard.press('Enter');
    
    // 獲取歌曲列表的 iframe
    await page.waitFor(2000);
    let iframe = await page.frames().find(f => f.name() === 'contentFrame');
    const SONG_LS_SELECTOR = await iframe.$('.srchsongst');
    
    // 獲取歌曲 鬼才會(huì)想起 的地址
    const selectedSongHref = await iframe.evaluate(e => {
    const songList = Array.from(e.childNodes);
    const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才會(huì)想起');
    return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;
    }, SONG_LS_SELECTOR);
    
    // 進(jìn)入歌曲頁(yè)面
    await page.goto(selectedSongHref);
    
    // 獲取歌曲頁(yè)面嵌套的 iframe
    await page.waitFor(2000);
    iframe = await page.frames().find(f => f.name() === 'contentFrame');
    
    // 點(diǎn)擊 展開(kāi)按鈕
    const unfoldButton = await iframe.$('#flag_ctrl');
    await unfoldButton.click();
    
    // 獲取歌詞
    const LYRIC_SELECTOR = await iframe.$('#lyric-content');
    const lyricCtn = await iframe.evaluate(e => {
    return e.innerText;
    }, LYRIC_SELECTOR);
    
    console.log(lyricCtn);
    
    // 截圖
    await page.screenshot({
    path: '歌曲.png',
    fullPage: true,
    });
    
    // 寫入文件
    let writerStream = fs.createWriteStream('歌詞.txt');
    writerStream.write(lyricCtn, 'UTF8');
    writerStream.end();
    
    // 獲取評(píng)論數(shù)量
    const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);
    console.log(commentCount);
    
    // 獲取評(píng)論
    const commentList = await iframe.$$eval('.itm', elements => {
    const ctn = elements.map(v => {
    return v.innerText.replace(/\s/g, '');
    });
    return ctn;
    });
    console.log(commentList);
    })();
    

    參考

    https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992

    聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

    文檔

    Puppeteer環(huán)境搭建的詳細(xì)步驟

    Puppeteer環(huán)境搭建的詳細(xì)步驟:簡(jiǎn)介 Puppeteer是Google開(kāi)發(fā)并開(kāi)源的一款工具,可用代碼驅(qū)動(dòng)瀏覽器操作。 由于諸多優(yōu)秀的特性,Puppeteer常被用在爬蟲與自動(dòng)化測(cè)試上。詳細(xì)介紹參見(jiàn)官方 README 。 Puppeteer本身是個(gè)NodeJS的庫(kù),自動(dòng)化腳本也需要使用NodeJS編寫,如果對(duì)JS不了解建
    推薦度:
    標(biāo)簽: 步驟 教程 安裝的
    • 熱門焦點(diǎn)

    最新推薦

    猜你喜歡

    熱門推薦

    專題
    Top
    主站蜘蛛池模板: 亚洲欧洲日产国码一级毛片 | 久久久久久久岛国免费播放 | 国产精品自拍第一页 | 另类专区欧美 | 亚洲伦理中文字幕一区 | 精品国产综合成人亚洲区 | 色综合91久久精品中文字幕 | 亚洲欧美在线视频观看 | 欧美色图日韩 | 国产欧美综合一区二区 | 久久久久久久99久久久毒国产 | 亚欧乱色视频网站大全 | 黄色a一级视频 | 国产手机在线国内精品 | 久久久久国产一级毛片高清版 | 欧美福利一区 | 久久久香蕉 | 国产在线观看精品一区二区三区91 | 一本大道香蕉视频在线观看 | 国产精品久久久久一区二区 | 国产丝袜一区二区三区在线观看 | 美女一级毛片 | 久久精品亚洲欧美日韩久久 | 亚洲欧美日韩在线观看 | 久久www免费人成_看片美女图 | wwww欧美| 一级毛片免费的 | 亚洲一区 中文字幕 久久 | 免费一级 | 伊人97 | 欧美日韩精品一区二区三区 | 日韩午夜在线观看 | 久久精品国产亚洲aa | 国产成人精品.一二区 | 亚洲欧美日韩在线观看二区 | 3女bbbwww | 国产123区在线视频观看 | 国产精品天天看大片特色视频 | 国产精品亚洲欧美一级久久精品 | 国产在线每日更新 | 亚洲欧洲日韩在线 |