记录一次失败的数据抓取之Puppeteer

const puppeteer = require('puppeteer');

(async () => {

    // 打开浏览器以及一个页面
    const browser = await puppeteer.launch();
    const page = await browser.newPage();

    // 跳转到登陆页
    await page.goto('https://www.tianyancha.com/login');

    // 模拟输入用户名和密码
    await page.type('.modulein1 input.contactphone', '手机号');
    await page.type('.modulein1 input.contactword', '密码');

    // 模拟点击登陆
    await page.click('.modulein1 .login_btn');
    // 等待页面加载完成，以保证登陆成功
    await page.waitForNavigation({
        waitUntil: 'load'
    });

    try {
        const address = await getDetailAddress('xx科技技术有限公司');
        console.log('公司地址：',address);
    } catch (e) {
        // 异常时截图用于分析错误原因
        await page.screenshot({path: "erroor.png"});
        console.error(e);
    }

    // 获取公司地址
    async function getDetailAddress(companyName) {
        // 根据公司名搜索
        await page.goto(`https://bj.tianyancha.com/search?key=${companyName}`, {
            waitUntil: 'load'
        });

        // 获取搜索结果第一条的id
        let detailIds = await page.evaluate(() => {
            // 植入js代码到网页当中，并返回结果
            return $('.search-result-single').eq(0).data('id');
        });

        // 判断id是否存在，决定是否进入详情页
        if (detailIds) {
            // 进入详情页
            await page.goto(`https://www.tianyancha.com/company/${detailIds}`, {
                waitUntil: 'load'
            });

            // 获取详情页的公司详细地址数据
            let address = await page.evaluate(() => {
                return $('.address').attr('title');
            });

            return address;
        }

        return;
    }


})();

getAddressObj('北京市朝阳区阜通东大街1号院3号楼1单元2层111110')

function getAddressObj(addressStr) {
    const arr = addressStr.match(/([^省]+省|.+自治区)?([^市]+市|.+自治州)([^县]+县|[^区]+区)([^区]+区|.+镇)?(.*)/);

    if (!arr || !arr.length) {
        return {}
    }

    return {
        province: arr[1] || arr[2],
        city: arr[2],
        county: arr[3],
        town: arr[4],
        village: arr[5]
    }
}

const fs = require('fs');
const xlsx = require('node-xlsx').default;


// =======读取excel数据=======
// 读取excel文件
const workSheetsFromFile = xlsx.parse(`${__dirname}/企业名称.xlsx`);
// 获取工作表中的所有数据
let allData = workSheetsFromFile[0].data;

// =======保存结果到excel=======
let buffer = xlsx.build([{name: "企业名称地区对照表", data: [/*数据*/]}]);
fs.writeFile(`企业名字对照表.xlsx`, buffer, {
    encoding: 'utf8',
    mode: 438,
    flag: 'w'
}, function (err) {
    console.error(err);
})