从零构建AI爬虫项目

从零构建AI爬虫项目

在现代Web开发中，运用爬虫来收集数据和处理任务越来越重要，同时随着AI的出现，传统的爬虫已经被淘汰了，现在我们来实现创建一个高效的AI爬虫项目。

实现流程实现过程

1.初始化项目为后端项目

每个Node.js都是以一个package.json文件开始。它定义了项目的元数据、依赖。dependencies包含了运行项目时必备的库，devDependencies则包含仅在开发过程中使用的工具。

npm init -y

2.安装好相应版本的爬虫依赖

安装好爬取页面所需的的依赖项。

"dependencies": {
    "x-crawl": "^10.0.2"
  }

npm install

效果目录：

3.利用JavaScript ES6版本 模块化特性，导入模块

在 ES6 模块系统中，当你使用大括号 {} 导入成员时，这些名称必须与导出模块中定义的命名导出完全匹配。这意味着你不能随意自定义这些名称；它们必须准确反映源模块中提供的导出名称。

import { 
  createCrawl,  // 返回爬虫实例
  createCrawlOpenAI // openai 配置项
} from 'x-crawl';

但是，你可以通过提供别名来为导入的成员指定不同的本地名称。这允许你在自己的代码中使用更符合上下文或者避免命名冲突的名字。这是通过在导入语句中使用 as 关键字来实现的。

import { 

    createCrawl as createWebCrawler, // 使用别名为 createWebCrawler 
    createCrawlOpenAI as createAICrawler // 使用别名为 createAICrawler 
  } from 'x-crawl';

4.实例化爬虫应用，OpenAI

实例化爬虫应用

const cralwApp = createCrawl({
  maxRetry: 3,
  intervalTime: { max: 2000, min: 1000}
})

intervalTime: { max: 2000, min: 1000 } ：

实例化OpenAI

const crawlOpenAIApp = createCrawlOpenAI({
  clientOptions: {
    apiKey: 'Your-API_Key',
    baseURL: 'https://api.302.ai/v1/'
  },
  defaultModel: {
    chatModel: 'gpt-4-turbo-preview'
  }
})

5.使用爬虫库x-crawl里面的crawlPage方法，发送HTTP请求