视频教程

简介

Github地址：Scrapegraph-ai
该项目可以使用大预言模型，对目标网站的内容进行爬取。真正做到，无需代码，动动嘴就取代爬虫
该项目可以使用ChatGPT等在线大模型（需要api费用），但接下来我会演示如何使用本地大语言模型（无需费用）

安装

一、安装ollama

在 Ollama官网 下载对应安装包，无脑下一步完成安装。

二、安装大预言模型

ollama pull llama3
ollama pull nomic-embed-text
ollama pull mistral

三、安装环境

1、 python官网 下载安装 python3.9+
2、 安装两个中间件

 pip install scrapegraphai
 playwright install  

四、运行脚本

使用我的脚本：
链接：https://pan.quark.cn/s/637f0f372686

只需修改脚本中的 source 变量为目标网站
修改prompt 变量为 提示词（必须为英文）

python sc.py  # 运行