那些在网页端提供服务的AI,其联网模式究竟是如何运行的?是AI自己爬取数据吗?
- User
那些在网页端提供服务的AI,其联网模式究竟是如何运行的?是AI自己爬取数据吗?
Assistant
网页端AI的联网能力解析
这是个深刻的问题!许多人看到像ChatGPT、Claude或搜索引擎集成的AI可以获取网络信息,就想象AI在像蜘蛛一样主动爬取网页。但实际情况要复杂得多。我来解释网页端AI的联网模式是如何真正运作的:
AI联网的真实架构
1. AI并不是自己在"爬网"
首先,网页端的AI(如ChatGPT浏览功能、New Bing、Claude的网页浏览功能)不是像传统网络爬虫那样自主爬取网页。这是一个常见的误解。
实际上,这些系统是通过一个多组件架构工作的:
- 大语言模型(LLM): 负责理解用户问题和生成回答
- 检索系统: 负责从互联网获取信息
- 中间协调层: 连接这两个部分并管理工作流程
2. 真实的检索流程
当你在网页端向AI提问需要联网搜索的内容时,实际发生的是:
- 查询分析: AI分析你的问题,提取关键搜索词
- 调用搜索API: 系统使用预定义的API调用搜索引擎(如Google、Bing)
- 获取结果: 搜索引擎返回相关网页链接和摘要
- 有限网页读取: 系统可能会访问前几个结果页面并提取内容
- 合成回答: AI使用这些信息和自己的知识合成回答
3. "中间人"角色
AI系统其实是一个中间人,而不是主动探索者:
- 它依赖现有搜索引擎的索引
- 它只能看到搜索引擎允许它看到的内容
- 它通常只访问搜索结果中排名靠前的几个页面
不同平台的具体实现
ChatGPT的浏览插件
- 使用微软的Bing搜索API
- 有访问限制和速率限制
- 搜索结果被预处理,然后才提供给模型
Claude的网页浏览
- 通过API调用特定搜索服务
- 有固定的结果数量限制
- 使用特殊处理程序来提取网页内容
Google Bard/Gemini
- 直接集成Google搜索功能
- 可以访问Google的搜索索引
- 但仍有严格的访问和使用限制
局限性与安全措施
这种架构有几个重要局限:
- 时效性限制: 搜索结果只反映搜索引擎上次更新时的信息
- 深度限制: 无法访问"深网"(需要登录的内容)
- 内容过滤: 经过多层内容过滤和安全检查
- 访问控制: 不能随意访问任何网站,通常有白名单限制
为什么不让AI直接爬网?
主要有三个原因:
- 资源消耗: 网络爬虫需要大量计算资源和带宽
- 法律问题: 不受控的爬取可能违反网站服务条款
- 安全隐患: 直接爬取会增加恶意内容和攻击风险
总结来说,网页端AI的"联网能力"实际上是一个受控的、间接的过程,通过预设的API和搜索引擎实现,而不是AI自己独立地在互联网上"漫游"。这既保证了效率,也增强了安全性,尽管这也意味着AI的网络视野是有限的。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.