数据源管理 - 总览 · Docs

OctoReport 支持的 12 种采集器：搜索、RSS、网页、邮件、GitHub、学术、Google Drive、Webhook、Sandbox、X。

什么是数据源

数据源定义了从哪里收集什么内容。

创建数据源后，系统会按照你设置的定时策略自动收集内容，存储到指定的知识库。

12 类数据源

OctoReport 内置 12 种 collector，每类对接不同来源；下表列出最常用的 6 类，完整列表见各专项文档。

类型	适用场景	更新频率建议	成本
🔍 搜索类源（Google / Jina / Firecrawl / Tavily / Metaso）	主动搜索关键词	每天 1-2次	中
📡 RSS 订阅	订阅网站更新	每 1-6 小时	低
📧 邮件源	监控邮箱邮件	每小时	低
🌐 网页抓取 / 爬取（scrape / crawl）	抓取指定页面 / 站点	每天 1-2次	中
🧪 GitHub / 学术源	repo、release、预印本、论文索引	每天 1-2次	中
📁 Google Drive / Webhook	团队文档同步或外部系统推送	按需	中

完整 12 类：search、scrape、crawl、email、rss、google-drive、webhook、sandbox、github、preprint、scholarly_database、x。

如何选择数据源类型

决策流程

你的内容来源是？
├─ 特定网站有 RSS → 使用 **RSS订阅源**（最省钱）
├─ 需要搜索关键词 → 使用 **搜索类源**
├─ 监控邮件通知 → 使用 **邮件源**
├─ 抓取特定页面 → 使用 **网页抓取**
├─ 跟踪代码仓库或论文 → 使用 **GitHub / 学术源**
└─ 接入团队文档或外部系统 → 使用 **Google Drive / Webhook**

通用配置项

1. 定时策略

间隔模式

每 X 小时执行一次
例如：每 6 小时（适合新闻类）

周计划模式

每周几 + 具体时间
例如：每周一/三/五 9:00（适合定期报告）

手动触发

不自动执行
点击"立即执行"按钮触发

如何选择:

新闻/实时内容 → 间隔模式（1-6小时）
周报/定期更新 → 周计划模式（每天固定时间）
临时需求 → 手动触发

2. 去重策略

UPDATE（默认）

发现重复 URL 时，保存新版本
旧版本标记为过期（isExpired=true）
报告生成时自动过滤过期内容

适用场景:

需要获取最新版本（新闻更新、价格变动）

KEEP_OLD

发现重复 URL 时，仅记录，不重新抓取
保留原有内容

适用场景:

内容不会更新（RSS新闻、发布公告、邮件通知）
节省成本（避免重复抓取）

对比:

策略	是否重新抓取	成本	适用场景
UPDATE	✅ 是	高	内容会更新
KEEP_OLD	❌ 否	低	内容不变

3. 内容清洗

开启清洗

使用 LLM 提取标题、摘要、关键词
去除 HTML 标签和无关内容
额外成本: 10-20 credits/次

关闭清洗

保留原始 HTML 内容
后续需要时再清洗（推荐）