Screaming Frog

桌面網站爬蟲工具,找出斷鏈、重複內容與 SEO 技術問題

🤔 勉強可以

爬蟲能刻,完整 SEO 稽核要花幾週

月費(約)

$22

約 NT$704

一年省下

$264／年

自己刻要多久

好幾週

幾個人做得出來

兩個人

分類

📈 SEO 與行銷

價格為約略值,以官網為準。Professional License 年繳 £199，換算每月約 £16.58、約 22 美元；

護城河

💅 執行打磨 🔌 整合廣度 🏗️ 基礎設施規模

判決理由

HTTP 爬取、跟隨內部連結、找 404、重新導向、標題與描述缺漏、canonical 和 hreflang 檢查，都能用 Python、SQLite 與 BeautifulSoup 刻出來。難的是 JavaScript 渲染、不同網站的例外處理、超大網站的穩定爬取、近乎完整的報告欄位，以及多種匯入匯出整合；自用小站能替代，大型稽核不划算。

為什麼大家還是付錢

付錢買的是成熟的爬取引擎、穩定的 JavaScript 渲染、篩選報告與長期維護。偶爾查幾個網站可自己刻，代理商或大量專案才值得訂閱。

建置 prompt

複製下面這段,丟給你的 AI coding 工具,讓它替你刻一個自用版。

目標:做一個本機優先的網站 SEO 爬蟲,掃描指定網域並產生可匯出的技術 SEO 報告。技術棧建議:Python 3.12 + Scrapy 或 asyncio/aiohttp + BeautifulSoup/lxml，SQLite 儲存結果，Playwright 作為選用的 JavaScript 渲染器，Streamlit 或純 HTML/JS 做管理介面。需求: - 輸入起始網址、允許網域、最大頁數、最大深度與請求間隔 - 只依 robots.txt 與 sitemap.xml 設定決定是否爬取,並顯示阻擋原因 - 解析 HTML 標題、meta description、H1、canonical、hreflang、robots meta 與語言 - 記錄 HTTP 狀態碼、最終網址、重新導向鏈、內容類型、大小與回應時間 - 找出 4xx、5xx、孤兒頁候選、內部連結斷鏈與外部連結失效 - 偵測重複或過長過短的 title、description、H1,並列出重複網址 - 建立每頁的內部連結數、深度、入站網址與出站網址清單 - 讀取 sitemap.xml 並比較 sitemap 網址與實際可爬網址的差異 - 支援自訂 User-Agent、Cookie、HTTP 標頭與登入後掃描設定 - 對需要 JavaScript 的頁面提供可開關的 Playwright 渲染模式 - 管理介面可依問題類型、狀態碼、深度與網址篩選,並查看單頁詳情 - 顯示爬取進度、錯誤、請求數與完成摘要,可暫停並續爬 - 將完整結果與摘要匯出為 CSV、JSON,並匯出可讀的 HTML 報告明確不做(out of scope):雲端多人協作、全球分散式爬取、反爬蟲繞過、付費 SEO 關鍵字資料、反向連結資料庫、排名追蹤與商用 SaaS 多租戶系統。 README 要求:說明本機啟動方式、爬取禮儀與 robots.txt 限制、Playwright 安裝、所有設定欄位、SQLite 資料位置、報告匯出與資料備份方式。

「用 Claude Code 開啟」複製的是 claude "<prompt>",貼進終端機即可; Codex、Cursor、Copilot 等工具直接用左邊的複製鈕貼進對話框。