Apify

目標:做一個本機優先的網頁爬蟲與自動化任務管理工具，取代自己使用時需要的 Apify 核心功能。 技術棧建議:Python 3.12 + FastAPI + Playwright + SQLite，背景任務使用 asyncio，資料以 JSON、CSV 與 SQLite 儲存。 需求: - 可從管理頁建立任務，設定目標網址、HTTP 標頭、等待時間與最大頁數 - 支援 Playwright Chromium，能執行 JavaScript、點擊按鈕、填寫表單與等待元素 - 支援以 CSS selector 或 XPath 擷取文字、屬性、HTML 與連結 - 支援分頁、無限捲動與自訂爬蟲腳本 - 每個任務使用獨立佇列，顯示等待中、執行中、完成與失敗狀態 - 設定最大併發數、請求間隔、逾時時間與失敗重試次數 - 支援排程執行，可設定一次性、每小時、每日或自訂 Cron - 儲存每次執行的輸出資料、日誌、錯誤訊息與耗時 - 管理頁可查看任務歷史、即時日誌、成功率與抓取筆數 - 結果可依單次執行匯出 JSON、CSV、JSONL，並提供整包下載 - 可匯入與匯出任務設定，讓爬蟲腳本和資料能搬到另一台電腦 - 對 robots.txt、網站條款與請求頻率提供明確提示，不內建繞過登入或 CAPTCHA 功能 明確不做(out of scope):代理伺服器池、全球雲端執行、Actor 市集、多租戶帳號、付費網站登入代管、CAPTCHA 破解、商用規模的反爬蟲繞過。 README 要求:說明本機安裝與 Playwright 瀏覽器設定、任務格式、擷取腳本範例、排程啟動方式、資料庫位置、匯出與備份方法，以及合法抓取網站的注意事項。