Octoparse

目標:做一個本機優先的網頁資料擷取工具，讓我為固定網站建立可重跑的爬蟲流程並匯出資料。 技術棧建議:Python Playwright + SQLite + FastAPI，前端使用原生 HTML/CSS/JavaScript，資料匯出使用 CSV 與 JSON。 需求: - 輸入網址後開啟可互動的瀏覽器預覽，支援點擊、輸入文字與等待元素 - 以 CSS 選擇器或 XPath 定義單筆欄位，支援文字、連結、圖片網址與 HTML 屬性 - 支援從清單頁擷取多筆資料，設定下一頁按鈕或網址分頁規則 - 可建立多步驟流程，包含開啟網址、點擊、填表、等待、擷取與翻頁 - 支援等待固定時間、等待元素出現與頁面載入完成 - 支援登入流程，將敏感欄位以本機環境變數或加密設定保存 - 將流程與欄位設定保存到 SQLite，可複製、編輯、停用與刪除 - 執行任務時顯示目前頁數、成功筆數、失敗步驟與錯誤訊息 - 單一任務支援手動執行、定時執行、逾時、中斷後重試與結果去重 - 提供資料預覽、欄位型別轉換、空值處理與自訂固定欄位 - 可匯出目前結果與歷史執行結果為 CSV、JSON、SQLite 檔案 - 針對 robots.txt、網站條款、請求間隔與同時執行數提供明確設定 明確不做(out of scope):通用代理池、驗證碼繞過、破解登入或付費牆、雲端多租戶、團隊權限、瀏覽器擴充功能與大規模分散式爬蟲。 README 要求:說明本機安裝、Playwright 瀏覽器安裝、建立流程的範例、選擇器除錯方式、排程設定、資料位置、匯出格式與合法使用注意事項。