Bài crawl

Ở phiên bản admin hiện tại, Bài crawl không còn chỉ là một danh sách bản ghi đã crawl. Màn này đã trở thành bảng điều phối toàn bộ khu vực crawl: theo dõi URL, các lần phân tích, dữ liệu tạm và cả cấu hình nguồn crawl.

Ảnh minh họa chụp từ môi trường local ngày 14/03/2026. Khu vực crawl hiện đã có URL, lần phân tích và dữ liệu tạm mẫu để bạn hình dung đúng cách đọc quy trình thực tế.

Màn này dùng để làm gì?

• theo dõi tổng số URL đang có trong khu vực crawl
• lọc URL theo nguồn, trạng thái hoặc loại dữ liệu
• xem chất lượng staging trước khi đưa dữ liệu sang bước sau
• cấu hình và điều phối nguồn crawl ở phần Control Workspace

Các khu vực chính

• Bộ lọc nâng cao: lọc theo nguồn (source), trạng thái (status), loại dữ liệu (type) hoặc từ khóa URL
• Thẻ thống kê: tổng URL, URL đã phân tích, URL lỗi, URL bị chặn, số lần xử lý và số mục dữ liệu tạm
• Danh sách URL (URL inventory): danh sách URL trung tâm để bạn biết pipeline đang xử lý đến đâu
• Lịch sử lần xử lý gần đây (Recent parse runs): lịch sử các lần phân tích gần đây
• Tóm tắt dữ liệu tạm (Staging summary): tóm tắt nhóm dữ liệu đã bóc tách và mức chất lượng trung bình
• Khu vực điều phối (Control Workspace): nơi quản lý nguồn, luật kiểm tra, hàng chờ duyệt, gói dữ liệu và lịch sử đăng

Cách đọc nhanh một khu vực crawl

1. Nhìn hàng thống kê trước để biết khu vực đang hoạt động tốt hay đang có nhiều URL lỗi.
2. Dùng bộ lọc để thu hẹp danh sách theo nguồn hoặc trạng thái cần xử lý.
3. Mở Danh sách URL (URL inventory) để xem URL nào đã phân tích, URL nào còn treo hoặc lỗi.
4. Xem Lịch sử lần xử lý gần đây (Recent parse runs) nếu nghi ngờ pipeline vừa chạy lỗi.
5. Kiểm tra Tóm tắt dữ liệu tạm (Staging summary) để biết dữ liệu bóc tách đã đủ sạch chưa.
6. Nếu cần chỉnh lại nguồn, vào Khu vực điều phối (Control Workspace).

Khi nào nên vào Khu vực điều phối (Control Workspace)?

• cần thêm nguồn crawl mới
• cần sửa URL seed
• cần đổi ngưỡng hoặc cách kiểm tra
• cần kiểm tra gói dữ liệu đã sẵn sàng đăng hay chưa

Lưu ý khi vận hành

• không nên đẩy quá nhiều URL mới nếu chưa rà lại nguồn (source) và URL gốc (seed)
• nếu số URL thất bại (Failed URLs) hoặc URL bị chặn (Blocked URLs) tăng nhanh, nên kiểm tra lại nguồn trước
• khi Tóm tắt dữ liệu tạm (Staging summary) cho thấy chất lượng thấp, nên duyệt lại kỹ rồi mới đồng bộ tiếp