scrape
Bright Data Web Unlocker APIを使用してアンチボット検出とCAPTCHAを自動的に回避し、任意のウェブページをクリーンなMarkdown形式のコンテンツに変換します。
npx skills add brightdata/skills --skill scrapeBefore / After 効果比較
1 组従来のクローラーツールを使用すると、403エラーやCAPTCHAが頻繁に発生し、プロキシやリクエストヘッダーを絶えず変更する必要がありました。成功率はわずか40%で、多くの時間がアンチスクレイピング対策に費やされていました。
Web Unlockerは、IPローテーション、ブラウザフィンガープリント、CAPTCHA回避を自動的に処理します。1回のAPI呼び出しで完全なページコンテンツを取得でき、成功率は95%以上に向上します。
scrape
Bright Data - Web Scraper
Scrape any webpage and get clean markdown content using Bright Data's Web Unlocker API. Automatically bypasses bot detection and CAPTCHA.
Setup
1. Get your API Key: Get a key from Bright Data Dashboard.
2. Create a Web Unlocker zone: Create a zone at brightdata.com/cp by clicking "Add" (top-right), selecting "Unlocker zone".
3. Set environment variables:
export BRIGHTDATA_API_KEY="your-api-key"
export BRIGHTDATA_UNLOCKER_ZONE="your-zone-name"
Usage
bash scripts/scrape.sh "url"
Parameters:
url(required): The webpage URL to scrape
Examples:
# Scrape a news article
bash scripts/scrape.sh "https://example.com/article"
# Scrape a product page
bash scripts/scrape.sh "https://shop.example.com/product/123"
Output Format
Returns clean markdown content extracted from the webpage:
# Page Title
Main content of the page converted to markdown format...
## Section Heading
More content...
Features
-
Bot Detection Bypass: Automatically handles anti-bot measures
-
CAPTCHA Solving: Bypasses CAPTCHA challenges
-
Clean Markdown: Returns well-formatted markdown content
-
JavaScript Rendering: Handles JavaScript-heavy pages
Dependencies
curl- For API requests
Weekly Installs1.1KRepositorybrightdata/skillsGitHub Stars61First SeenFeb 10, 2026Security AuditsGen Agent Trust HubPassSocketPassSnykWarnInstalled onclaude-code1.0Kcodex60opencode60gemini-cli59amp59github-copilot59
ユーザーレビュー (0)
レビューを書く
レビューなし
統計データ
ユーザー評価
この Skill を評価