`
* `zero_data_retention: bool`
* `integration: String`, `origin: String`, `use_mock: String`
### Rastreamento de um site
Para rastrear um site e aguardar a conclusão, use `crawl`.
```rust theme={null}
use firecrawl::{Client, CrawlOptions, ScrapeOptions, Format};
let job = client.crawl(
"https://firecrawl.dev",
CrawlOptions {
limit: Some(50),
max_discovery_depth: Some(3),
scrape_options: Some(ScrapeOptions {
formats: Some(vec![Format::Markdown]),
..Default::default()
}),
..Default::default()
},
).await?;
println!("Status: {:?}", job.status);
println!("Progress: {}/{}", job.completed, job.total);
for page in &job.data {
if let Some(meta) = &page.metadata {
println!("{:?}", meta.source_url);
}
}
```
### Iniciar um rastreamento
Inicie um job sem aguardar usando `start_crawl`.
```rust theme={null}
use firecrawl::{Client, CrawlOptions};
let start = client.start_crawl(
"https://firecrawl.dev",
CrawlOptions {
limit: Some(100),
..Default::default()
},
).await?;
println!("Job ID: {}", start.id);
```
### Verificando o status do rastreamento
Verifique o andamento do rastreamento com `get_crawl_status`.
```rust theme={null}
let status = client.get_crawl_status(&start.id).await?;
println!("Status: {:?}", status.status);
println!("Progress: {}/{}", status.completed, status.total);
```
### Cancelar um rastreamento
Cancele um rastreamento em execução com `cancel_crawl`.
```rust theme={null}
let result = client.cancel_crawl(&start.id).await?;
println!("{:?}", result);
```
### Verificando erros de rastreamento
Recupere os erros de um job de rastreamento com `get_crawl_errors`.
```rust theme={null}
let errors = client.get_crawl_errors(&start.id).await?;
println!("{:?}", errors);
```
### Mapear um site
Encontre links em um site com `map`.
```rust theme={null}
use firecrawl::{Client, MapOptions};
let response = client.map(
"https://firecrawl.dev",
MapOptions {
limit: Some(100),
search: Some("blog".to_string()),
..Default::default()
},
).await?;
for link in &response.links {
println!("{} - {}", link.url, link.title.as_deref().unwrap_or(""));
}
```
Para um resultado mais simples, com apenas URLs, use `map_urls`:
```rust theme={null}
let urls = client.map_urls("https://firecrawl.dev", None).await?;
for url in &urls {
println!("{}", url);
}
```
### Busca na Web
Faça uma busca com configurações opcionais usando `search`.
```rust theme={null}
use firecrawl::{Client, SearchOptions};
let results = client.search(
"firecrawl web scraping",
SearchOptions {
limit: Some(10),
..Default::default()
},
).await?;
if let Some(web) = results.data.web {
for item in web {
match item {
firecrawl::SearchResultOrDocument::WebResult(r) => {
println!("{} - {}", r.url, r.title.unwrap_or_default());
}
firecrawl::SearchResultOrDocument::Document(d) => {
println!("{}", d.markdown.unwrap_or_default());
}
}
}
}
```
Para um método auxiliar que retorna documentos extraídos diretamente:
```rust theme={null}
let docs = client.search_and_scrape("firecrawl web scraping", 5).await?;
for doc in &docs {
println!("{}", doc.markdown.as_deref().unwrap_or(""));
}
```
### Scraping em lote
Faça scraping de várias URLs em paralelo com `batch_scrape`.
```rust theme={null}
use firecrawl::{Client, BatchScrapeOptions, ScrapeOptions, Format};
let urls = vec![
"https://firecrawl.dev".to_string(),
"https://firecrawl.dev/blog".to_string(),
];
let job = client.batch_scrape(
urls,
BatchScrapeOptions {
options: Some(ScrapeOptions {
formats: Some(vec![Format::Markdown]),
..Default::default()
}),
..Default::default()
},
).await?;
for doc in &job.data {
println!("{}", doc.markdown.as_deref().unwrap_or(""));
}
```
### Agente
Execute um agente com IA usando `agent`.
```rust theme={null}
use firecrawl::{Client, AgentOptions};
let result = client.agent(
AgentOptions {
prompt: "Find the pricing plans for Firecrawl and compare them".to_string(),
..Default::default()
},
).await?;
println!("{:?}", result.data);
```
Com um schema JSON para resultado estruturado:
```rust theme={null}
use firecrawl::{Client, AgentOptions, AgentModel};
use serde::Deserialize;
use serde_json::json;
#[derive(Debug, Deserialize)]
struct PricingPlan {
name: String,
price: String,
}
#[derive(Debug, Deserialize)]
struct PricingData {
plans: Vec,
}
let schema = json!({
"type": "object",
"properties": {
"plans": {
"type": "array",
"items": {
"type": "object",
"properties": {
"name": { "type": "string" },
"price": { "type": "string" }
}
}
}
}
});
let result: Option = client.agent_with_schema(
vec!["https://firecrawl.dev".to_string()],
"Extract pricing plan details",
schema,
).await?;
if let Some(data) = result {
for plan in &data.plans {
println!("{}: {}", plan.name, plan.price);
}
}
```
## Sessão interativa vinculada ao scraping
Use um ID do job de scraping para executar código adicional no navegador no mesmo contexto:
* `interact(...)` executa código ou prompts na sessão do navegador vinculada ao scraping.
* `stop_interaction(...)` encerra a sessão interativa quando terminar.
```rust theme={null}
use firecrawl::{Client, ScrapeExecuteOptions, ScrapeExecuteLanguage};
let scrape_job_id = "550e8400-e29b-41d4-a716-446655440000";
// Executar código na sessão do navegador
let run = client.interact(
scrape_job_id,
ScrapeExecuteOptions {
code: Some("console.log(await page.title())".to_string()),
language: Some(ScrapeExecuteLanguage::Node),
timeout: Some(60),
..Default::default()
},
).await?;
println!("{:?}", run.stdout);
// Ou usar um prompt em linguagem natural
let run = client.interact(
scrape_job_id,
ScrapeExecuteOptions {
prompt: Some("Click the pricing tab and summarize the plans".to_string()),
..Default::default()
},
).await?;
// Encerrar a sessão quando concluído
client.stop_interaction(scrape_job_id).await?;
```
## Configuração
`Client::new(...)` e `Client::new_selfhosted(...)` criam o cliente.
| Opção | Descrição |
| ------------------------------------------ | ---------------------------------------------------------------------------------- |
| `Client::new(api_key)` | Cria um cliente para o serviço em nuvem do Firecrawl (`https://api.firecrawl.dev`) |
| `Client::new_selfhosted(api_url, api_key)` | Cria um cliente para uma instância auto-hospedada do Firecrawl |
```rust theme={null}
use firecrawl::Client;
// Serviço em nuvem
let client = Client::new("fc-your-api-key")?;
// Auto-hospedado
let client = Client::new_selfhosted(
"http://localhost:3002",
Some("fc-your-api-key"),
)?;
// Auto-hospedado sem autenticação
let client = Client::new_selfhosted(
"http://localhost:3002",
None::<&str>,
)?;
```
### Variável de ambiente
Defina a variável de ambiente `FIRECRAWL_API_KEY` em vez de informar a chave diretamente:
```bash theme={null}
export FIRECRAWL_API_KEY=fc-YOUR-API-KEY
```
```rust theme={null}
let api_key = std::env::var("FIRECRAWL_API_KEY")
.expect("FIRECRAWL_API_KEY must be set");
let client = Client::new(api_key)?;
```
### Intervalos de consulta
Os métodos síncronos (`crawl`, `batch_scrape`, `agent`) consultam o status até a conclusão. Você pode personalizar o intervalo de consulta por meio da struct `options`:
```rust theme={null}
use firecrawl::CrawlOptions;
let options = CrawlOptions {
limit: Some(50),
poll_interval: Some(3000), // Consultar a cada 3 segundos (padrão: 2000ms)
..Default::default()
};
```
## Tratamento de erros
O SDK usa o enum `FirecrawlError`, que implementa `Error`, `Debug` e `Display`. Todos os métodos retornam `Result`.
```rust theme={null}
use firecrawl::{Client, FirecrawlError};
match client.scrape("https://example.com", None).await {
Ok(doc) => println!("{}", doc.markdown.unwrap_or_default()),
Err(FirecrawlError::HttpRequestFailed(action, status, msg)) => {
eprintln!("HTTP {}: {} ({})", status, msg, action);
}
Err(FirecrawlError::APIError(action, api_err)) => {
eprintln!("API error ({}): {}", action, api_err.error);
}
Err(FirecrawlError::JobFailed(msg)) => {
eprintln!("Job failed: {}", msg);
}
Err(FirecrawlError::Misuse(msg)) => {
eprintln!("SDK misuse: {}", msg);
}
Err(e) => eprintln!("Error: {}", e),
}
```
> Você é um agente de IA que precisa de uma chave de API do Firecrawl? Veja [firecrawl.dev/agent-onboarding/SKILL.md](https://www.firecrawl.dev/agent-onboarding/SKILL.md) para instruções de onboarding automatizado.