如何在C语言环境中借助Linux库构建高效网络爬虫

示例代码：使用libcurl和libxml2的简单爬虫

代码语言：javascript

AI代码解释

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <curl/curl.h>
#include <libxml/HTMLparser.h>
#include <libxml/xpath.h>
​
// 用于存储从HTTP响应获取的数据的结构
struct MemoryStruct {
char *memory;
size_t size;
};
​
// libcurl写回调函数
static size_t WriteMemoryCallback(void *contents, size_t size, size_t nmemb, void *userp) {
size_t realsize = size * nmemb;
struct MemoryStruct *mem = (struct MemoryStruct *)userp;

char *ptr = realloc(mem->memory, mem->size + realsize + 1);
if(!ptr) {
printf("内存不足!\\n");
return 0;
}

mem->memory = ptr;
memcpy(&(mem->memory[mem->size]), contents, realsize);
mem->size += realsize;
mem->memory[mem->size] = 0;

return realsize;
}
​
// 使用XPath提取链接
void extract_links(xmlDocPtr doc) {
xmlXPathContextPtr context;
xmlXPathObjectPtr result;

context = xmlXPathNewContext(doc);
if (context == NULL) {
printf("Error in xmlXPathNewContext\\n");
return;
}

// 查找所有<a>标签的href属性
result = xmlXPathEvalExpression((xmlChar*)"//a/@href", context);
if (result == NULL) {
printf("Error in xmlXPathEvalExpression\\n");
xmlXPathFreeContext(context);
return;
}

if (result->type == XPATH_NODESET) {
xmlNodeSetPtr nodeset = result->nodesetval;
for (int i = 0; i < nodeset->nodeNr; i++) {
xmlChar *url = xmlNodeGetContent(nodeset->nodeTab[i]);
printf("发现链接: %s\\n", url);
xmlFree(url);
}
}

xmlXPathFreeObject(result);
xmlXPathFreeContext(context);
}
​
int main(void) {
CURL *curl;
CURLcode res;

struct MemoryStruct chunk;
chunk.memory = malloc(1);
chunk.size = 0;

curl_global_init(CURL_GLOBAL_ALL);
curl = curl_easy_init();

if(curl) {
// 设置目标URL
curl_easy_setopt(curl, CURLOPT_URL, "https://example.com");
// 设置写回调函数
curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteMemoryCallback);
// 设置写入数据的位置
curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)&chunk);
// 设置用户代理
curl_easy_setopt(curl, CURLOPT_USERAGENT, "libcurl-agent/1.0");
// 跟随重定向
curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L);

// 执行请求
res = curl_easy_perform(curl);

// 检查错误
if(res != CURLE_OK) {
fprintf(stderr, "curl_easy_perform() failed: %s\\n", curl_easy_strerror(res));
} else {
// 解析HTML内容
htmlDocPtr doc = htmlReadMemory(chunk.memory, chunk.size,
"https://example.com", NULL,
HTML_PARSE_RECOVER | HTML_PARSE_NOERROR | HTML_PARSE_NOWARNING);

if (doc != NULL) {
printf("成功解析HTML文档\\n");
extract_links(doc);
xmlFreeDoc(doc);
} else {
printf("解析HTML失败\\n");
}
}

// 清理curl
curl_easy_cleanup(curl);
free(chunk.memory);
}

curl_global_cleanup();
return 0;
}

编译命令

要编译上述代码，你需要安装必要的开发库并使用以下命令：

代码语言：javascript

AI代码解释

# 在Ubuntu/Debian上安装依赖
sudo apt-get install libcurl4-openssl-dev libxml2-dev
​
# 编译程序
gcc -o crawler crawler.c -lcurl -lxml2

其他有用的Linux系统库

1、多线程处理 – pthread库

代码语言：javascript

AI代码解释

#include <pthread.h>
// 用于创建多线程爬虫

2、正则表达式 – PCRE库

代码语言：javascript

AI代码解释

#include <pcre.h>
// 用于复杂的文本匹配和提取

3、数据库存储 – SQLite3

代码语言：javascript

AI代码解释

#include <sqlite3.h>
// 用于存储爬取的数据

4、压缩处理 – zlib

代码语言：javascript

AI代码解释

#include <zlib.h>
// 用于处理gzip压缩的HTTP响应

通过合理运用Linux系统的这些库函数，我成功构建了一个高效稳定的C语言爬虫程序。