查看文章

摘要 随着网络的发展和普及, 人们对于安全性, 匿名性, 反审查等信息安全的需求快速增强, 越来越多的人开始关注和研究 Tor 匿名通信网络. 目前针对 Tor 网络内容监控的研究工作大部分存在功能少, 性能弱等劣势, 如缺乏为暗网设计的专用爬虫, 网络连接速度较慢, 本文设计开发了一套综合性的 Tor 网络内容动态感知及情报采集系统, 包含数据采集爬虫以及网页内容分类两个部分. 其中爬虫部分使用了分布式架构, 包括了任务管理模块, 爬虫调度模块, 网页下载模块, 页面解析模块, 数据存储模块, 同时创新性地优化了 Tor 连接链路以提高爬取速度和稳定性; 网页内容分类部分使用了自然语言处理技术, 建立训练模型并对抓取到的信息进行精准高效分类, 解决分类的准确度和复杂性问题, 最后根据结果分析暗网的内容结构和敏感信息. 我们也相应地为保障系统运行设计了容错模块和预警模块, 从而对系统各个组件的当前状态进行实时监控, 并将系统的状态数据进行整合, 收集和展示. 最后我们将该系统放到了实际 Tor 网络环境中进行了测试, 从系统网页爬取效果, 内容分类效果及系统性能等三方面进行了评估和分析, 并与国内外 7 中现有的框架的功能进行了对比, 证明本文提出的方案在暗网域名, 网页, 数据爬取的量级和速度性能方面均为最佳.