角逐回首

    2021年DataCon大数据安全分析较量是ca88登陆平台、清华大学网络钻研院、蚂蚁集团、Coremail论客共同主办，，，，，是国内首个以大数据安全分析为指标的大型较量，，，，，旨在提拔和造就积极防御型网络人才，，，，，较量的最大特点是强调“实战化”，，，，，模拟真实网络环境的攻防匹敌场景，，，，，沉点调查选手利用新技术步骤解决分歧场景安全问题的能力。。。。。。

    数十支战队报名了域名安整个系赛路，，，，，经过强烈的角逐，，，，，2021年11月4日由清华大学—叽里呱啦战队夺得桂冠。。。。。。针对本届域名系统安全赛路黑产分析方向角逐的情况，，，，，来自ca88登陆平台涉网犯罪钻研中心（A-TEAM）参加赛题造订与赛果评审的出题人也给出了多维度的技术解读。。。。。。

    一路来看看吧！

    出题单元介绍

    ca88登陆平台A-TEAM团队致力于Web渗入、APT攻防、匹涤注前瞻性攻防工具预研等工作。。。。。。从底层道理、和谈层面进行端庄、有深度的技术钻研，，，，，深刻还原攻与防的技术性质，，，，，曾屡次率先披露Windows域、Exchange、Weblogic、Exim等沉大安全缝隙。。。。。。

    ca88登陆平台涉网犯罪钻研中心致力于进攻涉网新型犯罪领域的安全技术钻研与产品研发，，，，，是以ca88登陆平台A-TEAM成员为主题的创新型团队，，，，，为国度及各省市公安机关提供高效专业的进攻涉网犯罪谍报分析服务和实战解决规划。。。。。。

    赛题设置与数据起源

    黑产分析方向赛题的设置是源于现实互联网上存在的大量犯法的涉及黑灰产业的网站。。。。。。

    赛题要求参赛者对给出的网站进行分类，，，，，鉴别出其中的涉黄、涉赌、涉诈网站，，，，，在此基础上发现这些网站潜在的关联关系，，，，，对网站进内行族聚类分析，，，，，判断出哪些黑产网站数据统一个黑产组织，，，，，最后凭据给出的域名排名数据以及接见量数据对黑产组织的规模以及活跃水平进行评估。。。。。。

    本赛题进展调查的是参赛选手对网页进行天然说话分析处置能力以及对网站元素的理解、分析能力。。。。。。

    本次赛题提供的数据是源自ca88登陆平台技术钻研院提供的逐日新增域名以及被动域名解析（PassiveDNS）数据，，，，，数据蕴含三部门：

    1.逐日新增域名

    提供的是一个域名列表，，，，，这些域名是通过Whois信息发现的每天新注册或注册信息调换的域名。。。。。。

    2.域名排名数据

    域名排名数据蕴含域名以及域名对应的排名信息，，，，，域名排名信息由ca88登陆平台技术钻研院凭据被动域名解析（PassiveDNS）等数据通过算法推算得到的SecRank域名排名。。。。。。

    3.域名接见趋向数据

    域名接见趋向数据蕴含域名、日期、总要求数、A纪录要求数、CNAME纪录要求数、客户端数量以及子域名数量，，，，，是由ca88登陆平台技术钻研院凭据被动域名解析（PassiveDNS）数据推算提供。。。。。。

    赛题解读

    由于给出的都是真实的、公网上能够接见的黑产网站，，，，，而黑产网站大多城市由于被关闭、骗完跑路等各类原因下线，，，，，导致域名变动更新很快，，，，，若是在角逐期间网站失活关关了怎么办？？？？？

    最后经过会商，，，，，出题组决定每天提供三到四个在ca88登陆平台监测中存活功夫较久的黑产家族网站，，，，，这些黑产网站相较于其它可能越发不变不容易忽然下线跑路，，，，，剩下的域名我们不思考网站分类、是否存活随机给出，，，，，最终凭据检测我们提供的三到四个的黑产家族的检出来进行判分。。。。。。事实最后证明成效还是不错的，，，，，除了一个家族在角逐期间险些全数失活关关，，，，，其它家族都能够不变接见。。。。。。

    出题组的启程点是但愿让选手接触真实的互联网黑产数据，，，，，可能相识工业界在处置现实问题时辰遇到的各类问题，，，，，不论是机械资源还是数据噪音。。。。。。也但愿各位选手启发思路和视野，，，，，不仅仅将眼光放在网站分类上，，，，，同时越发关注一些网站背后的关联关系，，，，，从而引发兴致去探寻整个黑灰产产业。。。。。。

    选手解题思路

    1.类似度算法聚类，，，，，人为对聚类了局进行分类。。。。。。有选手设计出自己的类似度算法并在此基础上进行优化，，，，，并发现了给出数据之表的家族。。。。。。

    2.关键词分类，，，，，选出黑产关键词，，，，，而后凭据关键词匹配了局进行分类。。。。。。拔取关键词步骤重要有两个：一是先通过度词和词频工具分出高频关键词而后人为按类提取出部门关键词；；；；；；二是先对部门网页进行人为分类，，，，，而后使用分词工具或统计词频的工具提取关键词，，，，，有的行列还在此基础上进行迭代扩充更新关键词库。。。。。。

    3.关键词分类结合网页结构特点再加上机械进建模型。。。。。。

    4.OCR扩充文本，，，，，关键词分类和机械进建模型。。。。。。在关键词分类的基础上，，，，，使用TextCNN、Fasttext等其他机械进建步骤训练有监督或无监督模型，，，，，有的选手在此基础上结合了集成进建的思路，，，，，进行网站分类。。。。。。

    5.选手从网页中提取一些页面信息进行关联，，，，，好比电话、邮箱和客服等。。。。。。

    6.分析源码，，，，，并凭据页面结构类似性和技术架构特点进行聚类关联，，，，，并从中提取统计id、表链、图片等作为关联信息。。。。。。

    7.分析部门家族的域名定名规定，，，，，并凭据ip信息、网站证书、域名注册信息（电话、邮箱、地址、姓名）进行关联。。。。。。

    8.借助图模型，，，，，为网站构建图画像，，，，，凭据提取特点的个性，，，，，对边进行关联性强弱分辨。。。。。。

    9.部门选手借助了随机丛林、k-means等聚类步骤凭据特点进行聚类。。。。。。

    10.部门选手在家族聚类过程中参与大量人为分析的工作，，，，，好比域名规定的分析、html中一些关键词的提取。。。。。。

    专家点评

    1.大部门选手选择了关键词匹配这个步骤。。。。。。在数据量不是很大时，，，，，使用关键词分类简直是一个比力高效的步骤，，，，，但随着数据量的增长，，，，，必然会出现好多的漏报（关键词没覆盖到）和误报（其他类的网站也有此关键词）。。。。。。

    2.部门选手在关键词匹配的基础上使用了图片鉴别和机械进建步骤。。。。。；；；；；；到芄辉诳隙ㄋ缴咸聿构丶势ヅ涞牟患。。。。。。数据量上去后，，，，，图片鉴别所使用的渲染爬虫会亏损大量的资源，，，，，并且速度也比力慢，，，，，日鉴别量不高。。。。。。

    3.还有选手凭据类似度算法或网站模板去进行网站聚类后分类。。。。。。通常情况下，，，，，黑产家族是有一些共同特点的，，，，，所以这种步骤对黑产家族聚类而言是一个不错的步骤。。。。。。

    4.好多选手特点的提取极度具体，，，，，但并没有对提取的特点进行具体的分析，，，，，划分强弱关系，，，，，好比像统计id、网站证书可作为较强的关联关系，，，，，但ip信息、网页技术架构、电话等作为较弱的关联关系。。。。。。

    5.对信息进行分析提取特点是家族聚类所必须的，，，，，但使用过多的人为分析特点的具体值从而实现家族聚类，，，，，在海量数据的情况下则会极度难题。。。。。。

    黑产方向官方解题思路

    “黑产网站的鉴别分类”

    黑灰产涉及面之广，，，，，产业链影响领域之大，，，，，早已引起监管部门确把稳，，，，，火急必要进行监管和治理。。。。。。黑灰产产业链大量依附线上网站的方式执行打赌、传布淫秽色情、洗钱、诳骗、买卖幼我信息等各类各样的违法犯罪活动，，，，，因而对各类网站网页的监督分类是一项必须且沉要的工作。。。。。。日常出产环境中，，，，，必要对涉赌，，，，，涉黄，，，，，vpn，，，，，涉毒，，，，，金融类，，，，，支付平台，，，，，账号买卖，，，，，游戏表挂，，，，，幼我信息买卖，，，，，源码类，，，，，刷单，，，，，正常网站等三十多种分类。。。。。。

    目前网站分类整体流程选取的是分域异官僚害词匹配结合机械进建的方式，，，，，经过调研对比后发现FastText的特点很符文现实利用需要。。。。。。一是适合数据量大并且类别多的场景，，，，，能够一次性分类不用训练三十多个二分类器；；；；；；二是训练耗时短正确率高，，，，，10-20分钟就能训练出正确率高且泛化机能好的模型。。。。。。与其他监督分类器一样，，，，，大体分为数据洗濯、数据标注、模型训练、迭代优化这几个步骤。。。。。。目前在验证集上的正确度节造在95%左右。。。。。。

    具体的技术道理和利用能够参考官方网站和其他优良的文章，，，，，这里重要总结分析在黑灰产网站分类的现实利用中遇到的问题和解决法子，，，，，技术道理就不再赘述。。。。。。

    1、分域异官僚害词匹配

    通常的关键词匹配步骤中关键词的正确度和全面性是有些相互矛盾的。。。。。。当关键词较少时，，，，，规定匹配正确度高，，，，，好比“肖中特”、“澳门威尼斯人”，，，，，只有射中那极或许率是涉赌的，，，，，但势必会漏掉“快三”、“开奖”等其他或强或弱的关键词；；；；；；若是把各类关键词都一股脑写进规定里，，，，，覆盖面大大增长，，，，，但注定会产生好多误报，，，，，降低了正确率。。。。。。

    现实利用时在通常的关键词匹配的基础上改进为分域异官僚害词匹配步骤，，，，，分域是经过大量的HTML源码分析发现，，，，，HTML源码title属性中的文本和正文里的文本的关键词是有肯定的区别，，，，，因而针对title和正文里的文本分别设置了关键词规定；；；；；；异权是给关键词划分了三六九等，，，，，不是只有射中就给了局，，，，，而是对于一些强代表性的关键词能够设定射中即判，，，，，对于一些弱代表性的关键词能够设定当射中几个弱关键词组合后才给判断了局，，，，，也就是分歧的关键词有分歧的权沉。。。。。。改进后的分域异官僚害词匹配能够解决一部门通常关键词匹配的误报问题，，，，，并肯定水平上扩大了覆盖面。。。。。。

    举个具体的例子，，，，，当在正文中匹配到“欢乐博彩”会立即判为涉赌，，，，，当匹配到“斗地主”时，，，，，并不会立即判为涉赌，，，，，但一旦同时出现了“百家乐”，，，，，“斗牛”，，，，，“麻将”等关键词，，，，，那就能够给出涉赌的分类了局了；；；；；；但是当一个网页的title中出现了“斗地主”，，，，，那就能够判定这是个涉赌网页了。。。。。。

    2、数据处置

    数据的质量决定了模型的上限，，，，，所以大量的工作都在数据处置这部门。。。。。。而这部门大量的工作是训练前的数据洗濯，，，，，部门的数据洗濯流程能够迁徙到正式利用时的数据洗濯。。。。。。训练选取的数据量凭据分歧的类别差距，，，，，在划分训练集和验证集时大体依照训练集比测试集或许3：1的比例具体对待。。。。。。

    数据洗濯：HTML源码中不仅蕴含了网页文本，，，，，还有网页结构信息，，，，，模板识此外步骤使用的是网页的结构数据，，，，，网页分类使用的数据是HTML源码中文文本。。。。。。由于HTML源码中蕴含了大量的英文、标点符文、转义字符和其他无意思字符，，，，，因而不论是训练还是预测之前必要将源码进行转义后过滤，，，，，只保留中文，，，，，并将繁体转换为简体。。。。。。每个分类单独一个文档，，，，，每个网页的文本作为一条数据，，，，，jieba分词使用自界说用户词典分词后写入三十多个文本文件。。。。。。

    数据标注：有监督训练的数据必要给数据打上尽可能正确的标签，，，，，最起头的模型训练时直接选取的关键词匹配的了局当标签，，，，，训练出来的模型当然是有些不尽人意，，，，，由于它逼近的是关键词匹配的正确率。。。。。。人为一条一条的给上百千万万的数据量进行数据标注极度不现实，，，，，而这些数据集又有很强的行业特点，，，，，并不能直接利用公开的一些数据集，，，，，后来为相识决标签的问题选取的是关键词匹配加人为过问。。。。。。洗濯后的网页源码带上关键词匹配初步分类的了局，，，，，按类别写入对应文本，，，，，而后仔细剔除每个类别中的“噪音”，，，，，部门类此外数据量从10W多精简到了1W左右。。。。。。

    3、训练模型和迭代优化

    经过以上数据洗濯步骤之后，，，，，依照下图所示的流程进行训练模型，，，，，并使用训练后的模型预测增量数据，，，，，凭据预测了局不休整顿数据集并沉新训练。。。。。。这时辰FastText训练速度快的优势就体现出来了，，，，，数据集整顿好后只需半个颖厩能训练出新模型。。。。。。

    4、增量预测

    每个新增的网页，，，，，爬虫拿到网页源码之后，，，，，经过上述的数据洗濯，，，，，即可挪用模型进行预测，，，，，输出模型预测分类，，，，，最终结合关键词匹配的分类了局给出综合分类。。。。。。

    5、集成分类

    运行一段功夫后拉取500W条数据进行对比，，，，，有479.7W条和分域异官僚害词匹配的了局一致，，，，，15W条数据FastText判白，，，，，规定判黑，，，，，其中有12.87W条数据是正文中有少量的涉赌词，，，，，1.38W条数据是正文中有少量涉黄词，，，，，但其他都是些无意思的新闻、工程机械等不有关的无意思词；；；；；；另表有4.3W条数据FastText判黑，，，，，规定判白，，，，，这类中情况较为特殊，，，，，有FastText正确的，，，，，有规定正确的。。。。。。凭据以上数据的符合度，，，，，能够注明两种步骤总体上正确率还能够，，，，，为了达到更好的成效，，，，，再凭据各自特点和数据特点划分出分歧的分类。。。。。。

    以来的改进思路筹备使用集成进建的思想，，，，，使用bagging或boosting，，，，，选取多种步骤结合分歧类别数据的特点综合判断。。。。。。

    6、总结

    有一点能够确定的是没有一劳永逸的步骤。。。。。。无论是分域异权沉的关键词匹配还是目前选取的FastText，，，，，都有自己的优弊端，，，，，不成能都100%正确。。。。。。

    每个类别所蕴含的关键词是多种多样的，，，，，并且还好多是有歧义的。。。。。。通常关键词匹配只有射中一个或几个词就分出类别，，，，，若是只有少量有足够代表性的关键词，，，，，就会误报少漏报多，，，，，关键词设的多了就新增好多没那么有代表性的词，，，，，就会漏报少但误报随之增多，，，，，因而提出了分域异官僚害词匹配，，，，，中和了正确率和全面性的矛盾。。。。。。

    在训练模型的数据洗濯阶段，，，，，数据量的大量削减验证了上面的分析，，，，，随着数据量不休增长，，，，，数据越来越复杂，，，，，规定也愈加复杂，，，，，总会有些规定射中了不该射中的网页。。。。。。使用筛选表态对干净的数据集进行训练后，，，，，现实正确率简直有了大幅提升。。。。。。最后通过对比大量数据并结合分歧了局的差距特点执行给出综合分类的了局。。。。。。

    “黑产网站的家族聚类分析”

    每天城市有大量的新的黑产网站注册上线，，，，，更新速度很快，，，，，黑产网站尤其是黄赌诈这类网站都是成组织化、团伙化的，，，，，我们库里罕见千万的黑产网站域名，，，，，但是从事黑产的人和公司就那么多，，，，，那么若何对这些黑产网站进内行族分析，，，，，找到背后的组织、团伙是我们日常在共同公安蹬仔关部门工作时沉要的工作内容。。。。。。

    从一个网站中我们能够提取好多的关联关系，，，，，将它和另一个网站关联起来，，，，，这些关系有强有弱，，，，，好多时辰必要具体情况具体分析，，，，，我们总结了以下几种关联关系供参赛选手们参考（图中数据为虚伪数据仅为示例，，，，，非真实数据）：

    下面对一些关联关系进行单一介绍：

    1、SSL证书关联

    2、网站统计ID关联

    常见的流量统计厂商：baidu、cnzz、51la、51yes、360、google等。。。。。。

    3、网站客服ID关联

    常见的第三方客服系统蕴含meiqia、livehelp、qq、comm800等，，，，，这个必要比力长功夫的堆集，，，，，必要“见多识广”。。。。。。同时好多网站也会在网站留下TG号、qq号、邮箱等联系方式。。。。。。

    4、网站间的跳转关系

    凭据网站的跳转关系进行关联，，，，，好比接见A网站，，，，，但是跳转到了B网站，，，，，或者页内加载了一个iframe加载的C网站的内容，，，，，A网站可能只是引流用的，，，，，通过这种跳转关系能够进行关联。。。。。。跳转方式蕴含但不限于：301跳转、302跳转、iframe加载跨域资源、metarefresh跳转、JS动态渲染跳转等。。。。。。

    5、其他关联

    网页间还存在一些其它的关联，，，，，好比网站icon图标一样、网页模板类似、Whois注册信息、DNSA纪录、DNSCNAME纪录以及一些特殊的资源文件等。。。。。。

    6、一些非强关联关系的注明

    我们根基不进行whois上的关联，，，，，我看好多选手用了whois数据，，，，，一个原因是whois此刻好多隐衷；；；；；；ぃ，，，，很难出有效数据，，，，，还有就是有好多域名贩子，，，，，他卖的域名联系方式满是他一幼我，，，，，就会产生好多不用要的关联。。。。。。

    对于网站图标icon和类似网页(模板)能够用来进行参考或者后面家族归并用来加权使用，，，，，由于大量模板站、包网服务的存在，，，，，这种关联关系并不能说是绝对的，，，，，至于类似网页检测我们临时用的是SimHash，，，，，顺带做了点模板鉴别工作。。。。。。同时我们也在索求更高效、正确的网页类似度算法。。。。。。

    对于A纪录和CNAME纪录的关系由于CDN技术的原因我们也只是会作为参考，，，，，并不是绝对的关联，，，，，会凭据IP的属性赋予其适当的权沉。。。。。。

    与此同时为了越发直观的展示黑产家族的关系，，，，，我们还进行了一些图的可视化索求：

    写在最后

    作为出题人及评审，，，，，我们团队从DataCon进行最初已经陆续三年深度参加其中，，，，，见到了好多很严害或思路清奇的选手，，，，，ca88登陆平台团队也在不休地进建、成长和进取。。。。。。我们也会一向秉持着盛开的态杜纂各位参赛选手进行互换，，，，，我们随时敞开大门欢迎各位来相互进行学术、技术上的探求和互换~

    同时我们也比力缺人手，，，，，欢迎来投简历，，，，，实习、正式入职都可~

    联系邮箱：chenzhuo02@qianxin.com