“有人的地方,就有江湖”

有人的地方,就有江湖。有了江湖,就免不了血雨腥风和尔虞我诈。江湖如此,互联网亦如此。江湖百姓眼里看似平静无澜的互联网,其实早已暗潮汹涌,刹那间刀光剑影闪过,道义与邪魔早已来往数招。双十一时兴致勃勃清空了购物车的你,却不知多少电商被黑产暗算,薅尽每一根羊毛,血本无归。每天行走于豆瓣、知乎的你,畅谈古今,论道天地,却不知自己的账号早已被撞库泄露,岌岌可危。

image.png

 

互联网安全已成为重中之重,不可信的网络,是无法应用的,互联网经历了近10年的高速发展,当年出身草莽的正义之士,已修炼得道,依靠传世武功为互联网保驾护航,但“邪魔”们从未放弃研习旁门左道,伺机而动,试图突破安全漏洞。互联网安全领域的对抗,从未停止,攻防双方随着安全技术的演进,此消彼长,来回往复,愈演愈烈。

今天,互联网恶意欺诈攻击更加多样化,更加隐蔽,防御难度与日俱增,依靠专家策略规则对抗的传统武功已开始力不从心,阿里云、腾讯云等各大门派都意图在人工智能算法领域探求解决之道。2019年,华为云算法创新Lab团队也凭借深厚内功,打出了智能算法对抗互联网欺诈攻击的第一招。本期展播,将向大家介绍构建于智能算法之上的互联网安全防御能力,算法创新Lab团队期望以此为起点,不断精进,打通智能算法对抗互联网欺诈攻击的任督二脉,扬善除恶,还世人一个平静美好的互联网江湖。

一、设备指纹算法

算法挑战和技术方案

江湖风波起,查找凶手难,基于武器查找凶手成为了非常重要的破案手段。轩辕剑、干将剑、莫邪剑、倚天剑、屠龙刀、青龙偃月刀……,每一把名刀名剑都有名称,但是要把每个江湖儿女使用的武器都标上唯一的名称,跟踪管理起来,难度可想而知。

设备指纹跟踪技术利用设备的软硬件信息以及系统运行时的特征,为每一个设备生成一个唯一的设备ID,在系统运行过程中,持续地跟踪一个设备,是用户建模和反欺诈的基础技术。在实践中,面临一系列挑战,例如,由于软硬件升级、运行环境改变、人为修改等,设备特征会发生变化;同时,在不同的应用场景中,各个特征的唯一性也会发生改变;此外,由于搜索规模大,对算法的检索性能要求很高。本方案有效地结合了AI算法和局部敏感哈希技术,首先引入AI特征权重学习算法,自动适应特征的唯一性变化问题;进一步利用局部敏感哈希算法,极大地缩小搜索范围;同时针对移动设备业务特征,设计组合采样哈希方法,实现了对大规模移动设备指纹的准确快速跟踪。

image.png

设备指纹跟踪方案

当前进展

移动设备指纹跟踪在可信实验室数据集达成较高精准率,并在端侧防御对抗领先支付宝,指纹唯一性领先网易。核心算法方案已向产品团队交付,同时已提交专利。 

二、基于风险关系的欺诈社团挖掘算法

算法挑战和技术方案

奸细已渗透到内部,渗透了多少很难查清。

互联网领域黑色产业的恶意行为往往具有团伙性,看似独立的注册、登录、交易行为之间通过关键要素(用户、设备、IP等)关联。这些关联从图算法的角度看,呈现社团的特征。我们将登录数据抽象成“风险关系”数据结构,以用户,设备,IP为点(Node),以使用关系为边(Edge)。进入全新设计权重的经典的鲁汶算法,基于使用行为的统计指标、时间序列、空间等相似度,更好的捕捉到恶意社团用户与正常用户相比的离群行为,在社团发现算法的作用下将恶意用户聚集到各个社团内。在完成社团聚集后,我们又通过有效的社团统计特征和分类模型,将社团里疑似恶意的社团过滤出来。实现了登录数据到恶意社团端到端的挖掘。

技术方案架构图

image.png

 

当前进展

经算法创新Lab、安全服务产品团队联合设计,孵化产出基于风险关系的欺诈社团挖掘算法,其中对经典的社团发现算法进行改进设计,又围绕华为云登录场景进行了创新优化,帮助业务方从看似不相关的数据中挖掘出恶意团伙。技术方案在华为云用户的登录数据上经验证取得良好的效果,为业务方挖掘出一大批之前未发觉的恶意用户团伙。

三、人机识别算法族

算法挑战和技术方案

“天王盖地虎”,“宝塔镇河妖”。江湖中的暗号已经泄露,识别敌人和自己人得另想办法。

人机识别算法主要应用在如网站安全、运营和交易等场景下的机器流量识别。在公有云上以智能验证码服务的形式供客户使用。现有验证码大多通过简单的规则或模型实现,用户体验感差、易被破解,防御能力低,且无法应对多变的高阶类人脚本攻击行为。

为了解决现有人机识别算法的问题,同时保持极高的用户体验,主要从两方面增加对高级类人机器脚本攻击的防御和识别能力。一方面,针对验证码图片进行视觉对抗增强,通过对图像内容的分析添加少量人类不易察觉的噪点扰动降低神经网络对图片内容的识别率,同时通过定期更换噪声选择模型以增加干扰的多样性,提高对通用攻击的防御能力。另一方面,基于生物行为和环境特征,对真实用户行为和恶意脚本攻击进行精准识别。用户在PC平台的鼠标拖动轨迹和移动端手指滑动轨迹均存在大量随机停顿等非定量行为,以及初始滑动快,接近终点时减速或滑出后回退等特点。通过创新性的同心环方法采集不同区域的轨迹数据进行分段分析和多维度特征提取,输入随机森林等AI模型,从而实现高精准率的人机识别。

 

image.png

AI视觉对抗

image.png  image.png

人机行为采集

 

image.png

AI人机识别

 

落地情况

人机识别算法当前在多类验证码的实验室数据下均已实现较高机器行为检出率,同时保留了良好的用户体验,服务覆盖多种类人攻击场景,在高级类人滑动行为攻击等维度构筑领先友商的差异化竞争力。当前技术成果已落地至华为云智能验证码服务,包括滑动验证码、无感验证码及点选验证码等多种体验良好的交互方式,且有多家外部客户接入使用。获得产品团队表彰及感谢。

现有12306网站验证码,用户体验较差

image.pngimage.png

 

智能无感验证码             智能滑动验证码             智能点选验证码

image.png image.png image.png