分类 网络查询 下的文章

钟馗之眼 访问:32点赞:0
分类: 网络查询

近日,国内互联网安全厂商知道创宇开放了他们的海量数据库,对之前沉淀的数据进行了整合、整理,打造了一个名符其实的网络空间搜索引擎ZoomEye(http://www.zoomeye.org/),该搜索引擎的后端数据计划包括两部分: 1,网站组件指纹:包括操作系统,Web服务,服务端语言,Web开发框架,Web应用,前端库及第三方组件等等。 2,主机设备指纹:结合NMAP大规模扫描结果进行整合。 目前只上线了第一部分网站组件指纹。 为什么叫做ZoomEye? 实际上我们的内部叫法是:钟馗之眼,钟馗是追鬼大师,大家懂得,我们跑全球网站与主机就是要把其中的“鬼”捉出来。为了洋气,总得弄个英文名吧,想来想去,想到了ZoomEye:) ZoomEye打造成搜索引擎其实很早就是我们的想法,只是放到了现在才开放,因为我们已经准备差不多了。 使用小计: 有的同学应该还知道国外的shodanhq.com(我们称之为:撒旦),这也是一个非常优秀的主机搜索引擎,ZoomEye有些思想也是借鉴了shodanhq。ZoomEye和Shodanhq的区别是ZoomEye目前侧重于Web层面的资产发现而Shodanhq则侧重于主机层面。比如我们以当前使用量世界第一的Blog应用Wordpress作为关键字分别进行搜索。 使用Shodanhq搜索到了3万多条记录,而使用ZoomEye搜索到了30多W条记录且结果吻合度非常高。 除了最普通的关键词搜索,ZoomEye目前还支持对Web应用指定版本号,比如我们想搜索使用wordpress 3.5.1版本的网站,输入搜索短语wordpress:3.5.1即可。同样我们还可以对国家和城市进行限定,比如输入wordpress:3.5.1 country:cn city:beijing能够搜索到主机位于中国北京且使用wordpress 3.5.1版本的网站。 该搜索引擎目前正在逐步完善,更多功能也在逐步添加当中,目前已经整合了全球4100万网站的网站组件指纹库,数据量相对可观,后期会继续扩充。在搜索框中可以搜索你关心的网站组件,比如discuz、dedecms,比如nginx、apache,甚至你搜hacked by也能得到一些亮点。 争议:是否会被黑客利用? 这个问题我们早就注意到了,所以在做一些查询限制。正式上线前,我们还会做出更多的策略保证不会被黑客大规模利用。 由于是逐渐开放,目前还存在一些不完备之处,后端还有海量的数据正在整合和优化,欢迎各位同学给我们提出建设性的建议,我们收纳后,会在适合的地方进行感谢。 还有很重要的几点: 1. 实际上专业的黑客根本不在乎我们这个搜索引擎; 2. 我们并没给出非法的信息,所有信息采集都是合法的; ZoomEye为什么要定位成网络空间搜索引擎? 全球网站都是由各种组件组成,比如用的哪种操作系统、哪种Web容器、什么服务端语言、什么Web应用等等。这些我们都认为是组件,这些组件构成了网站,形成了我们这个丰富多彩的网络世界。 现在很多攻击都是针对网站组件进行的,拿组件下手是因为组件被使用的很多,只要研究出某个组件的漏洞,就能让使用这个组件的一大批网站沦陷。同理到主机,在我们现有的库里,我们发现了很多亮点,比如亚洲某国的核设施设备,大存储设备,大量Win2000主机(是不是可以直接干掉?),大量的MongoDB数据库(可以直接干掉),数十万的网络摄像头。这个库我们还没开放,会逐渐开放,大家如果要体验主机设备的可以到之前提到过的撒旦网站上。 网站+主机构成了这个网络空间,ZoomEye的目标是采集全球这些指纹,开放搜索引擎,推进这个安全领域的进展,让更多人意识到,你暴露在网络空间上的组件或设备,实际上并不安全,藏着掖着没用!只要你在公网,ZoomEye就会默认收录,不过我们尊重不愿意搜录的网站或设备,这个协议,会在下一步进行。 最后,希望zoomeye这样有争议的搜索引擎能够促进安全领域的进步!