DeepFlow:做好云原生时代的网络监控
Gartner预测,到2022年,将有超过75%的全球组织将在生产环境中运行容器化应用。传统软件服务商加速转型,云原生应用将成为新常态,容器技术以及云原生架构将在企业落地,但云杉网络注意到,随着容器架构的引入和容器技术的广泛使用,网络将变得异常复杂。
云杉网络作为国内最知名的独立SDN创新技术企业,拿出了应对云原生网络挑战的方案,用DeepFlow提供对于网络状况的透视能力,用NSP对网络进行调整和优化,为云原生在企业的落地做好了网络方面的准备,它是云原生时代的网络监控。
容器出现后带来的三大新挑战
现在看来,虚拟化技术以前的物理网络技术是非常单纯又美好的时代,虚拟化技术的出现,让网络的复杂度陡然提升,而容器技术的出现又让网络的复杂度呈几何速率提升,在新的技术架构下,用户会做应用的拆分,做微服务改造,传统的网络监控手段对于这类场景无能为力。
云杉网络网络研发总监向阳总结了有了容器之后,数据中心网络监控管理面临的问题:
首先,由于虚拟化和容器技术的采用,导致网络规模有100倍的增加,从物理机到虚拟机有大约10倍的增加,从虚拟机进化到容器技术,又是10倍的增加。
另外一方面的挑战在于资源的动态性,容器和虚拟机提供的是灵活性,也就意味着他们随时可以被创建,随时可能消失,随时可能会迁移,那么资源所对应的IP地址也会频繁发生变化。
再一方面,是虚拟和物理边界的问题,在没有虚拟化技术以前,看到设备就能看到业务边界,而现在,虚拟化和容器化的出现,业务网络可以做许多逻辑切分,使得业务边界变的非常模糊。
从这些变化能感受到网络复杂度提升带来的问题,但具体有多复杂,怎么才能看清楚呢?这就是云杉网络DeepFlow混合云网络监控诊断方案所要解决的问题,只有先看清楚网络才有可能解决网络的问题。
云杉网络的三方面的核心能力
首先,DeepFlow的架构非常的现代化。DeepFlow的架构是面向企业混合云环境而设计的,本身是分布式的架构设计,所有组件都支持水平扩展,采集器支持包括容器化在内的多种部署方式,对于运行环境没有依赖性,易于部署。更重要的是,监控能力能随业务规模扩展而扩展。
其次,采集能力很强,它不仅能采集各种资源里(包括物理的、虚拟化的以及容器)的网络数据,而且,数据采集的非常全。同时,采集器的采集效率也非常高,过程的资源消耗特别小,对网络运行环境的影响微乎其微,此外,值得一提的是,DeepFlow的采集器是无侵入式的,与常见的APM有本质上的区别。
第三,数据分析和数据开放能力强。对采集来的数据进行预处理后,一部分数据与DeepFlow的网络知识图谱对应上,发送给DeepFlow的业务监控和分析诊断平台。另外一部分数据,可以交给第三方的网络分析工具,将采集来的数据开放出去,一次采集后,可以供多个分析工具多次使用。让抓不到容器网络环境的网络分析工具也能使用这些监控数据。
第四点是对云原生、分布式系统可观测能力强。为了让用户把网络看的更清楚,DeepFlow围绕Metrics、Tracing、Logging数据构建网络知识图谱体系。
以前的网络问题定位基本是靠IP,但由于在云化环境和容器环境中的资源动态性太强,只靠IP是不行的,还得从容器、虚拟化、网络、应用、资源池等视角展示资源与资源之间,业务和业务之间的访问关系来判断,知识图谱则呈现了资源之间的关联关系和指标数据的可观测性。
有了DeepFlow的知识图谱之后,当网络出现问题后,运维人员可以定位到是哪个容器pod、哪个微服务或哪个VPC有问题,而不再是哪个IP出了问题。有了DeepFlow之后,结合网络监控全景图,无论业务资源在哪个位置,都能提供恒定的监控能力。
向阳表示,DeepFlow的产品成熟度已经很高了,在DeepFlow未来的产品规划中,首先要强化面向业务的监控能力,强化多租户的能力,从而让用户实现自服务。长远来看,DeepFlow是要实现SaaS化,以更便捷的方式来交付,目前仍是以本地私有化部署形式为主。
据介绍,云杉网络DeepFlow是国内首个真正在客户混合云环境中落地的容器网络监控诊断方案,我们看到,DeepFlow在许多运营商、银行、证券、保险等行业客户中得到了商用。
某集团的IT基础设施分布在全国各地,它既有私有云资源,也有多个公有云资源池,DeepFlow为其提供了全网的采集分析监控解决方案,所有的控制器、采集器和数据节点都是分布式的部署在企业IT环境中,具有很强的扩展性,用户的资源规模越大,DeepFlow的监控能力就有多大。
某股份制银行在分期建设云资源池,一期建设中创建了KVM资源池,这一阶段,DeepFlow开始提供了网络监控能力,在随后的扩展的多个KVM资源池中,在新构建的容器化的资源池中,DeepFlow也提供了监控能力,用户的资源在哪儿,DeepFlow的监控就走到哪儿。
DeepFlow:可持续演进的平台级网络监控
云杉网络是国内为数不多的SDN创新企业,众所周知,网络本身非常复杂,云杉网络做的事情也很复杂,DeepFlow的直接用户以运维人员为主,帮助运维人员快速发现网络中的问题,本身是非常有价值的。
为了提升DeepFlow的适用性,云杉网络利用SDN技术积累做了大量的工作适配主流的资源平台和云平台,并不是简单调用API,而是要与知识图谱等对接和关联起来的。目前,DeepFlow支持与20多个主流平台做资源信息的同步,构建了较为完备的网络知识图谱的体系。
不久前,云杉网络宣布与阿里云完成产品兼容性测试互认证,云杉网络成为阿里云首个混合云网络流量分析合作伙伴,目前在双方合作中,混合云网络流量分析解决方案已在国家电网落地实施,为国网云运维保障提供了创新技术支撑能力。
在向阳看来,云原生时代的网络监控有了新变化,以往的网络监控都是伴随一个个业务而部署的,而云原生架构下,网络监控应该是整个基础架构平台的能力,它能随云扩展,随业务扩展。
换言之,云原生时代的网络监控不局限于某个应用,不局限于某个物理设备,而是整个平台的网络监控,这一说法无疑是非常具有先进性的。