华为HPC技术创新的金刚钻( 二 ) HPC是高性能的巅峰

文章图片
首先，是算力异构化成为超算技术发展的趋势，处理器开始多样性发展，多元应用也在驱动算力的多样化。面向多样性计算时代，系统从单一算力到多样性算力，从单机部署到集群部署，从传统应用到融合智能应用，给软件开发者带来了更加复杂的挑战。
为此，华为发布了多样性计算融合架构“北冥” 。作为多样性计算硬件及集群打造的完整软件栈，北冥架构不仅为多样性计算系统提供通用、高效、高性能的开发能力，助力开发者更好地应对开发生态碎片化、开发成本高、系统整体性能无法充分发挥的挑战；还可以帮助开发者实现分布式应用的极简开发、融合应用的高效部署以及多样性计算系统的全栈效能最优。同时，北冥架构的MindStudio统一工具链，为开发者提供统一集成开发环境，实现开发全流程连贯无断点。
简而言之，华为为多样性计算打造的北冥架构，帮助开发者简化多样性计算环境下的开发和部署，实现与单机相同的应用开发和部署体验，充分释放算力性能，获得远超单一算力的应用性能。
其次，数据密集型超算需求激增。最新发布的报告显示：HPC整体市场预计在未来五年（2019-2024年）将以6.8%的复合年增长率（CAGR）增长，其中高性能数据分析HPDA的市场份额（包括支持HPC的人工智能）预计将以5年平均17%的CAGR迅猛增长。
这意味着客户在HPDA和AI代表的数据密集型方向上有较多需求。为此华为发布了业界首个面向HPDA的华为OceanStorPacific存储，可以做到一套存储支撑高性能计算、大数据分析、AI计算的混合负载，大幅提升数据分析效率。同时，华为还联合中国计算机学会高性能计算专业委员会发布了由多个产学研组织联合编写的《数据密集型超算技术白皮书》。
第三，数据中心网络，连接数据中心内部通用计算、存储和高性能计算资源，服务器间的所有数据交互都要经由网络转发。随着IT架构、计算和存储技术都在发生重大变革，驱动数据中心网络从原来的多张网络独立部署向全以太化演进。而传统的以太网无法满足存储和高性能计算的业务需求。
华为超融合数据中心网络，通过智能无损算法、在网计算等技术创新，可以基于全无损以太架构实现以太对传统专有网络技术的替代和超越，打破通用计算、存储和高性能计算三套网络架构的限制，最大化实现数据的无障碍流动，有效提升算力能效比，并可率先向L3.5自动驾驶数据中心网络迈进，实现多云多厂商网络的端到端自动化和智能运维。
在本次的HPCChina2021上，北冥架构、OceanStorPacific存储和超融合数据中心网络，组成了华为HPC技术创新的“黄金搭档” 。
华为为什么能够成为HPC产业的领导者
作为公认的“计算金字塔尖上的明珠” ， HPC的成就一方面有赖于计算、存储、网络这些基础技术的创新，另一方面则要求与场景做结合，解决实际项目中的问题。
首先，对HPC这种技术创新来说，耐得住寂寞，沉下心来才能走的更远。而华为多年在不断深入基础技术研发，过去十年研发总投资超过7200亿元人民币，未来几年，华为每年的研发经费会逐步提升到150~200亿美元。
其次，华为30多年的发展历程中，服务了大量的客户场景，并通过场景反馈出更多的需求，让华为更理解多样性的算力，如何赋能多样性的场景需求。这是华为能够屹立HPC发展潮头的原因之一，例如在HPDA需求，自动驾驶、基因测序、电影渲染、精准天气预报等广泛的应用场景，华为均有很好的建树。