加入收藏 | 设为首页 | 会员中心 | 我要投稿 源码网 (https://www.900php.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

元宇宙与大数据,支撑大数据的基础——硬件架构(中篇)

发布时间:2022-12-08 14:32:55 所属栏目:大数据 来源:网络
导读: 上文提到,由超级大公司所引领的大数据行业的成长,并结合上述关于数据安全,数据处理等方面的需求,对应的开源硬件联合组织相应出台。也就是:ODCC/OCP/OPEN19,这三家并称为全球三大开放

上文提到,由超级大公司所引领的大数据行业的成长,并结合上述关于数据安全,数据处理等方面的需求,对应的开源硬件联合组织相应出台。也就是:ODCC/OCP/OPEN19,这三家并称为全球三大开放计算组织,都旨在打造数据中心开放平台,推动数据中心基础设施标准化、产业化。

ODCC(Open Data Center Committee)开放数据中心委员会,目前ODCC的决策组成员为腾讯、阿里巴巴、百度、中国电信、中国移动、中国信通院(云大所)、京东和美团。会员单位超过100家,覆盖数据中心行业的上下游企业。

OCP(Open Compute Project)Facebook牵头发起了OCP社区,将Facebook的一些数据中心设备设计标准公开,希望供应商和其他的CSP加入进来,构建一个面向CSP需求的产业生态,从而有效地降低成本。这就是今天的OCP组织的由来。

Open19是LinkedIn推出的一项新举措,计划建立一个适用于任何EIA 19英寸机架的标准,以允许更多的供应商生产在任何机架环境下可以互操作和互换的服务器。

在各大领头公司积极地部署云服务,这对行业综合发展有很多利好,其核心就是:开放计算将打破开源硬件与软件的发展不平衡。

在硬件开源组织逐渐有“各立山头“之势时,对于“大数据”流量支持的切实需求,则落在了基础设施的完善需求上。

全球COVID-19大流行极大地改变了各种规模的企业和组织购买和使用在线工具的方式,从视频会议和虚拟商务活动到娱乐和远程教育。 这种变化是由云环境,特别是公共云支持的。因此,企业正快速地为其公共云基础设施购买服务器、存储和网络产品。

根据IT研究公司IDC的数据,仅在2020年第三季度,用于公共云基础设施的支出就达到了133亿美元,同比增长13%。 戴尔技术公司(Dell Technologies)、惠普企业(Hewlett Packard Enterprise)和浪潮(Inspur)在云基础设施销售方面领先市场,因为这三家公司在服务器、存储和超融合基础设施市场上处于领先地位。

大数据与淘宝_大数据淘宝_大数据在淘宝的应用

Synergy研究集团首席分析师约翰?丁斯代尔在一份声明中表示:“过去8个季度新增111个超大规模数据中心,其中52个将在2020年投入运营,尽管COVID-19造成了一些后勤问题。这证明了推动这些投资的数字服务的持续强劲增长,尤其是云计算、软件即服务(SaaS)、电子商务、游戏和视频服务。”

"除了近600个运营数据中心外,我们还有219个数据中心正处于不同的规划或建设阶段,这对数据中心硬件供应商和批发数据中心运营商来说确实是个好消息," Synergy的Dinsdale表示。

到这里,终于引出了我们关于支持大量运营数据所需要的——数据中心。

大数据与淘宝_大数据在淘宝的应用_大数据淘宝

数据中心是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。我们也可以简单理解为一个有独立处理数据,进行运算的大型计算机机房。

与传统的数据中心相比,超大规模的数据中心包含更多的IT产品,通常包含数万台服务器和硬件以及数百万台虚拟机。超大规模数据中心在其设计中关注基础设施优化和规模加速,以及产品如何供电和管理。

2019冠状病毒病(COVID-19)全球大流行引发了2020年第三季度创纪录的数据中心支出,达到370亿美元,领头的是AWS、谷歌和微软。到2020年底,由AWS、微软、谷歌等超大规模提供商运营的大型数据中心数量增加到近600个,是2015年的两倍。亚马逊和谷歌在过去12个月内新建的数据中心最多,占2020年新建的超大规模数据中心总数的一半。

值得注意的是,像AWS、谷歌和微软这样的公司并不会自己建造每一个数据中心,他们通常会从Digital Realty和Equinix这样的数据中心运营公司租赁容量和空间。Synergy表示,大约70%的超大规模数据中心位于从数据中心运营商租用的设施中,或由超大规模运营商的合作伙伴拥有。

就地理位置而言,美国占据了近40%的主要云和互联网数据中心站点。 紧随其后的是中国、日本、德国、英国和澳大利亚,据Synergy称,这几个国家的留学生总数又占到了29%。 其他正在大举投资兴建超大规模数据中心的大型科技公司包括甲骨文(Oracle)、阿里巴巴(Alibaba)和Facebook。

这里我们以Facebook为例,Facebook致力于打造的“元宇宙”数据中心分布在美国、欧洲和新加坡,这张地图突出了Facebook打造的数据中心,在可再生能源、水资源管理等方面的投资部署。

大数据与淘宝_大数据淘宝_大数据在淘宝的应用

在Facebook全球的数据中心基地,重点并不仅仅考虑到数据中心的架构,技术整合等等。更重要会考虑保护建造地的生态,以及保证数据中心运营的能源再生。据宣称,Facebook的全球数据中心均实现净零碳排放,并获得了全球公认的可持续发展标准LEED?金牌认证。(笔者注:LEED Gold certification,Leadership in Energy and Environmental Design,因为建筑目前产生了美国38%的温室气体。 LEED的诞生源于数十家美国建筑公司与一名建筑经理和一名环境律师联合起来,以抵消美国建筑的巨大碳足迹。 据可持续投资集团(Sustainable Investment Group)称,该联盟成立了美国绿色建筑委员会(U.S. Green Building Council),后者反过来又发明了LEED体系。 第一个LEED认证颁发于1998年)

大数据与淘宝_大数据在淘宝的应用_大数据淘宝

数据中心的建立,其实会面临很多问题,比如超大的电力能耗,产生的热能,为了保证降温,还要设置精密空调等调节温度,因此在资源方面,电力,水资源消耗都是巨大的。建造数据中心,需要考虑到节能减排,环保,尽量不对当前的生态造成过大影响。

所以建立数据中心的同时,势必要提前考量资源可回收属性,比如在用电比例中,位于新加坡的数据中心,采用海浪发电的方式。在其多地设置的数据中心,也有大量通过Solar光能,风能,以及水利发电等环保能源来源方式,同时,考虑到数据中心整体机房带来的噪音大数据与淘宝,产热等问题,也通过热能回收等方式。总体来讲在节能方面不断探索各种可行地方式。并且,为了确保数据中心用电,而在当地投资新的风能和太阳能项目,也可为当地经济做出了额外的贡献。举例,“元宇宙”数据中心在项目,可以为新加坡电网增加超过160兆瓦的新可再生能源。距今为止,在18个州和5个国家签订了超过60亿瓦的风能和太阳能合同。

大数据淘宝_大数据与淘宝_大数据在淘宝的应用

从数据来看,截至2020年底,数据中心的全球投资组合中已签约的风能和太阳能项目超过590万千瓦,在风能和太阳能运营组合增加到超过280万千瓦,覆盖美国15个州以及欧洲和亚洲。 2021年,开始更加大规模扩展进行数据中心的建立,其中包括第一个太阳能+存储项目,其中包括三个州180兆瓦的存储能力。 这里也引出了我们在系列文章一中有提到的,为什么在“大数据”时代,为何数据这种“虚拟的存在”可以侧面支撑新能源产业的发展。

大数据淘宝_大数据在淘宝的应用_大数据与淘宝

大数据在淘宝的应用_大数据与淘宝_大数据淘宝

61.6 MW Altavista Solar Project in Virginia

当然于此同时,包含微软,Amazon在内的互联网巨头,也同样在布局自己的数据中心,甚至在数据中心的建设过程中,有一些别出心裁的方案。比如微软在2018年在苏格兰奥克尼群岛的一片海域,放置了一台圆柱形数据中心,内置864 台服务器,可以存储 27.6PB 的数据。

大数据在淘宝的应用_大数据与淘宝_大数据淘宝

这个脑洞大开的想法,可以规避陆地上的数据中心面临着诸多挑战,氧气和水汽带来的腐蚀问题、温度变化等。研究人员将服务器密封,并在其中充入氮气,隔绝了氧气、水汽,同时远离人类干扰。并且,我们之前反复谈到了数据中心冷却所需要的空调,以及精密空调,需要的电力成本非常高。通过海水冷却降温,则是一个巧思,这也是为什么放置在苏格兰东北部的另外一个原因,海水温度也更偏低一些。

因此,我们目前看到部分公司已经选择高纬度的寒冷地区来安置机房,当然这种也需要人工维护等成本。在这里笔者突发奇想,说不定未来我国东北部可以大力发展建设数据中心等重要产业,结合优秀的光照条件,配合光伏和储能产业发展整套新能源基建设施,同时,东北优质的教育产生大量优秀人才,同时可以支持超级大型数据中心的运营。

诚然,对于超级大型数据中心的憧憬还在,但是当前大量已经在运行的数据中心,规模和架构还不完善。目前互联网巨头、ICP(电信与信息服务业务经营)和企业使用DCI(Data Center Interconnect)解决方案为其数据中心提供高质量且趋近无限带宽的连接,同时通过自建基础设施来控制成本。但是,随着数据中心建设规模的海量增长,数据中心互联需求倍增,如何实现充分利用好有限的光纤资源、获得可靠的大容量传输是数据中心互联的挑战之一,我们也将在后文继续剖析。

(编辑:源码网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!