如鱼饮水,数据冷暖如何自知?
伴随着万物互联时代的来临,云数物智链等信息技术高速发展,全球数据呈爆炸式增长,PB级规模的数据越来越常见。海量数据也是有温度的,在其呈指级增长的同时,也出现分层特征,按照被访问频率从高到低进行分类,可以将数据为热数据、温数据、冷数据。
热数据
热数据需要被计算节点频繁访问的在线类数据。
热数据因为访问频次需求大,效率要求高,所以就近计算和部署,数据缓存、在线存储、近线备份,以实现数据快速访问及高速处理。
温数据
温数据是即时的状态和行为数据,也可以简单理解为把热数据和冷数据混在一起就成了温数据。如果整体数据量不大,也可以不区分温数据和热数据。
冷数据
一般很少变化的、长时间固定的数据或者属性,如:
过时的项目
日常记录和维护的数据
归档并进入长期保存的数据
其他需要记录的数据
随着数据量的飞速增长,数据由热变冷现象也日益凸显,按照二八定律,经过一段时间的使用,80以上的数据都会变成冷数据。而离线存储为海量冷数据提供安全性高、保存时间长、维护成本低、不可篡改的存储方式。
冷热数据的分层是根据访问的频次来划分的,而不是数据的价值。一方面,冷数据的价值并不一定比热数据低,而且还会随着时间的推移变得更为重要,因此对于海量冷数据也需要确保其长期安全存储;另一方面,不经常访问的冷数据占据了大量的在线存储资源,会造成严重的资源浪费,需要及时转移到离线存储中。
国家发改委发布的发改高技〔2021〕1742号《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》指出,有序推动以数据中心、5G为代表的新型基础设施绿色高质量发展,助力实现碳达峰碳中和目标。立足新发展阶段,贯彻新发展理念,构建新发展格局,统筹处理好发展和减排、整体和局部、短期和中长期的关系,加强强化数据、算力和能源之间的协同联动,加快技术创新和模式创新,坚定不移走绿色低碳发展之路。
强化统筹布局,优化数据中心建设布局;
提高算力能效,加快建设绿色数据中心;
创新节能技术,高效节能技术攻关降低基站设备能耗;
优化节能模式,加强自动化、智能化能耗管理,降低能耗;
利用绿色能源,提升可再生能源在数据中心能源供应中的比重;
促进转型升级,促进传统行业数字化转型。
那么,如何在双碳经济的要求下做好冷数据的长期安全存储工作?