高级搜索
 
 
 
 
设计类
 
设计理论
设计工具
设计类教材
美术设计基础
艺态
 
连环画
 
中国历史和人物故事
中国戏曲和民间故事
中国革命斗争故事
综合类故事
外国故事
宣纸本连环画
 
明信片
 
中国风光系列
中国民间艺术系列
中国陶瓷珍品系列
中国脸谱艺术系列
世界绘画珍品系列
综合类
 
美术画册
 
美术史论
 
绘画技法
 
图谱.工具书
 
陶瓷.工艺美术
 
少儿美术
 
书法.字帖
 
收藏.鉴赏.拍卖
 
摄影画册
 
摄影技法
 
摄影工具书
 
旅游读物
 
综合类
 
挂历
 
月历
年历
台历
周历
金属蚀刻画
宣传画册
艺术品
中华传统学问精粹系列
 
 
 
 

怎么能像脸书一样将数据仓库扩展到300PB

2019-11-06 03:55:27

虽然国内近两年大数据炒得火热,但是实际上,确实是要到达FB这样的量级,才称得上是“大”数据。对这个量级的数据进行读取和应用的难点,就好比大家现在的高速动车组无法在传统铁路运输线上跑出每小时300Km+的速度一样,它需要“私人定制”的铁路,以往的硬件已经完全无法满足让它跑起来的需求了。PB级的数据量在目前的商业数据库领域还没有很好的解决方案,即便是知名的电商平台,比如淘宝,很多时候面临的数据处理问题,也是前无古人的问题。在我看来,大家在技术上,其实可以在这些方面进行探索:关于数据存储。在目前的关系型数据库领域,绝大多数的数据库产品是以行为单位存储数据,还有一类数据库产品则是以列存储方式进行数据存储,行存储的写入是一次性完成,消耗的时间比列存储少,并且能够保证数据的完整性。但缺点是数据读取过程中行存储的方式会一次把整行的数据完全读取出来,如果大家只需要其中几列数据的时候就会产生大量冗余数据,如果只有数据量比较少的情况下,此影响基本可以忽略,但如果数量较大就可能会影响到数据的处理效率。列存储在写入效率、保证数据完整性上都不如行存储,它的优势是在读取过程,不会产生冗余数据,这对数据完整性要求不高的大数据处理领域,犹为重要,所以在大数据处理领域,列存储不失为一个非常不错的选择。还有就是文件系统。计算机的文件系统是一种存储和组织数据的方法,普通用户可能感觉不到它的存在,普通用户在使用计算机时,最经常打交道的是目录和文件,文件系统就是在用户实行打开文件时去磁盘上找到相应的数据块。如果一个文件的数据块是分散的存储在磁盘上的,文件系统还需要将它们组织到一起,在用户保存或删除文件时,文件系统需要在磁盘上相应位置写入数据或者将相应的位置标记为‘可用’,以供下一次写文件时可以直接使用,大家刚才说的都是在单机情况下文件系统需要完成的工作。但从大数据处理的视角来看,数据不可能只存储在一台服务器上,常常是数以千记万记甚至更多的服务器,服务器与服务器之前通过网络连接,如何高效的查找定位所需要的文件,如何高效的压缩解压数据,都是分布式文件系统需要解决的问题。如果看了这些,你还是觉得意犹未尽可以看看这篇文章:脸书的数据仓库是如何扩展到300PB的

上一篇:作为航空乘务员在飞机上遇到过哪些有趣的事
下一篇:最新猫妖传到底讲的什么
 
 
 
 黄宾虹山水画论稿(新版)
 邓散木书法篆刻学
 钱松岩砚边点滴(新版)
 沈尹默书法论丛
 于非闇花鸟画谱
 钱松喦山水写生法
 品古文繁体习字帖
 创意绘画实验室
 平面设计师创意指南
 品宋词繁体习字帖
 
 
 放手画禅绕:108个简单的禅绕画练习
 彩色禅绕画:48个有趣的禅绕画练习
 禅绕瑜伽:90个放松身心的禅绕画练习
 禅绕曼陀罗:60个缓解压力的圆形禅绕画练习
 45个精美花卉的涂鸦练习
 45个时尚服饰的涂鸦练习
 flash动画影片制作技巧
 申石伽山水画范本
 新编画牡丹十招
 钱松喦山水写生法
 
 
 
 张士诚徐寿辉韩山童朱
 泰航腾飞前爆炸声机受
 台风“海贝思”席卷日
 石油举措措施遭无人机
 新疆巴音郭楞州轮台县
 怎样才能把人画得既卡
 武汉将通“开往柏林的
 看望山东被埋男婴老家
 作为一名记者却没有人
 中国现在的造船工业能
 
 
 “平行的世界”党震水
 央视暂停NBA转播!中国
 中国体操队无金收官
 埃塞俄比亚总理获20
 孙小果再审案件休庭审
 这种情况要不要尝试三
 准备带爸妈去加州度假
 作为颜值很高的医生是
 秦牛正威承认爱情感觉
 周子瑜事件可能会对同
 中国教育体制下偏才怪
 【展讯】“法古禅心”
 怎样评价二宫和也与北
 怎样评价神探夏洛克可
 长安十二时辰中最可恶
 怎么理解再见二丁目的
 王者荣耀秋季赛:eS
 姐姐找到失联20年的弟
 江西麻将馆禁令:取缔
 致命魔术想说明什么观
 怎么评价歌手第三期里
 自信来源于什么
 大妈逼迫别人占本人廉
 【展讯】“耕耘者”戴
 怎么评价李白的作品
 湖南湘潭交通事变致
 研讨称外星人或者早来
 英下议院议长就职:最
 中国护士在日本旅游救
 陕西字画院第二十四期
 
 
 

沪公网安备 31010602000234号

  沪ICP备05039597号-1 网站地图
1 5 3 2
XML 地图 | Sitemap 地图