第200章 0201大数据时代

{间：20033月4}

{点：加州-帕洛阿尔托}

论哪候谦虚总，但谦虚候难免给误。以kaltix组，宁默并谦虚。

kaltix组掌握技术，确实针峰语pagerank做提升。但bing样网页页权重己专算，搜索引擎本质共性让kaltix技术融入并存问题。

问题，何kaltix组纳入旗。简单把kaltix组挖简单，峰语bing相消彼长“骚操”。

既消彼长，宁默介意亮亮肌肉。

迅雷及掩耳之势，拿！

，番数据搜索延伸场景摆2003代，已足以惊艳形容。

包括霍夫曼内，办室呆四幅“懵逼”样盯宁默，让宁默间“”感觉。

确实，刚刚讲东西眼四言。

太超！

理解，

或许跟。

想赛普突张张嘴，翼翼，“宁，曾峰语搜索引擎讨论搜索引擎技术展。本以为展望已超，想铺开副画卷完全超越曾想象。”

眼位叫做宁轻，仅仅名鼎鼎倍宝，竟【领赢】【yspae】联合创始。

已数项目展现创造力，却想搜索引擎专业领域竟超越代独解。

关注仅仅技术，更科技，或互联网技术类文明未展关键。

果以很问己-搜索引擎以干什，己回答最比宁给答案更些：

“搜索引擎以帮更快速找更专业、更详尽答案。”

但今，赛普觉或许给问问题更答案。

或，今，突给别答案。

搜索引擎以做什？

宁已讲清清楚楚，

但未，

离现确实很远。

想，赛普鼓勇气问，“宁，描绘画卷绝搜索引擎未最值探索展向。”

抱歉点点头，赛普讪笑，“并未，意识未，离些远。它量新技术实现，些技术并简简单单团队以完。

甚至连目搜索引擎领域领先峰语，算它足够技术积累，短期内达未。单单何网页文件串联数据，并以数据库查询式实现搜索，目短期内难功课难点。”

“梦想总，怎步步实现它？”

宁默把关梦想话变话，赛普表态，已想更深层次东西。

宁默明白，些，仅仅靠画饼完全服。

己必须拿完全体付帮样梦想轻！

宁默信笑笑，乘抿口咖啡间脑峰语搜索关键技术汇集册。

把杯嘴边拿开候，宁默脑关峰语搜索关键技术封印，

已打开！

“搜索，往往简单认为搜索抓取爬虫网络抓取结果。但实际，搜索并想象简单。”

宁默杯轻轻放桌，笑扫眼，细细解释：

“谈数据搜索，核体量极数据量。体量数据存储、索引检索，已单单数据库结构实现并解决。

数据量数据存储搜索应文件存储检索系统，它必向规模数据密集型应、伸缩布式文件系统。

【bing】除搜索爬虫外，最核部背套围绕bfs（bingfilesyste）文件系统核技术体。套系统设计目标，许传统布式文件系统很相之处。比，性、伸缩性、靠性以及性。

但bfs以应负载情况技术环境析为基础重考虑，管现，bfs早期布式文件系统设想明显。以重新审视传统文件系统设计折衷选择，衍完全设计思路。

首先，组件失效被认为常态意外。bfs需管理百千存储机器，被相数量户终端机访问。bfs组件数量质量导致实，任何给间内某些组件工，某些组件它目失效状态恢复。

遇各各样问题，比应程序bug、操系统bug、为失误，甚至硬盘、内存、连接器、网络以及电源失效等造问题。以，持续监控、错误侦测、灾难冗余以及动恢复机制必须集gfs。

次，以通常标准衡量，文件非常巨。数gb文件非常普遍。每文件通常包含许应程序象，比eb文档。

未需处理快速增长并由数亿象构、数以tb数据集，采管理数亿kb文件式非常明智，尽管些文件系统支持样管理式。因，设计假设条件参数，比i操blk尺寸需重新考虑。

第，绝部文件修改采文件尾部追加数据，覆盖原数据式。文件随机写入操实际几乎存。旦写完之，文件操读，且通常按顺序读。

量数据符合些特性，比：数据析程序扫描超数据集；正运应程序连续数据流；存档数据；由台机器、另外台机器处理间数据，些间数据处理、续才处理。

针海量文件访问模式，客户端数据块缓存意义，数据追加操性优化原性保证考量因素。

第四，应程序文件系统api协设计提高整系统灵活性。比，放松bfs致性模型求，样减轻文件系统应程序苛刻求，简化bfs设计。

bfs引入原性记录追加操，保证客户端够追加操，需额外步操保证数据致性。”

端咖啡喝口，宁默已习惯身边四目瞪狗呆状态。

放杯，宁默再懒解释些技术细节，但提点：

“bfs早规划四核技术体，涵盖第部布式基础设施，包含模块文件系统（file），布式锁服务（hubby）数据化序列协议（prtlbuffer）。

第部布式规模数据处理模块，包含布式运算程序编程框架应数据查询语言。或许sql类似，但实际它应该被称之为dsl（dain-speifilanguage）。

第部则布式数据库技术，它包含模块布式数据存储系统（bigtable）数据库区系统（sharding）。

最部包含数据优化技术，些技术包括综合考虑数据高温化，电池服务器相应整合技术等。”

撇撇嘴，宁默皱眉头，“搜索引擎全盘技术考虑，但仅仅举很简单例，并且应范围网页搜索结果，并提及整态整体考虑。

但技术内容，远比现讲给听内容复杂。每单项包含量工员相应工果，确实短期内以实现。

但【bing】团队目标明确啊。”

“梦想，万实现呢？”宁默撇嘴挑挑眉毛。

轻挑动，kaltix组眼却郑重斯。

办室鸦雀声，除必眨眼，半余动。

概忍受住沉重气氛，霍夫曼赶忙站身，门口招呼帮忙添几杯咖啡。

霍夫曼算，宁默今少带点“火气”，以平沾即风格变凌厉比。接连瞻技术开诚布示，让斯坦福位弟些承接住。

待送新咖啡，霍夫曼才赶忙招呼，“，先喝点东西消化消化。宁原倍宝带团队候样风格，每次新向，总向向勇往直。

两，未失败。但为什失败，相信刚刚。因为每细节把控已做极致，才步步为营每次胜利。”

赛普明显边拿意位，霍夫曼话音刚落，赛普点点头。

虽直位轻宁话，但赛普总觉己嗓些痒。

咳嗽声身边伴，轻轻点点头，赛普清清嗓，“宁，已清楚描绘未，霍夫曼长样，明白计划每细节重视。

想，番讲述，剩问题。，果加入【bing】，期段间，为【bing】做些什？”

！

余感叹。

宁默做之笃样结果，降维打击仅仅让屈服，实以力征服别。

马星舰队开球候，为什总类想为体呢？

，赛普并样思，被己些找己向。

既别已愿意加入团队，宁默态度温少：

“整bing讲，哑虎搜索引擎部门跳槽陆奇先足够力掌控局。但细枝末节，需足够专实现技术。

峰语样，bing己pagerank算。但目搜索引擎优化，需专。让霍夫曼帮物色选目，霍夫曼为【bing】物色技术专。以，想听听搜索领域哪些特长。”

尽管知kaltix技术核套包含技术算，算知技术次外推，blkrank适应pagerank。宁默依旧做足够姿态。

赛普点点头，笑，“，宁，由向详细介绍kaltix。”

搜索引擎并宁墨擅长范围，但世峰语崇拜驱使宁默峰语技术相研究，些积累搜索知识让宁默赛普沟通并吃力。

kaltix赛普基峰语核pagerank技术新兴搜索排序技术，它基兴趣搜索结果排序式，以讲搜索引擎速度提升原速度五倍。

它项核技术……

算知些，宁默细细听完觉己淡。

难怪世峰语2004飞速展，完全因为收购并消化kaltix核技术，kaltix峰语搜索提升显易。

赛普讲解，让宁默觉己捡宝，由夸赞，“技术核思想基户体验搜索排序式，重视旗产品“交互体验”几乎样求。技术核实‘交互体验’，仅技术提升更站户角度‘交互体验’提升。

样技术应非常理由客户便捷实，搜索再机器式反馈结果，性化反馈户真正需求。做件情。”

“觉，以力技术，否以加入【bing】呢？”

赛普真望己，宁默突很想笑。

论何，句话昭示结果。

己次坑峰语，

kaltix组归！