正所谓,工欲善其事,必先利其器。
所有业务前端的产品和服务,甚至市场营销活动。
都需要依靠后端的系统和技术支撑,这也是互联网公司的核心竞争力。
尤其是在现在易趣的业务线已经非常多。
各种不同的业务类型,对后台技术的需求也越来越复杂的前提下。
打造一个能够为前方一线提供足够支撑和良好用户体验的后台系统,
就成为新成立的“大中台”事业群的核心工作目标。
可这并不容易……
就拿电商平台来看:
易趣公司早期的后台系统,是由庞勇一个人写的(易趣网B2C)。
在97年的时候,还用的是C语言和ASP(Active Server Pages,动态服务器页面)技术,数据库用的是SQL Server。
而新成立的淘宝网,则采用了最新的Linux+MySQL+PHP的架构。
之所以采用这个架构,是因为一方面用到的技术是开源、免费的,而且无需编译,发布快速。
这样一来,光是要将电商平台在后台系统做整合,就需要对整个系统架构进行重新升级……
更不用说,还要涉及到一点也不比电商平台系统简单的搜索平台和社交平台了。
所以,隋波刚刚布置完一系列的业务线工作,
就被庞勇请来,参加技术委员会的会议。
希望让他听一听大家的讨论,最后定下一个方案来。
隋波虽然对技术细节一窍不通,
但是他一直都是公司产品的“首席体验官”。
可以从用户体验的角度,提出需求和改进意见。
这样,技术部门也可以有针对性的,来进行系统改造和技术升级。
另外最重要的是,无论是升级系统,还是改进技术,增加服务器、购买数据库软件……
这些都是需要耗费大量资金的。
如果不让隋波这个大老板来听一听。
到时候报预算,审批下来也慢啊……
在技术委员会上,庞勇简单介绍了目前电商平台的系统架构情况。
现在暂时来看,整合难度最大的是易趣网和淘宝网。
像百度搜索,从王川最初开始研发,就有一整套独立的后台系统。
现阶段只需要做数据接口,打通用户信息就可以,等到后期,电商和搜索业务交叉的需求增加的时候,再做更进一步的整合。
电商平台所有产品和功能的底层,其实都是商品管理和交易管理两大系统。
其中主要包括:存储数据库、开发语言、负载均衡、缓存、CDN等。
同时,要想形成真正具备整合能力的“大中台”,将各种业务线整合在一起,还必须有中间件系统(SOA,分布式组件架构),如高性能的服务框架、分布式的数据访问工具等。
简单来说,首先是商品管理系统。
举个例子,电商平台商品管理系统,在后台系统有个专用名词叫商品类目属性。
比如服装,就要分成男装、女装,按照季节,又要分为春夏装、秋冬装……
再继续细分,还可以分为大衣、T恤、裤子……
甚至还能再细分到材质,是蕾丝还是纯棉……
这样,商品的类目属性就会形成非常复杂的网状结构。
对此,技术部门最后做出了一个名为Forest(森林)系统,来对商品的数据信息进行结构化,以便于前后台的调用。
另外有一个难点,就是图片存储系统。
前两年,因为网速和用户体验的考虑,易趣网上图片很少。
但现在,无论是易趣网还是淘宝网上,都已经开始出现了大量图片。
毕竟图片无论是在商品展示上,还是交易系统中都非常重要。
“无图无真相”、“一张好图胜过千言”。
现在电商平台的流量中,图片的访问流量要占到90%以上。
这么多的图片数据,和这么大的流量,会给后台系统带来非常大的压力。
尤其是大规模的小文件存储和读取,这就需要在存储技术和缓存技术上,进行升级和创新。
同时也对,基础网络的带宽提出了更高的要求。
另外,因为电商平台所有的功能都需要依赖用户信息,用户中心模块必须单独拿出来,否则以后系统无法扩展。
这就需要一个中心系统UIC(User Information Center),
可是UIC拿出来之后,应用系统每天访问UIC,UIC访问数据库读取用户信息,以易趣网和淘宝网现在的流量,几乎每天都有数千万甚至上亿次的读取,数据库很快就会崩溃。
这样,一方面需要进行数据库的分布式数据分层访问,另外就是缓存技术。
从前端的缓存,和全局负载均衡设置,传递到后端,流量就非常均衡和分散了,对前端的相应性能也大大提高。
无论是数据库、负载均衡、缓存、开发语言等,这些还是属于纯技术研发的问题。
可CDN就是真正的硬件投入+软件研发了。
什么是CDN?
CDN(Content Delivery Network,即内容分发网络),
它涉及到硬件(服务器)、软件(系统)、带宽(就近分布)三个方面。
现在易趣公司在全国已经分布了十多个服务器节点,在电信机房和地方信息港,10M的带宽,已经远远不能满足现在的网站需求。
首先要升级到100M带宽,同时对服务器硬件进行升级,并且升级CDN的架构,提高服务器的单机性能。
可以说,CDN直接关系到数据库存储、缓存、负载、流量。
会影响到所有平台系统的效率和前端所有业务产品的用户体验……
一大堆的技术名词,听得隋波云山雾绕。
“老庞,你能不能从一个用户的使用角度,简单直接的来告诉我,这个系统的后台运作流程?”
庞勇点点头,整理了一下思路,说道:
“这么来说吧……
当用户想要上网买一个商品,他会首先打开我们电商网站,这时,浏览器会首先查询DNS服务器,把网址转换为IP地址,这会因为不同的地区和不同的网络,转换后的IP地址不同。
这首先涉及到负载均衡的第一步,通过DNS解析域名,把你的访问分配的不同的入口,尽可能保证是所有访问入口中,最快的一个。”
隋波点点头,这样说的确很清晰。
庞勇继续道:“当你通过入口成功访问我们电商网站时,就产生了一个PV(Page View,页面访问量),同时你作为一个独立用户,这次访问网站的所有页面均算成一个UV(Unique Vistor,用户访问)。”
隋波继续点点头,PV和UV是网站规模的重要指标。
“因为同一时刻访问网站的人数太多,所以,生成网站首页页面的服务器不能是仅仅一台,目前我们用户生成易趣和淘宝两个电商网站首页的服务器就接近100台,通过负载均衡系统,后台系统会分配给其中一台服务器完成。”
隋波明白了,负载均衡系统是第一步。
“通过一系列复杂的逻辑运算和数据处理,给你看的网站首页的HTML内容就生成了,浏览器下一步会加载页面中用到的CSS、JS(JavaScript)、图片等样式、脚本和资源文件。
因为同一个域名下并发加载的资源数量有限,为了保证用户访问网站的速度,就需要采用CDN来保证流量的分散和就近的CDN节点。”
隋波默默点头,对CDN他还是有一定了解的,前世时,BAT三大巨头都在全国大规模的布置CDN,就是出于数据和网站的效率。
庞勇继续介绍:“当用户开始浏览首页,你可能只是没有明确的购物意图和目标,只是随意看看,也可能是有一定的购物意图,主要是属性上的需求,又或者已经有了明确的目标,只是进行表和挑选。
这就需要通过网站内的分类目录和搜索来完成。
其中分类目录背后,就是刚才我提到的Forest系统。而搜索,目前我们暂时采用了站内搜索的方式,后续会和百度搜索团队沟通,借鉴更精确的搜索技术,做到站外搜索能够直接链接到商品页面。”
隋波点头表示知道了。
“你找到心仪的商品后,可能会有打开图片,或者浏览商品详情,加入购物车等等行为。
不论你是否进行了交易,你的访问行为都会被系统如实记录下来,用于后续的业务逻辑和数据分析。
这就涉及到了分布式数据存储和用户信息中心系统。
就这样,用户的浏览数据、交易数据和其他数据记录不断保存和积累在我们的数据库中。
并通过我们基于数据计算平台的,由数百台服务器组成的数据系统,进行不断的分析和挖掘。”
隋波听到这里,这才笑道:“你早这么给我介绍,就很清楚明白了!”
我听了一下,现在你们“大中台”事业群的问题是两个方面。
一个是硬件上的升级,一个是软件上的升级,对吧?”
庞勇噎了一下,无奈点头:“这么说……,也没错。”
那么多复杂的问题,被隋波这么归纳了一下,也只能感叹。
像隋波这么牛的人,终于也有缺点啊,他是真不懂技术……
隋波也从来不讳言这一点。
所以他一直对技术团队都非常重视,这也是庞勇、周枫、王川这帮人,跟了他这么久,依然觉得跟他混还挺不错的原因。
除了易趣一直在事业上不断前进所带来的成就感,也有隋波的尊重和支持。
否则,这两年那么多新出现的互联网创业公司,都曾想过挖易趣的技术团队,从股份到高薪,也是各种诱惑。
但易趣的核心技术团队,没有一个离开的。
隋波当即拍板:“服务器增加,你按照三年内用户增加到5000万为标准,需要增加多少服务器,直接报预算。
另外带宽方面,我们直接和电信谈一个全国范围的合作,所有服务器CDN节点都把带宽升级,100M不够就300M。
你说的电商平台的整合和技术升级,我没意见。
需要购买国外的数据库软件的就买,需要自己研发的,你来组织团队开发。
你不是已经开始调各业务线的技术人员到总部了吗?这里面总能找出高手来。
项目研发的团队奖励,按照公司规定,之外再加50%!
我就提两个要求:
第一,系统和技术升级,不能影响到前台的用户体验,至于你们怎么做我不管。
第二,时间,我给你3个月的时间,你必须完成公司各业务线的系统整合。”
庞勇拉他来参加技术委员会,就是为了得到他的支持。
闻言兴奋的点头道:“我明白了,波总,你放心!一定完成任务。”
隋波又说道:
“百度搜索的数据库和整体系统,复杂程度不亚于电商平台。
同时搜索团队现在在优化搜索引擎技术的同时,还在开发营销平台。
你和王川你们两个,平时要多沟通,经验方面要多交流。”
王川也是技术委员会的成员,闻言和庞勇一起点头。
小说推荐
- 荒墓1997
- 《荒墓1997》小说作者:宫小桃长篇悬疑夺宝小说《荒墓,为《公墓1995》的续集。人天生随时都在选择,黑暗无时不在身旁。面对突如其来的陷阱和诱惑,我们如何而对?相传在大兴安岭的深处,埋藏着当年军阀张作霖遗留下的巨额宝藏,得之者富可敌国。大学生桃子,在毕业后阴差阳错地成为了内蒙古根河县公墓的管理处主任
- 恐怖灵异未知连载中
- 最新章:第54章
- 重生回到1997
- 四海阁出品爱是天时地利的迷信。http/www.xs8.cn/sihaige.html当自己没日没夜拼命为了心爱男人谋划,抢回了价值千亿的合同开心送到他面前时,那一幕却刺伤了她的眼,女人璀璨的笑容仿佛在嘲笑着她的愚蠢无知,男友甚至连一个正眼都未曾给她过,七年的努力,瞬间付诸东流,烟消云散看着茫茫车流
- 穿越架空海晏_xs8连载中
- 最新章:第三百三十四章 她的幸福,他的祝福
- 保镖1997
- 1997年1月2日,耶诞节与新年的连番假期刚刚结束,西伯利亚寒潮余威尚在,嘉利大厦的五级大火连烧24小时,上月11日本埠长官新鲜出炉,新闻热炒95线巴士泊在石排湾被童党烧光。比利山别墅,泳池的波光来回摇晃着半山繁华,他隔着雨意蒙蒙的窗,穿过一对“好好夫妻”尖声刺耳的诅咒,未打灯的屋檐下遇见她—于是在
- 都市言情未知连载中
- 最新章:第62章
- 重启1997
- 作者:西门俗人所写的《重启1997》无弹窗免费全文阅读为转载作品,章节由网友发布
- 网游小说西门俗人连载中
- 最新章:第146章 我们要出名了
- 逆行我的1997
- 1997年的李湾。李文秀重生了。获得新生,李文秀再一次用两世的目光去审视这个令人既爱又憎的年代,审视这片生养他的土地,还有这片土地上,那些可悲又可赞的人们 然而新生却并不意味着他能扭转滚滚向前的历史巨轮。这一切,都要从头开始 已有《乡村首富《猎杀全球》等精品之作,质量有保证,新书求支持 作者:白色米
- 都市言情白色米饭连载中
- 最新章:473 下一站在哪里
- 1997辉煌人生
- 这是一个打着拍电影的旗号逍遥快活的故事,如有雷同,实属巧合,如有举报,铁定太监,让我们开始快活吧 作者:戏芝所写的《1997辉煌人生》无弹窗免费全文阅读为转载作品,章节由网友发布
- 都市言情戏芝连载中
- 最新章:第四百章 神国
- 重返1997
- 少壮不努力老大徒伤悲!一觉醒来,发现时光倒退了二十年你会怎么办 作者:都梁大侠所写的《重返1997》无弹窗免费全文阅读为转载作品,章节由网友发布
- 都市言情都梁大侠连载中
- 最新章:第二十二章 好人难当
- 重返1997
- 下载客户端,查看完整作品简介 作者:天飞老鼠所写的《重返1997》无弹窗免费全文阅读为转载作品,章节由网友发布
- 都市言情天飞老鼠连载中
- 最新章:第四十一章 灌了什么迷魂汤?
- 华娱1997
- 1997年初,获得了后世资深娱乐小编记忆的曹轩,参演央视四大名著最后一部的《水浒传 史上最帅西门大官人出炉 作者:胖一点所写的《华娱1997》无弹窗免费全文阅读为转载作品,章节由网友发布
- 都市言情胖一点连载中
- 最新章:本书有声剧在喜马拉雅上线