唯一小编 发布时间:2023-06-19
6月16日上午,湖南联通副总经理,联通(湖南)产互公司党委书记、总经理吴华,长沙联通总经理刘鲲及联通(湖南)产互公司相关领导一行赴唯一网络参观交流。唯一网络总裁李玉何、副总裁易志强陪同接待。 吴华一行参观了唯一网络科技展厅,深入了解唯一网络自营自建绿色数据中心的整体运行情况,以及公司近年来的所取得的成绩和未来发展规划。 李玉何对吴华一行的到来表示热烈欢迎,并详细介绍了公司整体运营发展情况,与吴华一行共同围绕数据中心、边缘算力、云联网、SD-WAN业务展开交流,并就当下热门的AI和ChatGPT交换了看法。座谈会期间,双方持续就深入推进边缘数据中心合作及运营服务、进一步拓展双方合作领域深入交换意见。 吴华指出,湖南联通与唯一网络的业务领域和使命愿景高度契合,具备广阔的合作空间。他表示,湖南联通将进一步加强与唯一网络在业务拓展及产品运营推广上的合作,更好地整合双方资源,积极响应客户需求,在做大做强数据中心业务的基础上,开展多领域的合作。 李玉何对湖南联通一直以来给予唯一网络的支持表示感谢,就深化湖南地区IDC市场运营,他表示唯一网络将结合当下的市场环境,贴近客户需求提供服务支撑,更好地融入联通主业,与省市公司紧密联动,抢抓市场机遇,共同推动数字经济产业规模迈上新台阶。 联通(湖南)产互公司市场运营中心总经理许云石、联通(湖南)产互公司IDC/物联网事业部总经理向前、联通(湖南)产互IDC/物联网事业部IDC行业总监曾繁磊、唯一网络副总裁刘文勃等陪同参观交流。
唯一小编 发布时间:2023-06-09
2023年6月2日,由中国零售(餐饮)CIO俱乐部主办、唯一网络协办的 “数智化运营及组织创新——2023区域零售(餐饮)数字化运营专题沙龙会” 在上海成功召开,唯一网络数字化领域专家受邀出席并作主题分享,与现场众多来自餐饮和零售企业客户高管共同探索该行业数智化转型之道,共同推进企业数智化进程,为餐饮和零售行业带来前沿的思考和创新实践。 2023区域零售(餐饮)数字化运营实战专题沙龙活动现场 在后疫情时代,随着消费者习惯的变化,线上线下融合的深化,使得数字化运营在商业领域的突出优势愈加明显。实体零售和餐饮企业如何基于商业目标进行数字化营销创新,以及如何实现连锁门店数字化、智能化及企业内部协同网络化管理,是目前餐饮企业和实体零售正在面临的巨大挑战和机遇。 沙龙活动现场 本次研讨会议围绕三大议题开展: 一、数智技术驱动的商业创新、基于商业目标的数字化营销创新; 二、企业内部协同、门店与总部协同效率的提升;如何实现流程自动化管理; 三、商场及连锁门店网络化、数字化管理如何优化;商场或连锁门店与总部组网,如何提升智慧、便捷、高效运维。 唯一网络云联网产品专家王澄湘现场分享 根据当下企业组网现状,唯一网络云联网产品专家王澄湘在《企业融云组网构筑高效数字化网络》专题分享中提到,传统互联组网方式带来的不同挑战: 其一、企业分支数量增加、数字化转型,大流量视频/语音应用兴起,WAN流量激增,面临线路成本高、连续性差等难题; 其二、广泛业务云化,面临基于互联网访问体验差、多云运维复杂问题; 其三、全球业务布局,面临专线组网成本高及VPN组网访问体验差问题; 唯一网络打造4G融合组网部署方案,网络设备通过云平台进行统一管理,实现运维便捷、极简部署等运维管理,可满足企业快速组网和降本增效的发展目的。 本次会议邀请了50多家上海品牌零售与餐饮企业的数字化负责人,进行了深度的思想碰撞和精彩的分享。大家畅谈疫情后如何再出发,梳理思路,分享实践,把握时势,不断推进数字化进程,为商业注入新的活力。 (完)
唯一小编 发布时间:2023-05-25
5月24日,福建省工商联余建副主席、东莞市福建商会黄寿强会长一行莅临唯一网络调研指导,唯一网络董事长特助蔡湛陪同接待。 调研组首先参观了唯一网络科技展厅,通过观看唯一网络企业宣传片,以及数据中心模型区、四轮驱动业务发展规划和党建文化区,进一步了解了唯一网络的发展历程、业务布局、技术创新及党工建设,并对唯一网络以党建引领、数字化建设及创新的技术探索表示赞赏。 在未来工作中,唯一网络将进一步发挥党建引领作用,充分发挥各方的资源优势,助力经济社会可持续发展、高质量发展。 (完)
唯一小编 发布时间:2023-05-25
为深入贯彻落实习近平总书记关于网络强国的重要思想,深入学习贯彻党的二十大精神,进一步推动数字经济和实体经济的融合发展,加快推进国资国企数字化转型,5月19日,在厦门市国资委的组织下,厦门市国资系统代表们走进了广东唯一网络科技有限公司(以下简称“唯一网络”)进行学习交流。 厦门建发集团、厦门国贸控股、厦门象屿集团、厦门翔业集团、厦门路桥建设集团、厦门轨道集团、厦门火炬集团等国资系统代表参观了唯一网络东莞总部和唯一网络志享(华南)数据中心,以数字化转型为主题,共同探讨国有企业数字化快速发展的路径。 唯一网络董事长王宇杰、数据中心战略事业部总裁郑可君、华东大区副总经理孔燕凌、董事长特助蔡湛等陪同接待。 厦门市国资系统代表们首先参观了唯一网络志享(华南)数据中心,实地考察了数据中心机房、动力、制冷和柴发等设施,了解数据中心的整体规划和建设运营情况。 在唯一网络东莞总部,代表们参观了唯一网络科技展厅,近距离了解唯一网络在数据中心、云计算、云联网及绿色能源等方面的实践和前沿探索,深入了解唯一网络的发展历程和产业布局。 在数字化转型培训环节,邀请了微软中国、火山引擎、唯一网络等业内专家,就人工智能领域AIGC应用实践、大数据驱动下的企业决策与管理、网络技术应用创新等主题进行分享。其中,以ChatGPT为代表的人工智能广泛应用,有助于企业和个人更高效地工作,从而提升企业组织效能;而基于大数据驱动的企业管理模式,可以帮助企业实现从粗放型管理到精细化管理,实现从经验管理到数据驱动管理的转变;在数字转型背景下,新一代的网络架构有效提升了企业“上云”的数字化创新能力。这些丰富的先进经验与成功案例,加深了代表们对数字化转型方法论、企业数字化管理及云网融合技术的理解,更进一步提升了大家的数字化思维和转型意识。 未来,唯一网络将持续整合行业优质资源,搭建行业交流互动平台,为国资国企的数字化转型提供优质、安全、高效的科技支持,助推国资国企实现高质量发展。
唯一小编 发布时间:2023-05-15
2023年5月9日,“2023华为中国合作伙伴大会”于深圳国际会展中心成功举办。厦门市唯云网络科技有限公司(以下简称“唯云科技”)与华为技术有限公司(以下简称“华为”)在会上签署SD-WAN MSP合作协议,以提升双方服务品质,进一步推动我国企业全面上云,赋能数字经济创新生态。 唯云科技总裁李玉何、唯云科技副总经理尹煜、唯云科技首席架构师瞿宜情、唯云科技项目总监严斌、华为数据通信产品线副总裁王辉、华为园区领域SD-WAN产品总监曹同强出席活动并见证签约,唯云科技副总经理孔燕凌、华为福建厦门总经理黎方代表双方签约。 华为与唯云科技签署合作协议 根据协议,双方将围绕客户的需求持续创新,致力于为全球政府及公共事业、能源、金融、交通等行业的企业客户提供全面、高效的ICT解决方案和服务,包括基础网络、统一通信与协作、云计算与数据中心和行业应用等。此外,双方将建立良好的组织对接关系,按需开展市场信息、行业动态、技术创新等方面的交流,并以MSP云服务模式、Saas云服务模式、服务伙伴模式等展开全面合作。 唯云科技总裁李玉何表示,唯云科技是一家专注于行业领域积累与沉淀的技术创新型公司,作为深耕ICT领域十余年的云MSP服务商,持续挖掘用户需求,始终将技术创新作为增长引擎,不断打磨自己的产品与服务。目前,唯云科技已面向市场推出了多云互联网络、SD-WAN网络、混合云等产品与解决方案,希望与华为合作,继续加强技术创新和产业协同,共同推进5G、人工智能、云计算等领域的合作,不断提升双方的品牌价值和市场份额,以及打造良性发展的生态链,推动ICT产业的发展并造福全社会。 华为园区领域SD-WAN产品总监曹同强表示,根据IDC SD-WAN市场份额调研报告,华为SD-WAN在中国市场连续4年高居国内SD-WAN份额之首。在全球市场连续4年获得Gartner客户之选荣誉,好评率以及推荐率都大幅领先业界平均水平。在此基础上,华为与唯云科技牵手合作SD-WAN解决方案,基于双方在网络服务领域的深厚积累和技术实力的强强联合,帮助企业客户降本增效的同时,大大提升了用户的用网体验、运维体验,为企业数字化转型保驾护航。 今后,唯云科技将持续深耕产品与服务,助力华为在多云互联网络、总部分支互联网络等领域持续发力与创新,致力于为客户提供最优质的网络产品和服务,共同推动网络技术的发展和创新,让SD-WAN更智能,部署更快速、维护更简单、组网更灵活、网络更安全,为企业筑牢数字化转型的基石。
唯一小编 发布时间:2023-03-02
图1 唯一网络荣获“数据中心绿色解决方案”奖 一、唯一网络精彩亮相第十七届中国IDC产业年度大典 2023年2月27-28日,第十七届中国IDC产业年度大典(IDCC2022)在北京国家会议中心隆重举办。大会聚焦数据中心最关注话题与最新发展态势,以“解码可持续发展”为主题,共同描绘数字经济宏伟蓝图。作为大会合作伙伴之一,唯一网络应邀亮相并展示数据中心绿色解决方案。 图2 唯一网络展位现场 图3 第十七届中国IDC产业年度大典现场 二、云网融合筑牢数字经济新底座 时值“十四五”关键之年,数字经济发展步入快车道。在国家“东数西算”、“新型数据中心”、“双碳”等战略目标的引导下,数据中心产业正向着高技术、高算力、高能效、高安全的目标迈进。 唯一网络作为国内领先的数字经济基础设施服务提供商,在粤港澳大湾区核心区域拥有志享(华南)数据中心和东莞沙田数据中心,并与三大运营商深度合作,在全国建立及运营80多个数据中心节点,覆盖30多个省市,拥有100+全球POP点以及全国骨干环网资源的优质云网服务能力,打造数字经济发展的坚实底座,为千行百业启动算力引擎。 三、精耕致远打造数据中心绿色典范 图4 唯一网络东莞沙田数据中心 荣获2022年度“数字产业高质量发展”优秀案例奖 唯一网络自营自建绿色数据中心,遵循国家A级和美国Tier III +标准,符合绿色、低碳原则。 1)建设理念 唯一网络秉承绿色、集约、标准、可靠的数据中心建设理念,从客户需求出发,为客户量身打造符合企业发展及业务特性的新一代数据中心,并为客户提供咨询规划–模型设计–建设总包–运营维护一站式服务。 同时唯一网络积极探索数据中心的标准化、定制化和模块化,通过设备模块预制生产和现场集成拼装,可以大幅降低机电工程建设周期,实现快速交付。 2)前沿技术应用 唯一网络深度融合业界先进数据中心预制化模块及间接蒸发冷却方案,旨在为客户带来更加绿色智能的数据空间。 数据中心配套建设分布式光伏电站和储能电站,可转化清洁能源为数据中心生产供能,同时可利用峰谷价差为数据中心提高经济效益。 智慧节能管理系统依托强大的Al平台和暖通领域技术,可实现制冷系统的集中管理、精确制冷和寻优控制,能有效降低制冷系统能耗,从而有效降低数据中心PUE指标,以达到国家节能管控的要求。 基于数字化、平台化、标准化管理角度,唯一网络特为数据中心打造涵盖基础设施集中监控到服务管理(IM、OM、DM、SM)的全体系运营管理系统。 3)运维服务 唯一网络拥有丰富的数据中心运维管理经验,具备完善的服务体系,资深的客户服务团队秉承“客户第一”的服务理念,为客户提供多途径运维服务,保证客户和合作伙伴获得更加优质的 IT 服务和体验。 在日常运维管理中,唯一网络提供7*24小时的全天候技术服务,可视化的运维总控室设计,各系统运行情况、性能监控、动环监控等功能集于一体的大屏展示,有力提升数据中心运维效率。 未来,随着国家“双碳”战略的不断实施,绿色节能、可持续发展将会是数据中心行业发展的主旋律。接下来,唯一网络将携手更多合作伙伴持续创新,推动数据中心产业的健康发展,为社会赋能绿色经济发展,助力实现碳中和目标。
唯一小编 发布时间:2023-02-10
2月7日,东莞市委网信办主任彭碧玲、副主任谭永康、朱建晖等一行莅临唯一网络开展调研走访。唯一网络董事长王宇杰、党支部书记王毓敏等热情接待了调研组一行。 调研走访期间,彭碧玲主任一行首先参观了唯一网络科技文化展厅,了解东莞沙田数据中心和志享(华南)数据中心的运营成果,对唯一网络数据中心的运营情况及发展成绩给予了高度肯定。 唯一网络董事长王宇杰对调研组一行的到来表示热烈欢迎,并详细介绍了唯一网络近年来的整体业务发展情况。随后,双方就东莞市网络安全工作进行深入交流。 彭碧玲主任表示,唯一网络作为东莞市发展迅速的互联网企业,为网络安全合规治理服务的创新发展,为东莞地区网络安全工作做出贡献。当前网络空间安全形势依然严峻,希望今后唯一网络能够一如既往地发挥自身优势,在网络安全建设服务、人才培养等方面为东莞网信工作提供支持,在数据安全和网络安全等领域继续突破创新,共同推动东莞市网络安全工作的高质量发展。 对于领导的关心和指导,王宇杰表达了诚挚的感谢。王宇杰表示,近年来,唯一网络在东莞市委网信办和相关部门的支持和关怀下,取得了一定的成绩。今后唯一网络将不负所托,在发展壮大的同时,也将积极践行企业使命,努力扩大产业优势,不断加大人才队伍建设和技术创新的力度,从而为东莞市政府单位和企业提供更为优质的网络安全服务,为东莞数字经济发展保驾护航。 网络安全为人民,网络安全靠人民。 唯一网络作为领先的数字经济基础设施服务提供商,今后将继续加大科研创新投入,不断提升网络信息基础设施保护、数据安全治理、个人信息保护的能力,为行业用户提供更好的服务,为推动网络安全事业高质量发展而不懈努力!
唯一小编 发布时间:2023-02-10
2月4日,南城街道高质量发展大会在宏图科技中心召开,大会深入学习贯彻党的二十大精神,认真落实全省、全市高质量发展大会部署要求,动员各界动起来、干起来,凝心聚力推动南城经济社会高质量发展。大会邀请南城龙头企业代表上台发言,行业涵盖现代服务业、金融业、房地产业、信息技术等,内容聚焦城市品质、科技创新、产业升级及未来规划等高质量发展关键领域。 唯一网络董事长王宇杰受邀参加本次大会,并作主题为《云网赋能 科技创新 推进数字经济高质量发展》的发言。 唯一网络董事长王宇杰 王宇杰在大会上表示:唯一网络将强化企业科技创新能力,推动东莞地区数字经济高质量发展! 以下是发言摘要: 人勤春早争朝夕,策马扬鞭开新局。 当前,我国正步入数字化转型的加速期,作为数字经济的坚实底座,数字经济基础设施已成为人们生产、生活的必备要素,为产业格局、经济发展、社会生态的发展提供坚实保障。2022年11月,东莞市政府发布了《东莞市数字经济发展规划(2022-2025)》,规划指出将抢抓数字经济和数字化发展新机遇,聚焦五大领域、十大产业、三大要素,围绕“坚持创新引领、做深数字化转型、做优数字产业、释放数据价值、夯实设施支撑”的发展思路,为东莞数字经济的高质量发展指明了方向。 唯一网络是在东莞成长起来的互联网企业,以南城作为战略发展基地,2006年从IDC行业起步,经过十六年的耕耘,已发展为国内领先的数字经济基础设施服务提供商。公司始终坚持以高质量发展为目标,赋能东莞企业数字化转型升级,实现降本增效,助力企业生产力与管理变革。唯一网络凭借多年的技术沉淀和强劲的发展势头,已连续六年被评为东莞市“倍增计划企业”,同时入选了国家高新技术企业、国家专精特新小巨人企业行列。 过去3年,唯一网络始终以科技提升、人才提升、管理提升为方向,不断增强自身实力,抢占市场先机,实现了企业年营收突破十亿元大关,实现持续的较快发展目标。公司在发展过程中,得到了各级政府以及有关部门和社会各界朋友的帮助和大力支持,更加坚定了我们科技引领、创新发展、高质量发展的信心与决心。 2023年是全面贯彻党的二十大精神的开局之年,也是省市高质量发展的奋起之年,唯一网络将持续聚焦省市数字经济战略规划,围绕“科技创新+先进制造”的总体目标,发挥公司在数据中心、云计算、云联网、绿色能源领域的核心技术沉淀,打造高质量的数字经济基础设施服务与绿色节能解决方案,依托东莞制造业立市的产业优势与丰厚土壤,积极参与赋能实体经济高质量发展。 本次南城高质量发展大会的成功召开,激发了全体唯一人“快干、实干”的奋斗精神,我们定将全力以赴,紧抓机遇,开新局、起好步,助力推进数字化、智能化、绿色低碳,为制造业转型升级提供优质服务,为东莞经济高质量发展作出新贡献。 新年新气象!祝愿新的一年,南城街道经济发展取得更大突破!谢谢大家!
唯一小编 发布时间:2022-12-03
近日,火山引擎渠道负责人祝敏珂一行莅临唯一网络参观交流,唯一网络云计算战略事业部总裁黄小华盛情接待,双方就云计算领域的发展趋势和业务合作交换意见和看法,就未来进一步合作进行深入探讨。 一、技术创新、驱动产业数字化转型升级 近年来,伴随着新一轮科技革命和产业变革,我国数字经济发展提速升级,大中小企业纷纷加快数字化转型步伐,不断推动数字化创新能力升级。 火山引擎作为字节跳动旗下的云服务平台,将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业,提供云基础、视频与内容分发、数智平台VeDI、人工智能、开发与运维等服务,帮助企业在数字化升级中实现持续增长。 火山引擎目前已经服务了包括互联网、消费电子、金融、汽车、零售等众多行业的标杆客户,承载着从数字体验、数字营销到大数据、人工智能等诸多场景业务。 二、合作共赢、助推数字经济高质量发展 唯一网络的价值主张与火山引擎的发展思路不谋而合,双方希望通过技术与服务,为客户打造自身的数字化增长引擎。 作为数字经济基础设施服务提供商,唯一网络不但拥有丰富的互联网行业经验,更拥有高效专业的服务能力,可以从场景功能需求、服务质量、性价比等多个维度,帮助客户选择最优的云产品和云服务,并提供从产品咨询,产品选型,架构规划,环境搭建,应用迁移,基础架构代运维,行业解决方案等技术支撑服务。 随着中国数字化转型的步伐不断加快,唯一网络将会和合作伙伴共同在“极致性价比、业务驱动、开放共享”等方面加快深入合作步伐,依托大数据、人工智能等技术能力,以及增长理念与方法论,为客户提供更优质的产品、服务和解决方案。
唯一小编 发布时间:2022-11-25
为提升东莞市数字化转型供给能力,更好地推动东莞制造业数字化转型工作,东莞市工业和信息化局组织开展了2022年首批东莞市数字化转型服务商遴选工作。经审核和公示,唯一网络等58家企业(机构)纳入了2022年东莞市数字化转型服务商名单。 2022年东莞市数字化转型服务商名单 早前,东莞市政府常务会议审议通过《东莞市数字经济发展规划(2022-2025年)》。《规划》提出以“科技创新+先进制造”为主线,构建“核心技术攻关+创新成果转化+创新载体建设+数字人才培育”为主体的科技创新体系,围绕优势电子信息产业链部署创新链,开展重点领域的核心技术攻关和“高精尖缺”人才引培,促进创新要素自由流动。 东莞还将以打造企业数字化转型的新型能力为主线,推动企业数字化从单项覆盖向集成提升、创新突破发展,提升企业数字技术应用、软件应用、数据管理等数字化能力。以赋能中心、行业赋能平台为载体,构建多层次、立体化、全覆盖的数字化转型赋能生态体系,强化数字化转型供给能力。 预计到2025年,全市数字经济核心产业规模突破1.3万亿元,实现规上企业数字化转型升级全覆盖,高水平建成国际知名的数字经济名城、国家制造业数字化转型示范城市。 唯一网络作为国内领先的数字经济基础设施服务提供商,持续深耕行业数字化领域,目前已累计获得国家级、省市级奖项超过30多项,全国行业荣誉奖项超过70项,是国家高新技术企业、国家级专精特新“小巨人”企业。获得专利、软件著作权等超过150项,服务企业超过5000家。 聚焦技术驱动,赋能数字创新。未来,唯一网络将以数字化转型为契机,稳抓“技术驱动”底座,持续提供更安全、更高效的数字经济基础设施运营服务,发力数字化转型,释放新活力,为企业高质量发展插上腾飞之翼。同时,我们将积极参与东莞市数字经济发展,打造高质量发展科技引擎。
2020年,笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统全局部署在阿里云上,服务应用阿里云ECS部署,数据库采纳阿里云RDS,配置中心基于阿里云ACM自研,数据同步基于阿里云DTS自研以及自研分库分表组件、分布式ID组件等等。 此次进行扩分库分表的背景是,原4实例4库、各个库64张表一共256张表,部分单表已超千万量级,按目前每日单量量级,一年内单表会达到上亿条记载,单表数据量过大会带来数据库性能问题。 4实例(16C/64G/3TSSD),4库(各个实例一个库),每库64张表,共256张表。 经过RDS后台一键诊断功能,来计算表空间应用情形(这里拿测试情境数据库举例)。 数据库的瓶颈主要表现在:磁盘、CPU、内存、互联网、联结数,而联结数主要是受CPU和内存作用。CPU和内存可以经过动态升配来提高,可是SSD磁盘容量最大支持到6T(32C以下最大3T、32C及以上最大6T)。 可是现阶段兼顾成本,可先将实例扩容一倍,采纳8个实例(16C/64G/3TSSD),各个实例建4个库(database)、各个库128张表(这里实质上是一个成本取舍的流程,理论上应该采取”多库少表”的准则,单库128张表其实太多了,单库建议32或64张表为宜)。 接下来如果实例压力提高可进行实例配置改进(16C/128G、32C/128G、32C/256G等);将来如出现单实例升配无法解决,在考虑扩容实例,只需求将database迁移至新实例,迁移成本较小。 按单表最多1000w条数据评估,4096张表可支持日5000w单3年(10.1压测标准)、日2000w单5年的架构。(因业务表比较多,此处忽略掉单条数据大小的计算流程) 32个库,各个库128张表。将来可最大扩容到32个实例,无需rehash,只需求迁移数据。 阿里云RDS规格和价钱一览 因扩分库分表涉及到rehash流程(256表变4096表),而阿里云DTS只支持同构库数据迁移,所以我们基于DTS的binlog转kafka实力自研了数据同步中间件。 整体数据迁移工作包含:前期预备、数据同步环节(历史数据全量同步、增量数据实时同步、rehash)、数据校验环节(全量校验、实时校验、校验规章配置)、数据修复工具等。 在进行数据同步前,需求先整理一切表的惟一业务ID,只有确定了惟一业务ID才学兑现数据的同步操作。 需求重视的是: 一旦表中没有惟一索引,就会在数据同步流程中造成数据重复的危险,所以我们先将没有惟一索引的表依据业务场景增加惟一索引(有也许是联合惟一索引)。 在这里顺便提一下,阿里云DTS做同构数据迁移,应用的是数据库自增ID做为惟一ID应用的,这种情形如果做双向同步,会造成数据覆盖的问题。解决案例也有,之前我们的做法是,新旧实物采纳自增ID单双号解决,担保新旧实例的自增ID不会出现冲突就行。由于这次我们应用的自研双向同步组件,这个难题这里不细聊。 分表规章不同决定着rehash和数据校验的不同。需逐个表整理是用户ID纬度分表还是非用户ID纬度分表、是否只分库不分表、是否不分库不分表等等。 数据同步全局案例见下图,数据同步基于binlog,独立的中间服务做同步,对业务代码无侵入。 后续对每一个环节进行介绍。 单独一个服务,应用游标的方法从旧库分批select数据,通过rehash后批量插入(batchinsert)到新库,此处需求配置jdbc联结串参数rewriteBatchedStatements=true才学使批处理操作生效。 另外特殊需求重视的是,历史数据也会存在不断的更新,如果先开启历史数据全量同步,则刚同步达成的数据有也许不是最新的。所以这里的做法是,先开启增量数据单向同步(从旧库到新库),此时只是开启积压kafka消息并不会真正消费;然后在开始历史数据全量同步,当历史全量数据同步达成后,在开启消费kafka消息进行增量数据同步(提升全量同步效率变少积压也是核心的一环),这样来担保迁移数据流程中的数据一致。 增量数据同步考虑到灰度切流稳定性、容灾和可回滚实力,采纳实时双向同步案例,切流流程中一旦新库出现稳定性问题或者新库出现数据一致问题,可迅速回滚切回旧库,担保数据库的稳定和数据稳妥。 增量数据实时同步采纳基于阿里云DTS的数据订阅自研数据同步组件data-sync兑现,主要案例是DTS数据订阅实力会自动将被订阅的数据库binlog转为kafka,data-sync组件订阅kafka消息、将消息进行过滤、合并、分组、rehash、拆表、批量insert/update,最后再上交offset等一系列操作,最终达成数据同步工作。 整体流程中有几个问题需求重视: 问题1:怎样预防因异步消息无顺序而致使的数据一致问题? 第一kafka异步消息是存在顺序问题的,可是要知道的是binlog是顺序的,所以dts在对具体进行kafka消息投递时也是顺序的,此处要做的就是一个库担保只有一个顾客就能保障数据的顺序问题、不会出现数据状态覆盖,从而解决数据一致问题。 问题2:是否会有丢消息问题,假如顾客服务重启等情形下? 这里没有采纳自动上交offset,而是每次消费数据最终入库达成后,将offset异步存到一个mysql表中,如果顾客服务重启宕机等,重启后从mysql拿到最新的offset开始消费。这样惟一的一个问题也许会出现瞬间部分消息重复消费,可是由于上面介绍的binlog是顺序的,所以能担保数据的最终一致。 问题3:update转insert会不会丢字段? binlog是全字段发送,不会存在丢字段情形。 问题4:循环消息问题。 后面进行单独介绍。 前文有提到,由于是256表变4096表,所以数据每一条都需求通过一次rehash重新做分库分表的计算。 要说rehash,就必须先介绍下目前订单数据的分库分表策略,订单ID中冗余了用户ID的后四位,经过用户ID后四位做hash计算确定库号和表号。 数据同步流程中,从旧库到新库,需求拿到订单ID中的用户ID后四位模4096,确定数据在新库中的库表位置;从新库到旧库,则需求用用户ID后四位模256,确定数据在旧库中的库表位置。 想象一下,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,将该记载写入到新实例,于是在新实例也诞生了一条binlog;此时data-sync中间件又接到了该binlog……不断循环,消息愈来愈多,数据顺序也被打乱。 怎样解决该问题呢?我们采纳数据染色案例,只要能够标识写入到数据库中的数据使data-sync中间件写入而非业务写入,当下次接收到该binlog数据的时候就不必进行再次消息流转。 所以data-sync中间件需求,各个数据库实例创建一个事务表,该事务表tb_transaction只有id、tablename、status、create_time、update_time几个字段,status默认为0。 再回到上面的问题,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,如下操作: 此时data-sync中间件将上面这些语句打包全体上交到新实例,新实例更新数据后也会生产对应上面语句的binlog;当data-sync中间件再次接收到binlog时,只要推断碰到tb_transaction表status=1的数据开始,后面的数据都直接舍弃不要,直到碰到status=0时,再陆续接收数据,以此来担保data-sync中间件只会流转业务诞生的消息。 数据校验模块由数据校验服务data-check模块来兑现,主要是基于数据库层面的数据对照,逐条核对每一个数据字段是否一致,不一致的话会通过配置的校验规章来进行重试或者报警。 通过数据校验,一旦发觉数据不一致,则需求对数据进行修复操作。 数据修复有两种案例,一种是适用于大范围的数据不一致,采纳重置kafkaoffset的方法,重新消费数据消息,将有问题的数据进行覆盖。 全局灰度案例:SP+用户纬度来兑现,SP纬度:凭仗灰度情境切量来做,用户纬度:依靠用户ID后四位百分比切流。 灰度切量的流程肯定要配合停写(秒级),为什么要停写,由于数据同步存在肯定拖延(正常毫秒级),而一切业务操作肯定要保障都在一个实例上,否则在旧库中业务刚刚调整了一条数据,此时切换到新库如果数据还没有同步过来就是旧数据会有数据一致问题。所以流程应该是: 虽然在切流之前,在测试情境进过了大量的测试,可是测试情境毕竟和生产情境不相同,生产情境数据库一旦出问题就也许是灭顶之灾,虽然上面介绍了数据校验和数据修复步骤,可是把问题拦截在发生之前是做服务稳定性最重大的工作。 因此我们提出了ABC验证的概念,灰度情境ABC验证预备: 详细灰度案例和数据源切换步骤: 整体数据迁移流程还是比较复杂的,时光也不是非常充裕(流程中还穿插着十一全链路压测改变),在有限的时光内集大家之力重复探讨发掘也许存在的问题,然后论证解决案例,不放过任何一个也许出现问题的环节,还是那句话,把问题拦截在发生之前是做服务稳定性最重大的工作。 流程中的细节还是非常多的,从数据迁移的预备工作到数据同步测试,从灰度步骤确定到正式生产切换,尤其是融合业务和数据的特色,有非常多需求考虑的细节,文中没有一一列出。 最终通过近两个月的紧张工作,无业务代码侵入、零事故、平稳地达成了扩分库分表和数据迁移的工作。
唯一小编 2021-03-01 阿里云服务器
改进terraform到v0.13后,初始化terraform也许会出现以下问题 因素是terraform自v0.13后就交给provider自己维持了。解决案例: 1.应用命令查看自己版本 示例得到 +provider.tencentcloudv1.53.0 2.粘贴以下代码至terraform配置中,version采纳自己的tencentcloudterraform版本
唯一小编 2021-03-01 腾讯云服务器
在网络相关的业务中,高弹性是往往被提及的一个架构设计目的,前两个我就碰到一个用户需求我们帮助设计一个高弹性的架构以承载他们周期性暴增的业务压力,用户90%以上的业务压力都集合在业务高峰期,因此在设计这个架构之初,我和用户就在纠结,到底是采纳更了解的“堆”服务器的想法呢,还是采取更具弹性的容器化的案例呢?其实作为一个技术人员,在问这个难题的时候就已经有确定的答案了,最终我们设计出了这样的一个架构: 容器平台选择阿里云的ACK(阿里云容器服务Kubernetes版)。其中ACK分成专有版和托管版,区分是专有版的管控节点需求用户自行预备,而托管版应用阿里云的资源进行资源管控,在托管版中又分成标准版和Pro版,其中Pro版有确定的SLA保障,生产系统建议选择Pro版。同时为了保障worker节点的内容安全,建议为充当worker节点的ECS配置云安全中心服务进行主机安全防护。 除了ACK,阿里云还提供无服务器架构的ASK,区分是ACK有ECS服务器充当worker节点,创建POD所需的资源经过ECS进行安排,而ASK没有worker节点,ASK直接在阿里云的分享资源池中经过ECI(弹性容器节点)来安排资源创建POD。 在这个项目中为了担保永远有肯定量的稳定资源供给,我们决定应用ACK再融合阿里云的ECI来兑现资源的弹性供给。ECI资源的申请和释放可经过ACK的ack-virtual-node插件出自动达成,动态增加的POD将自动运行在ECI之上。 考虑到业务高峰期和平常存在庞大的应用量落差,选择应用按流量的方法购入手互联网带宽资源,并经过购入手分享流量包将一切的互联网流量进行集合抵扣。这个项目所用到的互联网流量主要有如下三个: 鉴于ECI节点上服务的启动需求肯定的时光,而业务流量也许瞬间到达峰值,因此经过MQ来缓冲瞬时的业务压力,为运行在ECI弹性资源上的服务争取启动时光。 阿里云MQ服务依据访问协议的不同分成RocketMQ、AMQP、Kafka三个系列,对于海量的业务交易场景建议选择通过双十一检验的RocketMQ系列,在RocketMQ系列中又分成一般版和公司铂金版两个版本,公司铂金版采纳独享硬件资源,能够更充分的保障峰值吞吐实力,对于瞬时业务峰值高的业务,建议尽也许选择铂金版。 数据库采纳云原生数据库PolarDB,PolarDB可以从2个节点扩容到16个节点,单节点可改进至88核710G规格,集群采纳分布式分享存储架构,单个集群可存储100TB的数据,有赖于其采纳分布式分享存储的架构,PolarDB集群增加节点时无需进行大量的数据拷贝,因此可以在分钟级达成集群的横向扩容。 我觉得这个架构对于大部分“腰部”级其他网络行业用户都是适用的,因此共享出来,盼望对大家有所协助。
唯一小编 2021-03-01 阿里云服务器
云专线和普通专线区别,首先我们说一下云专线在定义和应用方 面的区别。 普通物理专线,是端口带宽资源被用户独占的物理专线,此种类型的物理专线由用户单独使用该物理线路,专线用户可以创建多个虚拟接口。 云专线(Direct Connect)用于搭建用户本地数据中心与云上VPC之间高速、低时延、稳定安全的专属连接通道。 传统专线主要应用于用户的局域网互联或快速浏览互联网。用户可以根据需要选择64Kbps- 2Mbps不等的速率。通过互联专线实现数据、语音、图像等业余的安全传输:实现各公司、部门间的资源交换和共享;通过拥有固定、独享的IP地址,视需要建立自己的Mail-Server. Web- Server等服务器,并可通过Internet组建公司内部的VNP业务。 云专线是连接客户局域网与行业云的专线网络,全程独立通道,能够不经互联网连接云主机,同时能保证高网速,对于银行、金融机构等高保密性要求的客户具有重要意义。 下面,我们在分别从开通时间、费用、弹性伸缩、稳定性等维度对他们之间的区别进行说明: 对比一下可以发现 , VPN是开通便捷,费用上比云专线要低很多,但是在公网的质量保障上不如专线,时延高,安全性不如云专线强。相对来说云专线低时延、服务质量稳定,但是在费用上就较高一些。而且在开通时间上,因为受限于物理专线的部署、运营商的线路资源的情况,所以部署时间要比VPN长。在这个情况下,一个量级, VPN如果双方都有internet资源的话,基本上是即开即用,双方配置好,协商起来就可以通信。但是云专线一般是将数据中心和公有云VPC对接,这个时候受限于物理链路,要运营商去核查资源,要去做物理线路的对接。这些正常情况下,就运营商的承诺。有诺的时间一般都是至少需要20个工作日。云专线线上的配置开通,现在一般也是天级,在拿到这种线路配置信息,且物理专线对接完以后,在一天内就可以完成这个线路配置打通的。 唯一网络是中国市场专业的云托管服务商( Cloud MSP ),在数据中心和云计算领域有近十年的专业交付和管理经验,目前正服务于2000多家企业级客户并与全球多家超大规模公有云服务商建立了战略合作关系。在云计算驱动产业变革的今天,安畅以客户需求为驱动,积极投资于核心技术研发和团队组织的云原生技能,致力于成为IT新生态和产业互联网的新-代连接器。 为客户提供”云+大数据+AI”的咨询、集成和管理服务,以及数字化解决方案,帮助客户利用新技术进行业务创新,实现数字化变革。
唯一小编 2021-02-19 专线