唯一小编 发布时间:2023-07-21
1. SD-WAN优秀服务奖 7月12日,以“新技术 新设施 新生态”为主题的「2023算网融合产业发展峰会」在北京举办。大会上,中国通信标准化协会算网融合产业及标准推进委员会公布了2022年度算网融合领域优秀案例征集结果。唯一网络凭借创新的SD-WAN组网案例荣获 “SD-WAN优秀服务奖”,彰显了中国信通院对于唯一网络在算网融合领域创新技术及卓越实践的认可,展现出唯一网络在SD-WAN领域的产品和服务强大的竞争力。 唯一网络SD-WAN不仅支持混合链路统一管理,也支持企业分支机构物联网等多样化业务场景,而且还可以跨越广域网连接多家企业,提高业务连通性和可拓展性,帮助客户实现SD-WAN与众多公有云服务的集成,有效降低总体IT业务运营费用,便于快速部署新的应用和业务场景。 目前,唯一网络SD-WAN解决方案,已经在零售、金融、物流、制造、电商、医疗等多个行业领域得到广泛应用,帮助客户实现数字化转型和业务创新。 2. 年度SD-WAN+云网融合优秀服务奖 7月12-14日,2023第四届亚洲快消品行业创新峰会(Future FMCG 2023)在广州隆重召开,会上颁发了行业大奖,唯一网络凭借卓越的云网服务综合实力,荣膺“年度SD-WAN+云网融合优秀服务奖”。 近年来,唯一网络持续推进技术与服务的升级,将数据中心运维服务、网络安全服务、业务运营支撑等进行服务融合,提供产品“一站式解决方案”,实现技术产品化和产品服务化。唯一网络SD-WAN解决方案,基于全国骨干网络,对网络、业务和资源进行智能化编排,具备动态链路、统一管控、智能识别、设备告警、可视化管理、数据分析等多种功能,并融合网络和安全功能实现漏洞扫描、APT攻击监测和上网行为管理等增值服务,全面赋能客户差异化场景。 作为国内领先的数字经济基础设施服务提供商,唯一网络一直致力于为客户提供创新的数字化解决方案和优质的云网综合服务。凭借多年的耕耘,公司的数据中心、边缘计算和SD-WAN解决方案在行业内享有盛誉,得到了广大客户的认可和信赖。 未来,我们将继续加大研发投入,不断推进数据中心、云计算和云联网业务的智能化、绿色化、高可靠化的发展,为客户提供高品质、安全、高效的服务,赋能企业数字化转型升级,助力中国数字经济的高质量发展。
唯一小编 发布时间:2023-07-12
7月8日上午,省统计局党组书记、局长杨新洪,市委常委、副市长刘光滨,市统计局党组书记、局长陈文东等领导一行莅临唯一网络开展 “百名企业家信心调查” 工作专题调研,为新增百名景气企业家调查样本开户。 唯一网络董事长王宇杰对调研组一行的到来表示热烈欢迎,陪同参观唯一网络科技文化展厅,并向调研组一行详细介绍了唯一网络近年发展及运营情况。 在调研座谈会上,王宇杰董事长向调研组一行系统介绍了公司数据中心、云计算、云联网等业务的经营情况及未来发展规划,并就调研组所关心的问题一一作了详细的回复。调研组高度评价了唯一网络的发展成果,并为王宇杰董事长颁发了 “百名景气企业家” 证书。 杨新洪介绍,“百名企业家信心调查”是广东省统计局在全国率先创立,且在该项调查基础上建立的百名企业家信心指数,已成为科学研判经济发展形势的一个重要的先行指标,为及时掌握企业经营现状与预期,全面了解微观经济活动与宏观经济动向的内在关联发挥了重要的作用,相当于一份经济景气参考的晴雨表。 调研期间,大家围绕经济环境、政策施行、企业战略方向和信心状况等话题进行了深入的交流。 杨新洪表示,各级政府统计部门要继续优化统计服务,期望唯一网络做优做强,行稳致远,提振发展信心,持续为省市经济高质量发展贡献力量。 刘光滨表示,企业支持配合统计工作既是企业责任,也要拓宽思路积极建言,要更多地参与统计及经济普查工作。 王宇杰董事长对领导的关怀表示感谢,他表示,唯一网络将一如既往地支持和配合统计工作,积极配合普查机构完成今年开展的第五次全国经济普查工作任务。
唯一小编 发布时间:2023-06-25
6月20日,由唯一网络和微软联合举办的“AI大模型行业探索大型研讨会”在厦门天元酒店圆满落幕。 随着人工智能技术的不断深入和发展,AI大模型已经成为人工智能领域最受关注的一个话题。特别是在大数据时代,利用大模型进行机器学习和深度学习,可以实现更为精准的数据分析和预测,从而帮助企业更好地了解客户需求和市场趋势,优化产品设计和推广,提升运营效率和业务价值等等。 但是,在落地应用方面还存在着一些挑战和问题,如如何有效管理海量数据、如何确保模型易用性和可靠性、如何克服模型计算困难等等。因此,三位特邀嘉宾分别是:微软(中国)技术顾问易永明先生、唯一网络云网事业部总经理尹煜先生和清华大学OpenBMB理事缪钧玮先生。他们结合自己的实际经验,就如何设计和控制OpenAI语言大模型、SD-Branch 出海及行业探索、大模型前沿高效计算框架及行业探索等议题,与现场的嘉宾分享了最新技术的趋势和进展。 此次会议汇聚了100多家企业的技术及产品负责人,共同探讨如何深化和完善AI大模型的实际应用。讲师宣讲完毕后,嘉宾们也主动发起提问,针对国内AI现状展开了深度交流。 微软带来的《AI及ChatGPT最新趋势和技术进展》 微软(中国)技术顾问易永明先生为嘉宾们解答了关于OpenAI企业级应用的一些困惑。他指出,如果之前是使用原生的OpenAI,可以转换成使用Azure openAI,因为其合规合法;而如果已经在使用Azure openAI,担心数据安全的问题,还可以考虑与国内安全厂商合作,接入敏感词库,屏蔽敏感词汇。 唯一网络的分享《SD-Branch出海及行业探索》 企业数字化转型是现代企业成功和繁荣的必要途径,而唯一网络的SD-Branch解决方案是应对这样的挑战的有效方式。我们深刻认识到数字化转型所面临的三大挑战:多云互访难协同、网络成本增加和终端无线化。基于此,我们为客户提供了物联网和云计算技术等先进解决方案,以优化其部署效率、运维效率,并降低其网络时延等问题。 借助唯一网络的SD-Branch解决方案,客户可以满足各种组网需求,在不同领域获得最佳效益。同时,我们能够能够为客户提供全球化网络加速服务,为企业的数字化转型保驾护航。为了确保客户在数字化转型中的顺利推进,唯一网络还承诺,将为客户提供合规、安全、稳定、快捷的数字化转型解决方案。 清华大学的分享《大模型前沿高效计算框架及行业探索》 缪钧玮介绍,OpenBMB是国内最早的大模型开源社区之一,在大模型全流程的构建和应用方面拥有丰富的经验。从大模型的能力到下一次工业革命的趋势,演讲引出了OpenBMB社区的理念和发展历程,并介绍了其中关键流程,如模型训练、微调、推理、压缩等的代表性技术。基于该社区在学术和产业应用中积累的经验,他还提炼并分享了企业应用大模型的"SPIDER"需求范式,并介绍了相应的落地思路和方案。 针对openAI多少存在着一些数据存储与保护方面的争议,缪钧玮从国内大模型私有化部署的角度出发,分享了最新的行业前沿理论以及实际成功案例。 在此,我们非常感激每一位来宾的到来和贡献,您们的热情参与和积极交流使本次会议圆满成功。同时,我们也要特别感谢微软团队和清华团队对于本次活动的大力支持和协助。 这次深入交流,不仅让我们更加了解了AI大模型的发展方向,并且也为唯一网络日后进一步合作奠定了坚实的基础。未来,唯一网络将继续秉承服务客户、共促行业发展的理念,为客户提供更好的公有云式部署AI大模型及私有化部署AI大模型的服务。
唯一小编 发布时间:2023-06-19
6月16日上午,湖南联通副总经理,联通(湖南)产互公司党委书记、总经理吴华,长沙联通总经理刘鲲及联通(湖南)产互公司相关领导一行赴唯一网络参观交流。唯一网络总裁李玉何、副总裁易志强陪同接待。 吴华一行参观了唯一网络科技展厅,深入了解唯一网络自营自建绿色数据中心的整体运行情况,以及公司近年来的所取得的成绩和未来发展规划。 李玉何对吴华一行的到来表示热烈欢迎,并详细介绍了公司整体运营发展情况,与吴华一行共同围绕数据中心、边缘算力、云联网、SD-WAN业务展开交流,并就当下热门的AI和ChatGPT交换了看法。座谈会期间,双方持续就深入推进边缘数据中心合作及运营服务、进一步拓展双方合作领域深入交换意见。 吴华指出,湖南联通与唯一网络的业务领域和使命愿景高度契合,具备广阔的合作空间。他表示,湖南联通将进一步加强与唯一网络在业务拓展及产品运营推广上的合作,更好地整合双方资源,积极响应客户需求,在做大做强数据中心业务的基础上,开展多领域的合作。 李玉何对湖南联通一直以来给予唯一网络的支持表示感谢,就深化湖南地区IDC市场运营,他表示唯一网络将结合当下的市场环境,贴近客户需求提供服务支撑,更好地融入联通主业,与省市公司紧密联动,抢抓市场机遇,共同推动数字经济产业规模迈上新台阶。 联通(湖南)产互公司市场运营中心总经理许云石、联通(湖南)产互公司IDC/物联网事业部总经理向前、联通(湖南)产互IDC/物联网事业部IDC行业总监曾繁磊、唯一网络副总裁刘文勃等陪同参观交流。
唯一小编 发布时间:2023-06-09
2023年6月2日,由中国零售(餐饮)CIO俱乐部主办、唯一网络协办的 “数智化运营及组织创新——2023区域零售(餐饮)数字化运营专题沙龙会” 在上海成功召开,唯一网络数字化领域专家受邀出席并作主题分享,与现场众多来自餐饮和零售企业客户高管共同探索该行业数智化转型之道,共同推进企业数智化进程,为餐饮和零售行业带来前沿的思考和创新实践。 2023区域零售(餐饮)数字化运营实战专题沙龙活动现场 在后疫情时代,随着消费者习惯的变化,线上线下融合的深化,使得数字化运营在商业领域的突出优势愈加明显。实体零售和餐饮企业如何基于商业目标进行数字化营销创新,以及如何实现连锁门店数字化、智能化及企业内部协同网络化管理,是目前餐饮企业和实体零售正在面临的巨大挑战和机遇。 沙龙活动现场 本次研讨会议围绕三大议题开展: 一、数智技术驱动的商业创新、基于商业目标的数字化营销创新; 二、企业内部协同、门店与总部协同效率的提升;如何实现流程自动化管理; 三、商场及连锁门店网络化、数字化管理如何优化;商场或连锁门店与总部组网,如何提升智慧、便捷、高效运维。 唯一网络云联网产品专家王澄湘现场分享 根据当下企业组网现状,唯一网络云联网产品专家王澄湘在《企业融云组网构筑高效数字化网络》专题分享中提到,传统互联组网方式带来的不同挑战: 其一、企业分支数量增加、数字化转型,大流量视频/语音应用兴起,WAN流量激增,面临线路成本高、连续性差等难题; 其二、广泛业务云化,面临基于互联网访问体验差、多云运维复杂问题; 其三、全球业务布局,面临专线组网成本高及VPN组网访问体验差问题; 唯一网络打造4G融合组网部署方案,网络设备通过云平台进行统一管理,实现运维便捷、极简部署等运维管理,可满足企业快速组网和降本增效的发展目的。 本次会议邀请了50多家上海品牌零售与餐饮企业的数字化负责人,进行了深度的思想碰撞和精彩的分享。大家畅谈疫情后如何再出发,梳理思路,分享实践,把握时势,不断推进数字化进程,为商业注入新的活力。 (完)
唯一小编 发布时间:2023-05-25
5月24日,福建省工商联余建副主席、东莞市福建商会黄寿强会长一行莅临唯一网络调研指导,唯一网络董事长特助蔡湛陪同接待。 调研组首先参观了唯一网络科技展厅,通过观看唯一网络企业宣传片,以及数据中心模型区、四轮驱动业务发展规划和党建文化区,进一步了解了唯一网络的发展历程、业务布局、技术创新及党工建设,并对唯一网络以党建引领、数字化建设及创新的技术探索表示赞赏。 在未来工作中,唯一网络将进一步发挥党建引领作用,充分发挥各方的资源优势,助力经济社会可持续发展、高质量发展。 (完)
唯一小编 发布时间:2023-05-25
为深入贯彻落实习近平总书记关于网络强国的重要思想,深入学习贯彻党的二十大精神,进一步推动数字经济和实体经济的融合发展,加快推进国资国企数字化转型,5月19日,在厦门市国资委的组织下,厦门市国资系统代表们走进了广东唯一网络科技有限公司(以下简称“唯一网络”)进行学习交流。 厦门建发集团、厦门国贸控股、厦门象屿集团、厦门翔业集团、厦门路桥建设集团、厦门轨道集团、厦门火炬集团等国资系统代表参观了唯一网络东莞总部和唯一网络志享(华南)数据中心,以数字化转型为主题,共同探讨国有企业数字化快速发展的路径。 唯一网络董事长王宇杰、数据中心战略事业部总裁郑可君、华东大区副总经理孔燕凌、董事长特助蔡湛等陪同接待。 厦门市国资系统代表们首先参观了唯一网络志享(华南)数据中心,实地考察了数据中心机房、动力、制冷和柴发等设施,了解数据中心的整体规划和建设运营情况。 在唯一网络东莞总部,代表们参观了唯一网络科技展厅,近距离了解唯一网络在数据中心、云计算、云联网及绿色能源等方面的实践和前沿探索,深入了解唯一网络的发展历程和产业布局。 在数字化转型培训环节,邀请了微软中国、火山引擎、唯一网络等业内专家,就人工智能领域AIGC应用实践、大数据驱动下的企业决策与管理、网络技术应用创新等主题进行分享。其中,以ChatGPT为代表的人工智能广泛应用,有助于企业和个人更高效地工作,从而提升企业组织效能;而基于大数据驱动的企业管理模式,可以帮助企业实现从粗放型管理到精细化管理,实现从经验管理到数据驱动管理的转变;在数字转型背景下,新一代的网络架构有效提升了企业“上云”的数字化创新能力。这些丰富的先进经验与成功案例,加深了代表们对数字化转型方法论、企业数字化管理及云网融合技术的理解,更进一步提升了大家的数字化思维和转型意识。 未来,唯一网络将持续整合行业优质资源,搭建行业交流互动平台,为国资国企的数字化转型提供优质、安全、高效的科技支持,助推国资国企实现高质量发展。
唯一小编 发布时间:2023-05-15
2023年5月9日,“2023华为中国合作伙伴大会”于深圳国际会展中心成功举办。厦门市唯云网络科技有限公司(以下简称“唯云科技”)与华为技术有限公司(以下简称“华为”)在会上签署SD-WAN MSP合作协议,以提升双方服务品质,进一步推动我国企业全面上云,赋能数字经济创新生态。 唯云科技总裁李玉何、唯云科技副总经理尹煜、唯云科技首席架构师瞿宜情、唯云科技项目总监严斌、华为数据通信产品线副总裁王辉、华为园区领域SD-WAN产品总监曹同强出席活动并见证签约,唯云科技副总经理孔燕凌、华为福建厦门总经理黎方代表双方签约。 华为与唯云科技签署合作协议 根据协议,双方将围绕客户的需求持续创新,致力于为全球政府及公共事业、能源、金融、交通等行业的企业客户提供全面、高效的ICT解决方案和服务,包括基础网络、统一通信与协作、云计算与数据中心和行业应用等。此外,双方将建立良好的组织对接关系,按需开展市场信息、行业动态、技术创新等方面的交流,并以MSP云服务模式、Saas云服务模式、服务伙伴模式等展开全面合作。 唯云科技总裁李玉何表示,唯云科技是一家专注于行业领域积累与沉淀的技术创新型公司,作为深耕ICT领域十余年的云MSP服务商,持续挖掘用户需求,始终将技术创新作为增长引擎,不断打磨自己的产品与服务。目前,唯云科技已面向市场推出了多云互联网络、SD-WAN网络、混合云等产品与解决方案,希望与华为合作,继续加强技术创新和产业协同,共同推进5G、人工智能、云计算等领域的合作,不断提升双方的品牌价值和市场份额,以及打造良性发展的生态链,推动ICT产业的发展并造福全社会。 华为园区领域SD-WAN产品总监曹同强表示,根据IDC SD-WAN市场份额调研报告,华为SD-WAN在中国市场连续4年高居国内SD-WAN份额之首。在全球市场连续4年获得Gartner客户之选荣誉,好评率以及推荐率都大幅领先业界平均水平。在此基础上,华为与唯云科技牵手合作SD-WAN解决方案,基于双方在网络服务领域的深厚积累和技术实力的强强联合,帮助企业客户降本增效的同时,大大提升了用户的用网体验、运维体验,为企业数字化转型保驾护航。 今后,唯云科技将持续深耕产品与服务,助力华为在多云互联网络、总部分支互联网络等领域持续发力与创新,致力于为客户提供最优质的网络产品和服务,共同推动网络技术的发展和创新,让SD-WAN更智能,部署更快速、维护更简单、组网更灵活、网络更安全,为企业筑牢数字化转型的基石。
唯一小编 发布时间:2023-03-02
图1 唯一网络荣获“数据中心绿色解决方案”奖 一、唯一网络精彩亮相第十七届中国IDC产业年度大典 2023年2月27-28日,第十七届中国IDC产业年度大典(IDCC2022)在北京国家会议中心隆重举办。大会聚焦数据中心最关注话题与最新发展态势,以“解码可持续发展”为主题,共同描绘数字经济宏伟蓝图。作为大会合作伙伴之一,唯一网络应邀亮相并展示数据中心绿色解决方案。 图2 唯一网络展位现场 图3 第十七届中国IDC产业年度大典现场 二、云网融合筑牢数字经济新底座 时值“十四五”关键之年,数字经济发展步入快车道。在国家“东数西算”、“新型数据中心”、“双碳”等战略目标的引导下,数据中心产业正向着高技术、高算力、高能效、高安全的目标迈进。 唯一网络作为国内领先的数字经济基础设施服务提供商,在粤港澳大湾区核心区域拥有志享(华南)数据中心和东莞沙田数据中心,并与三大运营商深度合作,在全国建立及运营80多个数据中心节点,覆盖30多个省市,拥有100+全球POP点以及全国骨干环网资源的优质云网服务能力,打造数字经济发展的坚实底座,为千行百业启动算力引擎。 三、精耕致远打造数据中心绿色典范 图4 唯一网络东莞沙田数据中心 荣获2022年度“数字产业高质量发展”优秀案例奖 唯一网络自营自建绿色数据中心,遵循国家A级和美国Tier III +标准,符合绿色、低碳原则。 1)建设理念 唯一网络秉承绿色、集约、标准、可靠的数据中心建设理念,从客户需求出发,为客户量身打造符合企业发展及业务特性的新一代数据中心,并为客户提供咨询规划–模型设计–建设总包–运营维护一站式服务。 同时唯一网络积极探索数据中心的标准化、定制化和模块化,通过设备模块预制生产和现场集成拼装,可以大幅降低机电工程建设周期,实现快速交付。 2)前沿技术应用 唯一网络深度融合业界先进数据中心预制化模块及间接蒸发冷却方案,旨在为客户带来更加绿色智能的数据空间。 数据中心配套建设分布式光伏电站和储能电站,可转化清洁能源为数据中心生产供能,同时可利用峰谷价差为数据中心提高经济效益。 智慧节能管理系统依托强大的Al平台和暖通领域技术,可实现制冷系统的集中管理、精确制冷和寻优控制,能有效降低制冷系统能耗,从而有效降低数据中心PUE指标,以达到国家节能管控的要求。 基于数字化、平台化、标准化管理角度,唯一网络特为数据中心打造涵盖基础设施集中监控到服务管理(IM、OM、DM、SM)的全体系运营管理系统。 3)运维服务 唯一网络拥有丰富的数据中心运维管理经验,具备完善的服务体系,资深的客户服务团队秉承“客户第一”的服务理念,为客户提供多途径运维服务,保证客户和合作伙伴获得更加优质的 IT 服务和体验。 在日常运维管理中,唯一网络提供7*24小时的全天候技术服务,可视化的运维总控室设计,各系统运行情况、性能监控、动环监控等功能集于一体的大屏展示,有力提升数据中心运维效率。 未来,随着国家“双碳”战略的不断实施,绿色节能、可持续发展将会是数据中心行业发展的主旋律。接下来,唯一网络将携手更多合作伙伴持续创新,推动数据中心产业的健康发展,为社会赋能绿色经济发展,助力实现碳中和目标。
唯一小编 发布时间:2023-02-10
2月7日,东莞市委网信办主任彭碧玲、副主任谭永康、朱建晖等一行莅临唯一网络开展调研走访。唯一网络董事长王宇杰、党支部书记王毓敏等热情接待了调研组一行。 调研走访期间,彭碧玲主任一行首先参观了唯一网络科技文化展厅,了解东莞沙田数据中心和志享(华南)数据中心的运营成果,对唯一网络数据中心的运营情况及发展成绩给予了高度肯定。 唯一网络董事长王宇杰对调研组一行的到来表示热烈欢迎,并详细介绍了唯一网络近年来的整体业务发展情况。随后,双方就东莞市网络安全工作进行深入交流。 彭碧玲主任表示,唯一网络作为东莞市发展迅速的互联网企业,为网络安全合规治理服务的创新发展,为东莞地区网络安全工作做出贡献。当前网络空间安全形势依然严峻,希望今后唯一网络能够一如既往地发挥自身优势,在网络安全建设服务、人才培养等方面为东莞网信工作提供支持,在数据安全和网络安全等领域继续突破创新,共同推动东莞市网络安全工作的高质量发展。 对于领导的关心和指导,王宇杰表达了诚挚的感谢。王宇杰表示,近年来,唯一网络在东莞市委网信办和相关部门的支持和关怀下,取得了一定的成绩。今后唯一网络将不负所托,在发展壮大的同时,也将积极践行企业使命,努力扩大产业优势,不断加大人才队伍建设和技术创新的力度,从而为东莞市政府单位和企业提供更为优质的网络安全服务,为东莞数字经济发展保驾护航。 网络安全为人民,网络安全靠人民。 唯一网络作为领先的数字经济基础设施服务提供商,今后将继续加大科研创新投入,不断提升网络信息基础设施保护、数据安全治理、个人信息保护的能力,为行业用户提供更好的服务,为推动网络安全事业高质量发展而不懈努力!
2020年,笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统全局部署在阿里云上,服务应用阿里云ECS部署,数据库采纳阿里云RDS,配置中心基于阿里云ACM自研,数据同步基于阿里云DTS自研以及自研分库分表组件、分布式ID组件等等。 此次进行扩分库分表的背景是,原4实例4库、各个库64张表一共256张表,部分单表已超千万量级,按目前每日单量量级,一年内单表会达到上亿条记载,单表数据量过大会带来数据库性能问题。 4实例(16C/64G/3TSSD),4库(各个实例一个库),每库64张表,共256张表。 经过RDS后台一键诊断功能,来计算表空间应用情形(这里拿测试情境数据库举例)。 数据库的瓶颈主要表现在:磁盘、CPU、内存、互联网、联结数,而联结数主要是受CPU和内存作用。CPU和内存可以经过动态升配来提高,可是SSD磁盘容量最大支持到6T(32C以下最大3T、32C及以上最大6T)。 可是现阶段兼顾成本,可先将实例扩容一倍,采纳8个实例(16C/64G/3TSSD),各个实例建4个库(database)、各个库128张表(这里实质上是一个成本取舍的流程,理论上应该采取”多库少表”的准则,单库128张表其实太多了,单库建议32或64张表为宜)。 接下来如果实例压力提高可进行实例配置改进(16C/128G、32C/128G、32C/256G等);将来如出现单实例升配无法解决,在考虑扩容实例,只需求将database迁移至新实例,迁移成本较小。 按单表最多1000w条数据评估,4096张表可支持日5000w单3年(10.1压测标准)、日2000w单5年的架构。(因业务表比较多,此处忽略掉单条数据大小的计算流程) 32个库,各个库128张表。将来可最大扩容到32个实例,无需rehash,只需求迁移数据。 阿里云RDS规格和价钱一览 因扩分库分表涉及到rehash流程(256表变4096表),而阿里云DTS只支持同构库数据迁移,所以我们基于DTS的binlog转kafka实力自研了数据同步中间件。 整体数据迁移工作包含:前期预备、数据同步环节(历史数据全量同步、增量数据实时同步、rehash)、数据校验环节(全量校验、实时校验、校验规章配置)、数据修复工具等。 在进行数据同步前,需求先整理一切表的惟一业务ID,只有确定了惟一业务ID才学兑现数据的同步操作。 需求重视的是: 一旦表中没有惟一索引,就会在数据同步流程中造成数据重复的危险,所以我们先将没有惟一索引的表依据业务场景增加惟一索引(有也许是联合惟一索引)。 在这里顺便提一下,阿里云DTS做同构数据迁移,应用的是数据库自增ID做为惟一ID应用的,这种情形如果做双向同步,会造成数据覆盖的问题。解决案例也有,之前我们的做法是,新旧实物采纳自增ID单双号解决,担保新旧实例的自增ID不会出现冲突就行。由于这次我们应用的自研双向同步组件,这个难题这里不细聊。 分表规章不同决定着rehash和数据校验的不同。需逐个表整理是用户ID纬度分表还是非用户ID纬度分表、是否只分库不分表、是否不分库不分表等等。 数据同步全局案例见下图,数据同步基于binlog,独立的中间服务做同步,对业务代码无侵入。 后续对每一个环节进行介绍。 单独一个服务,应用游标的方法从旧库分批select数据,通过rehash后批量插入(batchinsert)到新库,此处需求配置jdbc联结串参数rewriteBatchedStatements=true才学使批处理操作生效。 另外特殊需求重视的是,历史数据也会存在不断的更新,如果先开启历史数据全量同步,则刚同步达成的数据有也许不是最新的。所以这里的做法是,先开启增量数据单向同步(从旧库到新库),此时只是开启积压kafka消息并不会真正消费;然后在开始历史数据全量同步,当历史全量数据同步达成后,在开启消费kafka消息进行增量数据同步(提升全量同步效率变少积压也是核心的一环),这样来担保迁移数据流程中的数据一致。 增量数据同步考虑到灰度切流稳定性、容灾和可回滚实力,采纳实时双向同步案例,切流流程中一旦新库出现稳定性问题或者新库出现数据一致问题,可迅速回滚切回旧库,担保数据库的稳定和数据稳妥。 增量数据实时同步采纳基于阿里云DTS的数据订阅自研数据同步组件data-sync兑现,主要案例是DTS数据订阅实力会自动将被订阅的数据库binlog转为kafka,data-sync组件订阅kafka消息、将消息进行过滤、合并、分组、rehash、拆表、批量insert/update,最后再上交offset等一系列操作,最终达成数据同步工作。 整体流程中有几个问题需求重视: 问题1:怎样预防因异步消息无顺序而致使的数据一致问题? 第一kafka异步消息是存在顺序问题的,可是要知道的是binlog是顺序的,所以dts在对具体进行kafka消息投递时也是顺序的,此处要做的就是一个库担保只有一个顾客就能保障数据的顺序问题、不会出现数据状态覆盖,从而解决数据一致问题。 问题2:是否会有丢消息问题,假如顾客服务重启等情形下? 这里没有采纳自动上交offset,而是每次消费数据最终入库达成后,将offset异步存到一个mysql表中,如果顾客服务重启宕机等,重启后从mysql拿到最新的offset开始消费。这样惟一的一个问题也许会出现瞬间部分消息重复消费,可是由于上面介绍的binlog是顺序的,所以能担保数据的最终一致。 问题3:update转insert会不会丢字段? binlog是全字段发送,不会存在丢字段情形。 问题4:循环消息问题。 后面进行单独介绍。 前文有提到,由于是256表变4096表,所以数据每一条都需求通过一次rehash重新做分库分表的计算。 要说rehash,就必须先介绍下目前订单数据的分库分表策略,订单ID中冗余了用户ID的后四位,经过用户ID后四位做hash计算确定库号和表号。 数据同步流程中,从旧库到新库,需求拿到订单ID中的用户ID后四位模4096,确定数据在新库中的库表位置;从新库到旧库,则需求用用户ID后四位模256,确定数据在旧库中的库表位置。 想象一下,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,将该记载写入到新实例,于是在新实例也诞生了一条binlog;此时data-sync中间件又接到了该binlog……不断循环,消息愈来愈多,数据顺序也被打乱。 怎样解决该问题呢?我们采纳数据染色案例,只要能够标识写入到数据库中的数据使data-sync中间件写入而非业务写入,当下次接收到该binlog数据的时候就不必进行再次消息流转。 所以data-sync中间件需求,各个数据库实例创建一个事务表,该事务表tb_transaction只有id、tablename、status、create_time、update_time几个字段,status默认为0。 再回到上面的问题,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,如下操作: 此时data-sync中间件将上面这些语句打包全体上交到新实例,新实例更新数据后也会生产对应上面语句的binlog;当data-sync中间件再次接收到binlog时,只要推断碰到tb_transaction表status=1的数据开始,后面的数据都直接舍弃不要,直到碰到status=0时,再陆续接收数据,以此来担保data-sync中间件只会流转业务诞生的消息。 数据校验模块由数据校验服务data-check模块来兑现,主要是基于数据库层面的数据对照,逐条核对每一个数据字段是否一致,不一致的话会通过配置的校验规章来进行重试或者报警。 通过数据校验,一旦发觉数据不一致,则需求对数据进行修复操作。 数据修复有两种案例,一种是适用于大范围的数据不一致,采纳重置kafkaoffset的方法,重新消费数据消息,将有问题的数据进行覆盖。 全局灰度案例:SP+用户纬度来兑现,SP纬度:凭仗灰度情境切量来做,用户纬度:依靠用户ID后四位百分比切流。 灰度切量的流程肯定要配合停写(秒级),为什么要停写,由于数据同步存在肯定拖延(正常毫秒级),而一切业务操作肯定要保障都在一个实例上,否则在旧库中业务刚刚调整了一条数据,此时切换到新库如果数据还没有同步过来就是旧数据会有数据一致问题。所以流程应该是: 虽然在切流之前,在测试情境进过了大量的测试,可是测试情境毕竟和生产情境不相同,生产情境数据库一旦出问题就也许是灭顶之灾,虽然上面介绍了数据校验和数据修复步骤,可是把问题拦截在发生之前是做服务稳定性最重大的工作。 因此我们提出了ABC验证的概念,灰度情境ABC验证预备: 详细灰度案例和数据源切换步骤: 整体数据迁移流程还是比较复杂的,时光也不是非常充裕(流程中还穿插着十一全链路压测改变),在有限的时光内集大家之力重复探讨发掘也许存在的问题,然后论证解决案例,不放过任何一个也许出现问题的环节,还是那句话,把问题拦截在发生之前是做服务稳定性最重大的工作。 流程中的细节还是非常多的,从数据迁移的预备工作到数据同步测试,从灰度步骤确定到正式生产切换,尤其是融合业务和数据的特色,有非常多需求考虑的细节,文中没有一一列出。 最终通过近两个月的紧张工作,无业务代码侵入、零事故、平稳地达成了扩分库分表和数据迁移的工作。
唯一小编 2021-03-01 阿里云服务器
改进terraform到v0.13后,初始化terraform也许会出现以下问题 因素是terraform自v0.13后就交给provider自己维持了。解决案例: 1.应用命令查看自己版本 示例得到 +provider.tencentcloudv1.53.0 2.粘贴以下代码至terraform配置中,version采纳自己的tencentcloudterraform版本
唯一小编 2021-03-01 腾讯云服务器
在网络相关的业务中,高弹性是往往被提及的一个架构设计目的,前两个我就碰到一个用户需求我们帮助设计一个高弹性的架构以承载他们周期性暴增的业务压力,用户90%以上的业务压力都集合在业务高峰期,因此在设计这个架构之初,我和用户就在纠结,到底是采纳更了解的“堆”服务器的想法呢,还是采取更具弹性的容器化的案例呢?其实作为一个技术人员,在问这个难题的时候就已经有确定的答案了,最终我们设计出了这样的一个架构: 容器平台选择阿里云的ACK(阿里云容器服务Kubernetes版)。其中ACK分成专有版和托管版,区分是专有版的管控节点需求用户自行预备,而托管版应用阿里云的资源进行资源管控,在托管版中又分成标准版和Pro版,其中Pro版有确定的SLA保障,生产系统建议选择Pro版。同时为了保障worker节点的内容安全,建议为充当worker节点的ECS配置云安全中心服务进行主机安全防护。 除了ACK,阿里云还提供无服务器架构的ASK,区分是ACK有ECS服务器充当worker节点,创建POD所需的资源经过ECS进行安排,而ASK没有worker节点,ASK直接在阿里云的分享资源池中经过ECI(弹性容器节点)来安排资源创建POD。 在这个项目中为了担保永远有肯定量的稳定资源供给,我们决定应用ACK再融合阿里云的ECI来兑现资源的弹性供给。ECI资源的申请和释放可经过ACK的ack-virtual-node插件出自动达成,动态增加的POD将自动运行在ECI之上。 考虑到业务高峰期和平常存在庞大的应用量落差,选择应用按流量的方法购入手互联网带宽资源,并经过购入手分享流量包将一切的互联网流量进行集合抵扣。这个项目所用到的互联网流量主要有如下三个: 鉴于ECI节点上服务的启动需求肯定的时光,而业务流量也许瞬间到达峰值,因此经过MQ来缓冲瞬时的业务压力,为运行在ECI弹性资源上的服务争取启动时光。 阿里云MQ服务依据访问协议的不同分成RocketMQ、AMQP、Kafka三个系列,对于海量的业务交易场景建议选择通过双十一检验的RocketMQ系列,在RocketMQ系列中又分成一般版和公司铂金版两个版本,公司铂金版采纳独享硬件资源,能够更充分的保障峰值吞吐实力,对于瞬时业务峰值高的业务,建议尽也许选择铂金版。 数据库采纳云原生数据库PolarDB,PolarDB可以从2个节点扩容到16个节点,单节点可改进至88核710G规格,集群采纳分布式分享存储架构,单个集群可存储100TB的数据,有赖于其采纳分布式分享存储的架构,PolarDB集群增加节点时无需进行大量的数据拷贝,因此可以在分钟级达成集群的横向扩容。 我觉得这个架构对于大部分“腰部”级其他网络行业用户都是适用的,因此共享出来,盼望对大家有所协助。
唯一小编 2021-03-01 阿里云服务器
云专线和普通专线区别,首先我们说一下云专线在定义和应用方 面的区别。 普通物理专线,是端口带宽资源被用户独占的物理专线,此种类型的物理专线由用户单独使用该物理线路,专线用户可以创建多个虚拟接口。 云专线(Direct Connect)用于搭建用户本地数据中心与云上VPC之间高速、低时延、稳定安全的专属连接通道。 传统专线主要应用于用户的局域网互联或快速浏览互联网。用户可以根据需要选择64Kbps- 2Mbps不等的速率。通过互联专线实现数据、语音、图像等业余的安全传输:实现各公司、部门间的资源交换和共享;通过拥有固定、独享的IP地址,视需要建立自己的Mail-Server. Web- Server等服务器,并可通过Internet组建公司内部的VNP业务。 云专线是连接客户局域网与行业云的专线网络,全程独立通道,能够不经互联网连接云主机,同时能保证高网速,对于银行、金融机构等高保密性要求的客户具有重要意义。 下面,我们在分别从开通时间、费用、弹性伸缩、稳定性等维度对他们之间的区别进行说明: 对比一下可以发现 , VPN是开通便捷,费用上比云专线要低很多,但是在公网的质量保障上不如专线,时延高,安全性不如云专线强。相对来说云专线低时延、服务质量稳定,但是在费用上就较高一些。而且在开通时间上,因为受限于物理专线的部署、运营商的线路资源的情况,所以部署时间要比VPN长。在这个情况下,一个量级, VPN如果双方都有internet资源的话,基本上是即开即用,双方配置好,协商起来就可以通信。但是云专线一般是将数据中心和公有云VPC对接,这个时候受限于物理链路,要运营商去核查资源,要去做物理线路的对接。这些正常情况下,就运营商的承诺。有诺的时间一般都是至少需要20个工作日。云专线线上的配置开通,现在一般也是天级,在拿到这种线路配置信息,且物理专线对接完以后,在一天内就可以完成这个线路配置打通的。 唯一网络是中国市场专业的云托管服务商( Cloud MSP ),在数据中心和云计算领域有近十年的专业交付和管理经验,目前正服务于2000多家企业级客户并与全球多家超大规模公有云服务商建立了战略合作关系。在云计算驱动产业变革的今天,安畅以客户需求为驱动,积极投资于核心技术研发和团队组织的云原生技能,致力于成为IT新生态和产业互联网的新-代连接器。 为客户提供”云+大数据+AI”的咨询、集成和管理服务,以及数字化解决方案,帮助客户利用新技术进行业务创新,实现数字化变革。
唯一小编 2021-02-19 专线