唯一小编 发布时间:2021-03-01
2020年,笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统全局部署在阿里云上,服务应用阿里云ECS部署,数据库采纳阿里云RDS,配置中心基于阿里云ACM自研,数据同步基于阿里云DTS自研以及自研分库分表组件、分布式ID组件等等。 此次进行扩分库分表的背景是,原4实例4库、各个库64张表一共256张表,部分单表已超千万量级,按目前每日单量量级,一年内单表会达到上亿条记载,单表数据量过大会带来数据库性能问题。 4实例(16C/64G/3TSSD),4库(各个实例一个库),每库64张表,共256张表。 经过RDS后台一键诊断功能,来计算表空间应用情形(这里拿测试情境数据库举例)。 数据库的瓶颈主要表现在:磁盘、CPU、内存、互联网、联结数,而联结数主要是受CPU和内存作用。CPU和内存可以经过动态升配来提高,可是SSD磁盘容量最大支持到6T(32C以下最大3T、32C及以上最大6T)。 可是现阶段兼顾成本,可先将实例扩容一倍,采纳8个实例(16C/64G/3TSSD),各个实例建4个库(database)、各个库128张表(这里实质上是一个成本取舍的流程,理论上应该采取”多库少表”的准则,单库128张表其实太多了,单库建议32或64张表为宜)。 接下来如果实例压力提高可进行实例配置改进(16C/128G、32C/128G、32C/256G等);将来如出现单实例升配无法解决,在考虑扩容实例,只需求将database迁移至新实例,迁移成本较小。 按单表最多1000w条数据评估,4096张表可支持日5000w单3年(10.1压测标准)、日2000w单5年的架构。(因业务表比较多,此处忽略掉单条数据大小的计算流程) 32个库,各个库128张表。将来可最大扩容到32个实例,无需rehash,只需求迁移数据。 阿里云RDS规格和价钱一览 因扩分库分表涉及到rehash流程(256表变4096表),而阿里云DTS只支持同构库数据迁移,所以我们基于DTS的binlog转kafka实力自研了数据同步中间件。 整体数据迁移工作包含:前期预备、数据同步环节(历史数据全量同步、增量数据实时同步、rehash)、数据校验环节(全量校验、实时校验、校验规章配置)、数据修复工具等。 在进行数据同步前,需求先整理一切表的惟一业务ID,只有确定了惟一业务ID才学兑现数据的同步操作。 需求重视的是: 一旦表中没有惟一索引,就会在数据同步流程中造成数据重复的危险,所以我们先将没有惟一索引的表依据业务场景增加惟一索引(有也许是联合惟一索引)。 在这里顺便提一下,阿里云DTS做同构数据迁移,应用的是数据库自增ID做为惟一ID应用的,这种情形如果做双向同步,会造成数据覆盖的问题。解决案例也有,之前我们的做法是,新旧实物采纳自增ID单双号解决,担保新旧实例的自增ID不会出现冲突就行。由于这次我们应用的自研双向同步组件,这个难题这里不细聊。 分表规章不同决定着rehash和数据校验的不同。需逐个表整理是用户ID纬度分表还是非用户ID纬度分表、是否只分库不分表、是否不分库不分表等等。 数据同步全局案例见下图,数据同步基于binlog,独立的中间服务做同步,对业务代码无侵入。 后续对每一个环节进行介绍。 单独一个服务,应用游标的方法从旧库分批select数据,通过rehash后批量插入(batchinsert)到新库,此处需求配置jdbc联结串参数rewriteBatchedStatements=true才学使批处理操作生效。 另外特殊需求重视的是,历史数据也会存在不断的更新,如果先开启历史数据全量同步,则刚同步达成的数据有也许不是最新的。所以这里的做法是,先开启增量数据单向同步(从旧库到新库),此时只是开启积压kafka消息并不会真正消费;然后在开始历史数据全量同步,当历史全量数据同步达成后,在开启消费kafka消息进行增量数据同步(提升全量同步效率变少积压也是核心的一环),这样来担保迁移数据流程中的数据一致。 增量数据同步考虑到灰度切流稳定性、容灾和可回滚实力,采纳实时双向同步案例,切流流程中一旦新库出现稳定性问题或者新库出现数据一致问题,可迅速回滚切回旧库,担保数据库的稳定和数据稳妥。 增量数据实时同步采纳基于阿里云DTS的数据订阅自研数据同步组件data-sync兑现,主要案例是DTS数据订阅实力会自动将被订阅的数据库binlog转为kafka,data-sync组件订阅kafka消息、将消息进行过滤、合并、分组、rehash、拆表、批量insert/update,最后再上交offset等一系列操作,最终达成数据同步工作。 整体流程中有几个问题需求重视: 问题1:怎样预防因异步消息无顺序而致使的数据一致问题? 第一kafka异步消息是存在顺序问题的,可是要知道的是binlog是顺序的,所以dts在对具体进行kafka消息投递时也是顺序的,此处要做的就是一个库担保只有一个顾客就能保障数据的顺序问题、不会出现数据状态覆盖,从而解决数据一致问题。 问题2:是否会有丢消息问题,假如顾客服务重启等情形下? 这里没有采纳自动上交offset,而是每次消费数据最终入库达成后,将offset异步存到一个mysql表中,如果顾客服务重启宕机等,重启后从mysql拿到最新的offset开始消费。这样惟一的一个问题也许会出现瞬间部分消息重复消费,可是由于上面介绍的binlog是顺序的,所以能担保数据的最终一致。 问题3:update转insert会不会丢字段? binlog是全字段发送,不会存在丢字段情形。 问题4:循环消息问题。 后面进行单独介绍。 前文有提到,由于是256表变4096表,所以数据每一条都需求通过一次rehash重新做分库分表的计算。 要说rehash,就必须先介绍下目前订单数据的分库分表策略,订单ID中冗余了用户ID的后四位,经过用户ID后四位做hash计算确定库号和表号。 数据同步流程中,从旧库到新库,需求拿到订单ID中的用户ID后四位模4096,确定数据在新库中的库表位置;从新库到旧库,则需求用用户ID后四位模256,确定数据在旧库中的库表位置。 想象一下,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,将该记载写入到新实例,于是在新实例也诞生了一条binlog;此时data-sync中间件又接到了该binlog……不断循环,消息愈来愈多,数据顺序也被打乱。 怎样解决该问题呢?我们采纳数据染色案例,只要能够标识写入到数据库中的数据使data-sync中间件写入而非业务写入,当下次接收到该binlog数据的时候就不必进行再次消息流转。 所以data-sync中间件需求,各个数据库实例创建一个事务表,该事务表tb_transaction只有id、tablename、status、create_time、update_time几个字段,status默认为0。 再回到上面的问题,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,如下操作: 此时data-sync中间件将上面这些语句打包全体上交到新实例,新实例更新数据后也会生产对应上面语句的binlog;当data-sync中间件再次接收到binlog时,只要推断碰到tb_transaction表status=1的数据开始,后面的数据都直接舍弃不要,直到碰到status=0时,再陆续接收数据,以此来担保data-sync中间件只会流转业务诞生的消息。 数据校验模块由数据校验服务data-check模块来兑现,主要是基于数据库层面的数据对照,逐条核对每一个数据字段是否一致,不一致的话会通过配置的校验规章来进行重试或者报警。 通过数据校验,一旦发觉数据不一致,则需求对数据进行修复操作。 数据修复有两种案例,一种是适用于大范围的数据不一致,采纳重置kafkaoffset的方法,重新消费数据消息,将有问题的数据进行覆盖。 全局灰度案例:SP+用户纬度来兑现,SP纬度:凭仗灰度情境切量来做,用户纬度:依靠用户ID后四位百分比切流。 灰度切量的流程肯定要配合停写(秒级),为什么要停写,由于数据同步存在肯定拖延(正常毫秒级),而一切业务操作肯定要保障都在一个实例上,否则在旧库中业务刚刚调整了一条数据,此时切换到新库如果数据还没有同步过来就是旧数据会有数据一致问题。所以流程应该是: 虽然在切流之前,在测试情境进过了大量的测试,可是测试情境毕竟和生产情境不相同,生产情境数据库一旦出问题就也许是灭顶之灾,虽然上面介绍了数据校验和数据修复步骤,可是把问题拦截在发生之前是做服务稳定性最重大的工作。 因此我们提出了ABC验证的概念,灰度情境ABC验证预备: 详细灰度案例和数据源切换步骤: 整体数据迁移流程还是比较复杂的,时光也不是非常充裕(流程中还穿插着十一全链路压测改变),在有限的时光内集大家之力重复探讨发掘也许存在的问题,然后论证解决案例,不放过任何一个也许出现问题的环节,还是那句话,把问题拦截在发生之前是做服务稳定性最重大的工作。 流程中的细节还是非常多的,从数据迁移的预备工作到数据同步测试,从灰度步骤确定到正式生产切换,尤其是融合业务和数据的特色,有非常多需求考虑的细节,文中没有一一列出。 最终通过近两个月的紧张工作,无业务代码侵入、零事故、平稳地达成了扩分库分表和数据迁移的工作。
唯一小编 发布时间:2021-03-01
改进terraform到v0.13后,初始化terraform也许会出现以下问题 因素是terraform自v0.13后就交给provider自己维持了。解决案例: 1.应用命令查看自己版本 示例得到 +provider.tencentcloudv1.53.0 2.粘贴以下代码至terraform配置中,version采纳自己的tencentcloudterraform版本
唯一小编 发布时间:2021-03-01
在网络相关的业务中,高弹性是往往被提及的一个架构设计目的,前两个我就碰到一个用户需求我们帮助设计一个高弹性的架构以承载他们周期性暴增的业务压力,用户90%以上的业务压力都集合在业务高峰期,因此在设计这个架构之初,我和用户就在纠结,到底是采纳更了解的“堆”服务器的想法呢,还是采取更具弹性的容器化的案例呢?其实作为一个技术人员,在问这个难题的时候就已经有确定的答案了,最终我们设计出了这样的一个架构: 容器平台选择阿里云的ACK(阿里云容器服务Kubernetes版)。其中ACK分成专有版和托管版,区分是专有版的管控节点需求用户自行预备,而托管版应用阿里云的资源进行资源管控,在托管版中又分成标准版和Pro版,其中Pro版有确定的SLA保障,生产系统建议选择Pro版。同时为了保障worker节点的内容安全,建议为充当worker节点的ECS配置云安全中心服务进行主机安全防护。 除了ACK,阿里云还提供无服务器架构的ASK,区分是ACK有ECS服务器充当worker节点,创建POD所需的资源经过ECS进行安排,而ASK没有worker节点,ASK直接在阿里云的分享资源池中经过ECI(弹性容器节点)来安排资源创建POD。 在这个项目中为了担保永远有肯定量的稳定资源供给,我们决定应用ACK再融合阿里云的ECI来兑现资源的弹性供给。ECI资源的申请和释放可经过ACK的ack-virtual-node插件出自动达成,动态增加的POD将自动运行在ECI之上。 考虑到业务高峰期和平常存在庞大的应用量落差,选择应用按流量的方法购入手互联网带宽资源,并经过购入手分享流量包将一切的互联网流量进行集合抵扣。这个项目所用到的互联网流量主要有如下三个: 鉴于ECI节点上服务的启动需求肯定的时光,而业务流量也许瞬间到达峰值,因此经过MQ来缓冲瞬时的业务压力,为运行在ECI弹性资源上的服务争取启动时光。 阿里云MQ服务依据访问协议的不同分成RocketMQ、AMQP、Kafka三个系列,对于海量的业务交易场景建议选择通过双十一检验的RocketMQ系列,在RocketMQ系列中又分成一般版和公司铂金版两个版本,公司铂金版采纳独享硬件资源,能够更充分的保障峰值吞吐实力,对于瞬时业务峰值高的业务,建议尽也许选择铂金版。 数据库采纳云原生数据库PolarDB,PolarDB可以从2个节点扩容到16个节点,单节点可改进至88核710G规格,集群采纳分布式分享存储架构,单个集群可存储100TB的数据,有赖于其采纳分布式分享存储的架构,PolarDB集群增加节点时无需进行大量的数据拷贝,因此可以在分钟级达成集群的横向扩容。 我觉得这个架构对于大部分“腰部”级其他网络行业用户都是适用的,因此共享出来,盼望对大家有所协助。
唯一小编 发布时间:2021-02-19
云专线和普通专线区别,首先我们说一下云专线在定义和应用方 面的区别。 普通物理专线,是端口带宽资源被用户独占的物理专线,此种类型的物理专线由用户单独使用该物理线路,专线用户可以创建多个虚拟接口。 云专线(Direct Connect)用于搭建用户本地数据中心与云上VPC之间高速、低时延、稳定安全的专属连接通道。 传统专线主要应用于用户的局域网互联或快速浏览互联网。用户可以根据需要选择64Kbps- 2Mbps不等的速率。通过互联专线实现数据、语音、图像等业余的安全传输:实现各公司、部门间的资源交换和共享;通过拥有固定、独享的IP地址,视需要建立自己的Mail-Server. Web- Server等服务器,并可通过Internet组建公司内部的VNP业务。 云专线是连接客户局域网与行业云的专线网络,全程独立通道,能够不经互联网连接云主机,同时能保证高网速,对于银行、金融机构等高保密性要求的客户具有重要意义。 下面,我们在分别从开通时间、费用、弹性伸缩、稳定性等维度对他们之间的区别进行说明: 对比一下可以发现 , VPN是开通便捷,费用上比云专线要低很多,但是在公网的质量保障上不如专线,时延高,安全性不如云专线强。相对来说云专线低时延、服务质量稳定,但是在费用上就较高一些。而且在开通时间上,因为受限于物理专线的部署、运营商的线路资源的情况,所以部署时间要比VPN长。在这个情况下,一个量级, VPN如果双方都有internet资源的话,基本上是即开即用,双方配置好,协商起来就可以通信。但是云专线一般是将数据中心和公有云VPC对接,这个时候受限于物理链路,要运营商去核查资源,要去做物理线路的对接。这些正常情况下,就运营商的承诺。有诺的时间一般都是至少需要20个工作日。云专线线上的配置开通,现在一般也是天级,在拿到这种线路配置信息,且物理专线对接完以后,在一天内就可以完成这个线路配置打通的。 唯一网络是中国市场专业的云托管服务商( Cloud MSP ),在数据中心和云计算领域有近十年的专业交付和管理经验,目前正服务于2000多家企业级客户并与全球多家超大规模公有云服务商建立了战略合作关系。在云计算驱动产业变革的今天,安畅以客户需求为驱动,积极投资于核心技术研发和团队组织的云原生技能,致力于成为IT新生态和产业互联网的新-代连接器。 为客户提供”云+大数据+AI”的咨询、集成和管理服务,以及数字化解决方案,帮助客户利用新技术进行业务创新,实现数字化变革。
唯一小编 发布时间:2021-02-19
云专线是什么,云专线(Direct Connect)是搭建在用户本地数据中心与云上虚拟私有云(Virtual Private Cloud,以下简称VPC)之间的高安全、高速度、低延迟、稳定可靠的专属连接通道。通过云专线可以将用户的数据中心、办公网络、托管区和云相连接。 云专线的定义 云专线(Direct Connect)是搭建在用户本地数据中心与云上虚拟私有云(Virtual Private Cloud,以下简称VPC)之间的高安全、高速度、低延迟、稳定可靠的专属连接通道。通过云专线可以将用户的数据中心、办公网络、托管区和云相连接。 云专线业务的优势: 1、超高安全性能物理专线的私网连接不通过公网,网络链路用户独占,无数据泄露风险,安全性能高,可满足金融、政企等高等级网络连接需求。 2、稳定网络延时网络延时可靠性高,通过固定路由配置,免去拥堵或故障绕行带来的时延不稳困扰。 我们来看一个云专线的应用场景是什么 云专线的应用场景 产品解读: 可以看到它构建了一个虚拟私有云和本地数据中心的混合云场景。即基于云服务商的骨干网资源,实现公有云、全球IDC、总部、全球办公室之间的互联,并实时监控线路状态,实时主动告警线路; 总结: 我们可以看到,云专线是从用户本地的网络到运营网的网络再到云内部的网络,端到端地打通流量转发,用户的网络是用户管理,运营商的网络是运营商管理,云的网络是云管理,对云网络来说,最重要是要保证在云的专线网关上到用户网络的路由和到VPC的路由学习正确,能准确指导转发数据报文。 云专线开通方式流程 云专线开通的方式有手工开通和自助开通两种。 手工云专线为用户在控制台提交申请云专线的资料,管理员会在线下为用户开通云专线。由客服或销售人员告知用户开通结果。 自助方式开通的云专线需要用户在控制台完成物理专线的购买,虚拟网关和虚拟接口的创建。开通更快捷,管理更灵活。 物理专线将用户的本地数据中心接入公有云接入点,建立专线连接。虚拟网关绑定用户需要访问的虚拟私有云,虚拟接口将用户本地网关与虚拟网关连接,实现用户本地数据中心访问云上VPC的功能,构建混合云。
唯一小编 发布时间:2021-02-01
医院服务器搭建、医院服务器托管配置,随着这几年医院也提升很多功能,从手写到互联网医院带有咨询、随访、慢病管理等功能,它有实体医院作强有力的支撑,线上方便病人,就是简单的问题不需要到医院,在网上就可以进行。医疗服务领域新形态不断涌现,“互联网+医疗”作为其中突出的一种,在挂号结算、远程诊疗、咨询服务等方面进行了不少探索。在这些功能必须用到医院服务器托管啦。 这个硬件来说对服务器的稳定性要求较高,医院服务系统还需要有门的服务器,用来提供数据服务属,如果服务器不在同一个地方,还要建立VPN点对点的网络连接。操作都是通过医院电脑上的客户端连接到数据服务器上的。云科数据集群存储是专门针对各个行业开发的集群存储系统,包括超市,酒店理发,美容,餐饮业,使用本系统可以实现经营场所的信息化管理。 医院服务器托管配置 1、服务器要求数据库服务器要求,必须使用专业品牌服务器(机架式、塔式、刀片式皆可),并配备UPS不间断电源。 建议配置如下:CPU 双cpu以上,多核处理器内存16GB以上硬盘专业级存储1TB硬盘/磁盘阵列网卡1000M以太网卡Ups 续航30分钟以上 2、客户端配置要求CPU 双核处理器内存2GB以上网卡100M以太网卡 3、网络要求50台客户端以上,必须进行合理的VLan划分。 物理线路最远端的客户机ping通率在100%。丢包率为0% 客户端测试例子:ping -n 1000 –l 65500 192.168.X.X 延时最小值,最大值,平均值差异不能大于200ms。此测试仅限于网路通断测试。 医院服务器搭建 医院信息化建设服务器系统可能会包括以下主要服务器:²HIS 数据库服务器、HIS 应用服务器²PACS 数据库服务器、PACS 应用服务器²存储备份(TSM)和网络管理服务器²办公自动化(OA)中心服务器²灾备服务器²WEB 服务器等。HIS 数据库服务器、HIS 应用服务器²PACS 数据库服务器、PACS 应用服务器²存储备份(TSM)和网络管理服务器²办公自动化(OA)中心服务器 在医院信息系统中最重要的两大应用系统包括:广义HIS和PACS。HIS包含着: HMIS, CIs, LIS等,对数据的处理能力和7*24的 要求非常高; PACS 的数据特征是,数据量大,并发量小,在服务器系统的设计中要对这两大系统有长远、认真的考虑。 HIS数据库服务器和应用服务器 医院中信息处理的特点是: 1、信息的产生部门分散。例如住院处、病房、辅诊检查科室、辅助治疗科室等均有大量的信息产生。 2、各个部门信息要求共享的信息较多。例如病人的姓名、性别等自然信息在许多部门都要使用,病房和收费处等地都需要使用医嘱、 检查记录信息。 3、信息需要一天24小时不间断。医院中的一些部门,如住院处、收费处、急诊科是每天24小时不间断工作的。要使信息系统与医 院业务很好地结合在一起, 就要求系统每天24小时,每周7天能够不间断地运行。 针对这些特点,医院信息系统要求有- -个较大的能够存储共享信息的空间,同时有求数据库服务器和应用服务器具有高并发处理能力。在业务剧增时,可以通过增加应用服务器的数量来均衡负载。
唯一小编 发布时间:2021-02-01
2021年服务器托管公司哪家好,2021年服务器托管公司排名有哪些
2021年服务器托管公司哪家好,2021年服务器托管公司排名有哪些,近些年电商时代,目前国内云计算服务商很多,但仅存的服务器托管商异常的少。互联网的企业来说,服务器托管是比较常见的使用服务器的一种方式,但是服务器托管行业的IDC服务器良莠不齐,不少朋友会被忽悠而选择一些质量不怎么样的服务器托管。 服务器托管公司服务器哪家好,可以从以下四个方面考虑: 第一点,先问对方的网站,观察其访问速度与稳定性。 第二点,查看这家IDC的域名注册时间、资金等。此点可以看出这家IDC是否正规与其公司的实力等。 第三点,观察其公司客服人员数量。一家大型的IDC商肯定不可能一、二个客服人员就能满足需求,试想,如果只有一、二个客服,当客户出问题时,他们能解决过来吗?答案是显然的。 第四点,花三天时间观察其技术维护人员是否24小时在线。网站服务器出问题是不定时的,只有技术人员24小时在线,才能随时为我们解决问题。 第五点.挑选靠谱的托管商首先除了要关注其资质证书和创立时间,还要充分考虑其服务项目和收费标准,靠谱的项目对于自己的服务体现都是相当充分的,不容置疑。 第六点.看其是否有技术性经营团队,能够及时为客户在第一时间解决网络服务器和互联网上出现的各种技术难题。 第七点.机房是否可靠,网络服务器特性如何,能否保证安全的托管服务,支持机房考察。 第八点.收费标准透光性,对花费有详细介绍,租用代管的花费全是固定不动的,不容易有附加收费标准。 建议服务器托管公司哪家好主要看服务器托管公司从客户防御需求出发,针对客户业务场景和受攻击情况,为客户量身定制安全防御方案,满足客户的多重需求。全过程由专属安全工程师一对一了解客户需求 ,提供产品咨询、方案定制、技术指引等服务,为客户提供贴心满意的服务。服务器托管公司配备完善的设备监控,水、电、空调及环境实时监控报警系统、监控中心及维护人员24小时。 2021年服务器托管公司排名有哪些 2021年服务器托管公司排名有哪些,目前行业云服务器是比较多的,服务器托管主要还是各大电商互联网企业,阿里云只有云服务器,没有物理服务器的托管业务;百度云、华为云有代码托管的业务;腾讯云也无托管服务器业务。因此,服务器托管公司排名好的大品牌要属于唯一网络。目前唯一网络自建数据中心、核心数据中心、边缘数据中心。 唯一网络服务器托管业务数据中心版图(广东地区数据中心) 唯一网络服务器托管业务数据中心版图厦门机房托管 国内一流:唯一网络,不信往下看。 1、网站接入量全国第二 唯一网络国内外专业的数据中心服务商!网站接入量居全国第二,仅次于阿里云之后。 2、多个国际T3+标准数据中心 唯一网络网络自建自营多个国际T3+五星级数据中心,在北京、郑州、广州、厦门、武汉、海南长沙及洛阳等多个地区均设有数据中心,像大家所知道的京东、淘宝、百度、都在使用唯一网络各地区的数据中心托管服务。 3、服务品质 国内外各地区机房320名工程师提供基于服务器硬件、操作系统、网络、应用环境、安全5方面的免费无忧服务。如伪静态、数据库导入导出、301设置等增值服务…..说到这,毫不夸张的说,唯一网络荣获客户赞誉年度服务之星客户第一名。
唯一小编 发布时间:2021-01-15
直播视频服务器费用 视频直播带宽收费标准 按每天使用的带宽峰值计费,每5分钟统计一个带宽,每天共统计288个点,每次计费时,对用户在本次计费周期中的带宽最大值(带宽峰值)进行日阶梯计费,如果使用转码、截图、录制功能会产生额外的存储及计算费用,将按照对应产品价格收取。 视频直播带宽收费标准 按每天使用的带宽峰值计费,每5分钟统计一个带宽,每天共统计288个点,每次计费时,对用户在本次计费周期中的带宽最大值(带宽峰值)进行日阶梯计费,如果使用转码、截图、录制功能会产生额外的存储及计算费用,将按照对应产品价格收取。 视频直播流量收费标准 直播流量按照每天实际使用的流量进行扣费。对于视频播放加速费用,客户可以选择带宽或者流量方式计费。 视频直播转码收费标准 根据转码请求的编码方式、分辨率和转码输出文件时长收费,以每天为计费周期进行扣费。 视频直播截图收费标准 根据客户实际使用的截图功能所产生的截图张数收费,费用按天结算。 视频直播收费方式 视频直播采用后付费方式,根据不同计费项的使用量情况,按日结算。你需要在腾讯云账户预先充值,系统每天会统计前一个计费周期的实际用量并进行账单推送和费用结算,从你账户的余额中扣除相应的金额。 视频直播欠费 视频直播服务费用的计费周期为天,即在次日对前一日的服务使用进行计量、出具账单并自腾讯云账户中按账单金额扣划服务费用,若账户余额不足以支付账单金额导致扣费失败时,服务会处于欠费状态,你会收到欠费通知短信,24小时内充值不会停服,24小时后会暂停为你提供服务。停止服务后将无法使用腾讯云视频直播提供的各项服务,控制台也将禁止使用,但不会删除和修改你的腾讯云视频直播各项配置信息。 视频直播计费规则 视频直播计费为先使用后付费的计费方式。你需要在腾讯云账户预先充值,系统每天会统计前一天的实际用量并进行账单推送和费用结算,计费周期为每天0时-24时,次日12:00-18:00间进行前一天的账单结算。从你账户的余额中扣除相应的金额。 带宽计费,视频内容使用内容分发网络(CDN)加速产生的费用,按下行带宽峰值收费。 流量计费,视频内容使用内容分发网络(CDN)加速产生的费用,按下行流量计费。 直播转码计费,直播流进行转码处理产生的费用,按转码规格和时长计费。 截图计费,直播流进行截图时产生的费用,按截图张数(千张)计费。 网课课堂直播视频服务器搭建步骤 搭建一个视频直播服务器,这你要熟悉直播系统有哪几块组成,视频直播的流程普通可以分为采集、前处理、编码、传输、解码、渲染这几个环节,通过这几个环节之后,我们就可以经过PC端或者移动端进行视频直播的观看。 采集:采集指的是图形和声音的采集,是直播系统中的第一环节,取得视频源。iOS系统由于软硬件类别不多,硬件适配性较好,所以比较简洁。Android则不同,市面上硬件机型十分多,难以做到一个库适配一切硬件。PC端的采集也跟种种摄像头驱动有关。 前处理:指的是用于图形美化,花样化,图形处理等方面,也就是常说的美颜。而美颜算法需求用到GPU编程,这个阶段的难点不在于美颜成效,而在于GPU占用和美颜成效之间的平衡。 当前市面上的GPU性能都不错,可是功耗是个非常大的问题,GPU占用太高会致使手机发烫,而手机发烫会致使摄像头采集掉帧,采集掉帧画面就会出现问题。iPhone6尤其显著,由于iPhone6的CPU和前置摄像头非常近。 编码:在编码方面,有两种编码方法,硬编码(硬件)与软编码(软件)。如果说你要兑现720P的高清成效,那么就需求采纳硬编码,如果对清楚度没有需求那么可以应用软编码(不过当前直播都看高清的了)。 可是对于硬编码的话,在Android上存在兼容性问题,源于不同厂商的芯片差别庞大,难以构建同一的库来兼容全平台。在编码方面的关键是平衡分辨率、码率、帧率、GOP(GroupofPictures)使得体积与画质达到最优,也就是要在分辨率,帧率,码率,GOP等参数设计上找到最好平衡点。 传输:数据通过推流端采集和预处理,编码之后推流到服务端。推流作为视频源的传输,在稳定性速度上都比拉流高得多,兑现推拉流的技术线没有雄厚的人才与资金是不现实的。 解码,渲染:拉流取得音视频数据后,需求经过解码器解码,渲染才学在播放器上播放。解码和渲染,也即音视频的播放,当前iOS端的播放兼容性较好,在拖延可接受的情形下应用HLS协议是最好的选择。在播放端,担保音画同步的同时,担保稳定通畅的直播流量,需求服务端与播放端做调度优化。 以上就是搭建一个简洁的直播系统所要做的工作,工作量非常的大,并且非常多技术难点都不是一个人能解决的。就拿是互联网的搭建来说,就像上面说的没有雄厚的资金是不现实的。普通来说都要找一个CDN服务商进行协作,CDN服务商都有自己专用的分发互联网,这样才学担保直播成效不会卡,不会花屏,首屏打开快,一点就要看到,延时小。 CDN服务商的选择可以参考几点: 1、节点数; 2、分布的合理性; 3、核心节点的数据吞吐量; 4、合理的回源机制; 5、防黑的能力。 如果只是搭建一个50左右的在线课堂,自己搭建的话不但要从处理种种技术问题,互联网的搭建也是一个问题。所以建议选择找第三方云视频服务商来进行协作,一是技术比较成熟,拿来就可以用省去了开发的时光成本,二是普通服务商都有自己的CDN,不用再担忧数据传输、分发的问题。如果有需求的话可以联系我们。
唯一小编 发布时间:2021-01-15
云服务器入门级推荐,依据您的应用习惯和选择的云计算平台,您也许会发觉,与应用服务器租用、云网站空间、VPS等业务承载方法不同,您仍然需求去了解全新的计算、存储、互联网联结等多种组装。在设置云服务器配置搭载情境时,唯云为您提供云服务器入门须知的技巧。 一、设置治理员帐户和权限 就像您想要控制哪些治理员可以治理物理硬件相同,您需求确保在云情境、云服务器中只能被授权人员访问和操作。 我们建议您花点时光熟悉您的云平台是怎么处理治理帐户和权限的,并遵守最低权限准则(不滥用治理权限)。比如,在某些云平台中,您可以为特定的虚拟机设置不同的用户权限,它许可您特殊指派的人员进行更新、制作快照、复原数据等有限的操作,而不用具备治理员身份。 二、合乎道理应用计算资源 一旦您对云平台治理工具熟练掌握后,应用云服务器计算实例应该是一件非常迅速和放松的流程,可是经常容易犯的错误是过度耗费计算资源,比如CPU应用率长时光超过100%。从长远来看,这会作用云情境的性能和成本,这也许会对云服务器的性能诞生复杂和不可预料的作用。我们的建议是从小开始,逐步增加计算资源。众所周知,云服务器计算规模的扩展弹性高效,支持随时随地扩展。 三、保障联结到公网的安全性 最后,您也许盼望您的云情境联结到外部互联网(如公共网络)。您还需求采取措施确保此联结尽也许安全,而幸免数据泄露(此前应用AWS云存储套餐的公司之前发生过几次)。 因此,应用云服务器,您需求掌握的一个重大部分是,了解您的云平台怎么联结到外部互联网,以及有哪些可用的功能来保护这些对外的联结。比如,应用云路由器组建内网,并使内网与内网、内网与外网隔离,经过云路由同一带宽出口。 云服务器入门级推荐 国外云服务器入门推荐配置 香港/美国云服务器 2核2g 188元/年 立即购买
唯一小编 发布时间:2021-01-12
云主机免费 云服务器免费世上真有馅饼吗?答案真的有,唯云服务器/云主机 2核2g原价153元/月现在是真的免费,只是需要关注二维码即可免费. 唯云服务器 唯云云服务器可实时升级主机CPU、内存,硬盘升级、扩容挂载、快照管理, 网络带宽升级,也可通过VNC终端直接远程登录管理云机。 在唯云,创建和升级一台云服务器只需不到10秒。 唯云服务器产品优势 稳定 采用高端服务器硬件进行集群部署,实行集中式的平台化管理与监控,确保业务99.95%的服务可用性与99.999%的数据可靠性。 安全 高防云服务器,全网总防护能力8T+,有效防御DDoS、CC等各类恶意攻击,防范安全漏洞,为用户的网络安全保驾护航。 易用 提供简单易用的管理控制台,统一简化运维管理,使用户面对丰富的操作系统和应用软件,可进行一键开通和部署,轻松省力。 可靠 14年IDC运维经验,拥有专业服务团队,7*24小时保障网络,提供优质的本地化服务;建立多重备份机制,保证数据安全。 弹性 云端的可用资源,随用户需求灵活变化,主机配置规格和网络线路,可实时弹性调整。为用户打造高效的应用环境,节约成本。 唯云服务器产品特点 弹性扩展 根据用户的业务需求,随时弹性扩展资源,如CPU、内存、硬盘升级,网络线路切换,一机多IP等。秒级部署 全WEB化操作,支持不同配置,多种操作系统和应用标准镜像供用户选择,实现瞬时供应和部署计算资源。安全可靠 提供多级数据备份与恢复,用户资源互相隔离,不受其他用户影响;增置ARP,拥有强劲防护能力。高性价比 支持多种计费模式,云服务器配置成本弹性可控,无后期服务器网络和硬件等维护费用,0成本运维。
2020年,笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统全局部署在阿里云上,服务应用阿里云ECS部署,数据库采纳阿里云RDS,配置中心基于阿里云ACM自研,数据同步基于阿里云DTS自研以及自研分库分表组件、分布式ID组件等等。 此次进行扩分库分表的背景是,原4实例4库、各个库64张表一共256张表,部分单表已超千万量级,按目前每日单量量级,一年内单表会达到上亿条记载,单表数据量过大会带来数据库性能问题。 4实例(16C/64G/3TSSD),4库(各个实例一个库),每库64张表,共256张表。 经过RDS后台一键诊断功能,来计算表空间应用情形(这里拿测试情境数据库举例)。 数据库的瓶颈主要表现在:磁盘、CPU、内存、互联网、联结数,而联结数主要是受CPU和内存作用。CPU和内存可以经过动态升配来提高,可是SSD磁盘容量最大支持到6T(32C以下最大3T、32C及以上最大6T)。 可是现阶段兼顾成本,可先将实例扩容一倍,采纳8个实例(16C/64G/3TSSD),各个实例建4个库(database)、各个库128张表(这里实质上是一个成本取舍的流程,理论上应该采取”多库少表”的准则,单库128张表其实太多了,单库建议32或64张表为宜)。 接下来如果实例压力提高可进行实例配置改进(16C/128G、32C/128G、32C/256G等);将来如出现单实例升配无法解决,在考虑扩容实例,只需求将database迁移至新实例,迁移成本较小。 按单表最多1000w条数据评估,4096张表可支持日5000w单3年(10.1压测标准)、日2000w单5年的架构。(因业务表比较多,此处忽略掉单条数据大小的计算流程) 32个库,各个库128张表。将来可最大扩容到32个实例,无需rehash,只需求迁移数据。 阿里云RDS规格和价钱一览 因扩分库分表涉及到rehash流程(256表变4096表),而阿里云DTS只支持同构库数据迁移,所以我们基于DTS的binlog转kafka实力自研了数据同步中间件。 整体数据迁移工作包含:前期预备、数据同步环节(历史数据全量同步、增量数据实时同步、rehash)、数据校验环节(全量校验、实时校验、校验规章配置)、数据修复工具等。 在进行数据同步前,需求先整理一切表的惟一业务ID,只有确定了惟一业务ID才学兑现数据的同步操作。 需求重视的是: 一旦表中没有惟一索引,就会在数据同步流程中造成数据重复的危险,所以我们先将没有惟一索引的表依据业务场景增加惟一索引(有也许是联合惟一索引)。 在这里顺便提一下,阿里云DTS做同构数据迁移,应用的是数据库自增ID做为惟一ID应用的,这种情形如果做双向同步,会造成数据覆盖的问题。解决案例也有,之前我们的做法是,新旧实物采纳自增ID单双号解决,担保新旧实例的自增ID不会出现冲突就行。由于这次我们应用的自研双向同步组件,这个难题这里不细聊。 分表规章不同决定着rehash和数据校验的不同。需逐个表整理是用户ID纬度分表还是非用户ID纬度分表、是否只分库不分表、是否不分库不分表等等。 数据同步全局案例见下图,数据同步基于binlog,独立的中间服务做同步,对业务代码无侵入。 后续对每一个环节进行介绍。 单独一个服务,应用游标的方法从旧库分批select数据,通过rehash后批量插入(batchinsert)到新库,此处需求配置jdbc联结串参数rewriteBatchedStatements=true才学使批处理操作生效。 另外特殊需求重视的是,历史数据也会存在不断的更新,如果先开启历史数据全量同步,则刚同步达成的数据有也许不是最新的。所以这里的做法是,先开启增量数据单向同步(从旧库到新库),此时只是开启积压kafka消息并不会真正消费;然后在开始历史数据全量同步,当历史全量数据同步达成后,在开启消费kafka消息进行增量数据同步(提升全量同步效率变少积压也是核心的一环),这样来担保迁移数据流程中的数据一致。 增量数据同步考虑到灰度切流稳定性、容灾和可回滚实力,采纳实时双向同步案例,切流流程中一旦新库出现稳定性问题或者新库出现数据一致问题,可迅速回滚切回旧库,担保数据库的稳定和数据稳妥。 增量数据实时同步采纳基于阿里云DTS的数据订阅自研数据同步组件data-sync兑现,主要案例是DTS数据订阅实力会自动将被订阅的数据库binlog转为kafka,data-sync组件订阅kafka消息、将消息进行过滤、合并、分组、rehash、拆表、批量insert/update,最后再上交offset等一系列操作,最终达成数据同步工作。 整体流程中有几个问题需求重视: 问题1:怎样预防因异步消息无顺序而致使的数据一致问题? 第一kafka异步消息是存在顺序问题的,可是要知道的是binlog是顺序的,所以dts在对具体进行kafka消息投递时也是顺序的,此处要做的就是一个库担保只有一个顾客就能保障数据的顺序问题、不会出现数据状态覆盖,从而解决数据一致问题。 问题2:是否会有丢消息问题,假如顾客服务重启等情形下? 这里没有采纳自动上交offset,而是每次消费数据最终入库达成后,将offset异步存到一个mysql表中,如果顾客服务重启宕机等,重启后从mysql拿到最新的offset开始消费。这样惟一的一个问题也许会出现瞬间部分消息重复消费,可是由于上面介绍的binlog是顺序的,所以能担保数据的最终一致。 问题3:update转insert会不会丢字段? binlog是全字段发送,不会存在丢字段情形。 问题4:循环消息问题。 后面进行单独介绍。 前文有提到,由于是256表变4096表,所以数据每一条都需求通过一次rehash重新做分库分表的计算。 要说rehash,就必须先介绍下目前订单数据的分库分表策略,订单ID中冗余了用户ID的后四位,经过用户ID后四位做hash计算确定库号和表号。 数据同步流程中,从旧库到新库,需求拿到订单ID中的用户ID后四位模4096,确定数据在新库中的库表位置;从新库到旧库,则需求用用户ID后四位模256,确定数据在旧库中的库表位置。 想象一下,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,将该记载写入到新实例,于是在新实例也诞生了一条binlog;此时data-sync中间件又接到了该binlog……不断循环,消息愈来愈多,数据顺序也被打乱。 怎样解决该问题呢?我们采纳数据染色案例,只要能够标识写入到数据库中的数据使data-sync中间件写入而非业务写入,当下次接收到该binlog数据的时候就不必进行再次消息流转。 所以data-sync中间件需求,各个数据库实例创建一个事务表,该事务表tb_transaction只有id、tablename、status、create_time、update_time几个字段,status默认为0。 再回到上面的问题,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,如下操作: 此时data-sync中间件将上面这些语句打包全体上交到新实例,新实例更新数据后也会生产对应上面语句的binlog;当data-sync中间件再次接收到binlog时,只要推断碰到tb_transaction表status=1的数据开始,后面的数据都直接舍弃不要,直到碰到status=0时,再陆续接收数据,以此来担保data-sync中间件只会流转业务诞生的消息。 数据校验模块由数据校验服务data-check模块来兑现,主要是基于数据库层面的数据对照,逐条核对每一个数据字段是否一致,不一致的话会通过配置的校验规章来进行重试或者报警。 通过数据校验,一旦发觉数据不一致,则需求对数据进行修复操作。 数据修复有两种案例,一种是适用于大范围的数据不一致,采纳重置kafkaoffset的方法,重新消费数据消息,将有问题的数据进行覆盖。 全局灰度案例:SP+用户纬度来兑现,SP纬度:凭仗灰度情境切量来做,用户纬度:依靠用户ID后四位百分比切流。 灰度切量的流程肯定要配合停写(秒级),为什么要停写,由于数据同步存在肯定拖延(正常毫秒级),而一切业务操作肯定要保障都在一个实例上,否则在旧库中业务刚刚调整了一条数据,此时切换到新库如果数据还没有同步过来就是旧数据会有数据一致问题。所以流程应该是: 虽然在切流之前,在测试情境进过了大量的测试,可是测试情境毕竟和生产情境不相同,生产情境数据库一旦出问题就也许是灭顶之灾,虽然上面介绍了数据校验和数据修复步骤,可是把问题拦截在发生之前是做服务稳定性最重大的工作。 因此我们提出了ABC验证的概念,灰度情境ABC验证预备: 详细灰度案例和数据源切换步骤: 整体数据迁移流程还是比较复杂的,时光也不是非常充裕(流程中还穿插着十一全链路压测改变),在有限的时光内集大家之力重复探讨发掘也许存在的问题,然后论证解决案例,不放过任何一个也许出现问题的环节,还是那句话,把问题拦截在发生之前是做服务稳定性最重大的工作。 流程中的细节还是非常多的,从数据迁移的预备工作到数据同步测试,从灰度步骤确定到正式生产切换,尤其是融合业务和数据的特色,有非常多需求考虑的细节,文中没有一一列出。 最终通过近两个月的紧张工作,无业务代码侵入、零事故、平稳地达成了扩分库分表和数据迁移的工作。
唯一小编 2021-03-01 阿里云服务器
改进terraform到v0.13后,初始化terraform也许会出现以下问题 因素是terraform自v0.13后就交给provider自己维持了。解决案例: 1.应用命令查看自己版本 示例得到 +provider.tencentcloudv1.53.0 2.粘贴以下代码至terraform配置中,version采纳自己的tencentcloudterraform版本
唯一小编 2021-03-01 腾讯云服务器
在网络相关的业务中,高弹性是往往被提及的一个架构设计目的,前两个我就碰到一个用户需求我们帮助设计一个高弹性的架构以承载他们周期性暴增的业务压力,用户90%以上的业务压力都集合在业务高峰期,因此在设计这个架构之初,我和用户就在纠结,到底是采纳更了解的“堆”服务器的想法呢,还是采取更具弹性的容器化的案例呢?其实作为一个技术人员,在问这个难题的时候就已经有确定的答案了,最终我们设计出了这样的一个架构: 容器平台选择阿里云的ACK(阿里云容器服务Kubernetes版)。其中ACK分成专有版和托管版,区分是专有版的管控节点需求用户自行预备,而托管版应用阿里云的资源进行资源管控,在托管版中又分成标准版和Pro版,其中Pro版有确定的SLA保障,生产系统建议选择Pro版。同时为了保障worker节点的内容安全,建议为充当worker节点的ECS配置云安全中心服务进行主机安全防护。 除了ACK,阿里云还提供无服务器架构的ASK,区分是ACK有ECS服务器充当worker节点,创建POD所需的资源经过ECS进行安排,而ASK没有worker节点,ASK直接在阿里云的分享资源池中经过ECI(弹性容器节点)来安排资源创建POD。 在这个项目中为了担保永远有肯定量的稳定资源供给,我们决定应用ACK再融合阿里云的ECI来兑现资源的弹性供给。ECI资源的申请和释放可经过ACK的ack-virtual-node插件出自动达成,动态增加的POD将自动运行在ECI之上。 考虑到业务高峰期和平常存在庞大的应用量落差,选择应用按流量的方法购入手互联网带宽资源,并经过购入手分享流量包将一切的互联网流量进行集合抵扣。这个项目所用到的互联网流量主要有如下三个: 鉴于ECI节点上服务的启动需求肯定的时光,而业务流量也许瞬间到达峰值,因此经过MQ来缓冲瞬时的业务压力,为运行在ECI弹性资源上的服务争取启动时光。 阿里云MQ服务依据访问协议的不同分成RocketMQ、AMQP、Kafka三个系列,对于海量的业务交易场景建议选择通过双十一检验的RocketMQ系列,在RocketMQ系列中又分成一般版和公司铂金版两个版本,公司铂金版采纳独享硬件资源,能够更充分的保障峰值吞吐实力,对于瞬时业务峰值高的业务,建议尽也许选择铂金版。 数据库采纳云原生数据库PolarDB,PolarDB可以从2个节点扩容到16个节点,单节点可改进至88核710G规格,集群采纳分布式分享存储架构,单个集群可存储100TB的数据,有赖于其采纳分布式分享存储的架构,PolarDB集群增加节点时无需进行大量的数据拷贝,因此可以在分钟级达成集群的横向扩容。 我觉得这个架构对于大部分“腰部”级其他网络行业用户都是适用的,因此共享出来,盼望对大家有所协助。
唯一小编 2021-03-01 阿里云服务器
云专线和普通专线区别,首先我们说一下云专线在定义和应用方 面的区别。 普通物理专线,是端口带宽资源被用户独占的物理专线,此种类型的物理专线由用户单独使用该物理线路,专线用户可以创建多个虚拟接口。 云专线(Direct Connect)用于搭建用户本地数据中心与云上VPC之间高速、低时延、稳定安全的专属连接通道。 传统专线主要应用于用户的局域网互联或快速浏览互联网。用户可以根据需要选择64Kbps- 2Mbps不等的速率。通过互联专线实现数据、语音、图像等业余的安全传输:实现各公司、部门间的资源交换和共享;通过拥有固定、独享的IP地址,视需要建立自己的Mail-Server. Web- Server等服务器,并可通过Internet组建公司内部的VNP业务。 云专线是连接客户局域网与行业云的专线网络,全程独立通道,能够不经互联网连接云主机,同时能保证高网速,对于银行、金融机构等高保密性要求的客户具有重要意义。 下面,我们在分别从开通时间、费用、弹性伸缩、稳定性等维度对他们之间的区别进行说明: 对比一下可以发现 , VPN是开通便捷,费用上比云专线要低很多,但是在公网的质量保障上不如专线,时延高,安全性不如云专线强。相对来说云专线低时延、服务质量稳定,但是在费用上就较高一些。而且在开通时间上,因为受限于物理专线的部署、运营商的线路资源的情况,所以部署时间要比VPN长。在这个情况下,一个量级, VPN如果双方都有internet资源的话,基本上是即开即用,双方配置好,协商起来就可以通信。但是云专线一般是将数据中心和公有云VPC对接,这个时候受限于物理链路,要运营商去核查资源,要去做物理线路的对接。这些正常情况下,就运营商的承诺。有诺的时间一般都是至少需要20个工作日。云专线线上的配置开通,现在一般也是天级,在拿到这种线路配置信息,且物理专线对接完以后,在一天内就可以完成这个线路配置打通的。 唯一网络是中国市场专业的云托管服务商( Cloud MSP ),在数据中心和云计算领域有近十年的专业交付和管理经验,目前正服务于2000多家企业级客户并与全球多家超大规模公有云服务商建立了战略合作关系。在云计算驱动产业变革的今天,安畅以客户需求为驱动,积极投资于核心技术研发和团队组织的云原生技能,致力于成为IT新生态和产业互联网的新-代连接器。 为客户提供”云+大数据+AI”的咨询、集成和管理服务,以及数字化解决方案,帮助客户利用新技术进行业务创新,实现数字化变革。
唯一小编 2021-02-19 专线