月度归档:2023年06月

我为什么选择多边形架构做为工程的基础思想

软件工程师罗小东,多年平台架构设计和落地经验,从单体工程到服务化工程,从整合再到拆分再整合实践过程中,对多边型架构的一些落地心得。

背景

这里以开源项目alinesno-cloud微服务架构的建设拆分再到整合成产品型结构的进行阐述,从原来的几十个工程基线(近百个服务模块),再到后来的20个左右产品模块的组合,进行服务能力的输出。过程工程由微服务、六边型、再到多边型工程结构的实践经验,这里偏向于工程结构以适应平台产品化发展的变更。

需要达到的效果是把工程结构多组合的结构以适应项目的需求变化。多边形架构是一个泛指的概念,指的是由多个组件或模块组成的系统架构。这些组件或模块可以以不同的形状和大小组合在一起,形成各种不同形态的系统架构。多边形架构中的每个组件或模块都可以担任不同的角色和功能,并通过定义清晰的接口和协议,实现彼此之间的通信和交互。

概述

软件架构也在不断地演化。从单体应用到RPC服务再到微服务,这些技术的出现和应用都是为了解决不同阶段的问题。而六边形架构是在微服务架构基础上的一种新型架构,它强调领域驱动设计(DDD)和面向接口的编程,旨在更好地支持业务复杂度的增长和应对变化。

这里以时间维度阐述自己从MVC架构到六边型架构,再到多边型架构的产品线整合尝试,这里以过程以时间维度(18年到21年)和成熟度进行阐述过程。

  • 初版定义:单体到Dubbo服务工程的尝试建设
  • 技术升级:从Dubbo服务工程到Cloud工程结构的改造
  • 产品改造:从Cloud工程到自定义工程结构的改造
  • 模型成熟:从六边型概念到多边型工程结构的改造

对于这块的模型的定义有很多不一致的理解层面,这里针对的是问题和解决两个角度进行阐述,经验不一,我有我思。

过程

在产品型建设过程中,软件架构也在不断地演变和升级。从单体应用到分布式系统、再到微服务和六边形架构,每一种架构都有其独特的优势和适用场景。本文将会介绍从单体工程到RPC服务、再到微服务、再到六边形架构以及多边型架构的技术发展。

初版定义:单体到Dubbo服务工程的尝试建设

这个过程的改造适合国情化的发展

在单体应用时代,由于业务需求相对简单且交互较为单一,使用单体架构是比较合适的选择。但是,随着业务的不断扩大和功能的不断增加,单体架构也开始暴露一些问题,如代码耦合度高、代码可维护性差等。为了解决这些问题,在RPC服务时代,我们将原本单体应用中的模块拆分成了独立的服务,同时采用远程过程调用方式进行通信,使得不同服务之间的耦合度降低,系统的可扩展性得到了提升。

工程结构开始是MVC型,后面改成Dubbo型,将Service层抽取出来,提供出api实体和接口工程给第三方依赖,这个过程的改造会将庞大的业务系统架构进行拆分,形成多个模块化,将单体应用改造为Dubbo服务,可以将原本臃肿而难以维护的单体应用拆分成多个独立的服务,使得系统变得更加模块化和清晰。这样做的好处包括:

  • 提高可伸缩性:将单体应用改造成Dubbo服务后,每个服务可以独立部署和扩展,可以根据实际负载情况进行动态伸缩,提高了系统的可伸缩性。
  • 提高可靠性:Dubbo提供了多种服务治理功能,比如容错机制、路由策略等,可以有效保证服务的可靠性和稳定性,相对于单体应用更加可靠。
  • 提高可维护性:将单体应用拆分成多个服务后,每个服务的代码规模变小了,易于维护和升级。同时,模块化的设计也使得开发人员更加关注自己的业务领域,提高了团队的开发效率。
  • 提高代码复用率:Dubbo服务通过接口进行解耦,将相同或类似的功能封装到独立的服务中,提高了代码复用率,减少了重复开发的工作量。
    通过将单体应用改造成基于Dubbo的分布式服务架构,可以帮助企业构建基于微服务的架构体系,从而提高系统的可伸缩性、可靠性、可维护性和代码复用率。

这是一个不错的工程结构,而且确实也解决了原始大型工程的问题,这个过程的建设相对于传统项目来说,有可能会形成微服务,也可能会形成大型的分布式工程(也就是伪微服务),不过总的来说,会解决单体陷阱的问题。

技术升级:从Dubbo服务工程到Cloud工程结构的改造

新型的分布式服务,也会带来新的问题,需要让这个服务就做这个事情

Dubbo服务之间有很强的依赖性,在不小心或者不轻易间,会产生强依赖性和不断传递问题,这个形成的影响又是另一方面,特别是在公用网络或者外部网络的情况下,服务之间的关联还有调用不稳定性常常发生,还包括操作系统的因素等,另一个更为明显的,Dubbo只是一个RPC架构,针对微服务和分布式来说,外围生态和组件成熟度不高,基本上都是东拼西凑起来。

另一个更加夸张的是原阿里团队的不维护,导致出来了很多不一致的版本,生态体系有可能无法发展的情况,这个时候,不得来说,会转向SpringCloud体系,一个是协议的通用性,另一个是社区生态。虽然来说,不管从工程结构和代码量来说,Dubbo服务会少于Cloud体系,而且工程资源还有开发的习惯、有高性能、低延迟、易扩展等特点,但是无法在很多场景下,会带来很多限制。

另一个致命的是,由于工程结构的特点,它对外提供的是RPC接口是直接面向Service层服务,在很多情况下会影响项目开发人员,设计人员的设计思维,很多情况下我们只写到Service层服务,这个会让人有一种误区就是逻辑只到Service层,那这样的话,Rest层接口这个自然就不会存在,这样的设计,很多时候会无形的影响设计人员在处理服务模块的时候,会自然而然的将工程设计只到Service层。

这个容易产生大量的工程服务组件,在领域设计上,容易(这里只是说容易,但并不绝对)无形中拆分了这个模块,这个跟高内聚、低耦合的思想有一定偏离,在后期的使用过程中,总会感觉需要有一层进行聚合,而这个聚合的服务其实最好的体现在Rest层上面,而dubbo面向service的设计,让很多工程结构下无形的把这个思维在潜意识里面隐藏了。

开始尝试会在前面加一层聚合服务进行整合,但是这个链路并不是很乐观,因为从实际结果上,还是拆分了。

以上种种,将Dubbo服务工程结构转成SpringCloud工程结构,增加了一些层级和工程代码量,但是效果上会把上面潜意识的问题消除掉,达到的效果就是:这个服务就做这个事情,由原来的RPC服务减少,转成模块形的设计,进一步减少复杂度和提高服务的内聚。

产品改造:从Cloud工程到自定义工程结构的改造

在一些架构不满足的情况下,需要自定义工程结构

前期在使用Cloud过程中,过多的复杂组件和概念,还有starter工程结构的增加,无形中加剧和工程变重,这个过程容易影响业务的开发,另一个问题是,在服务组件不断的成熟下,这些组件会开始进一步的平台化(直白的说增加一个管理界面)。

它包含多个工程和组件,使得开发人员可以快速构建复杂的微服务应用程序。然而,使用大量的工程组件也有一些弊端:

  • 复杂性:Spring Cloud包含众多的组件和工具,这使得整个应用程序变得非常复杂。开发人员需要学习和掌握各种组件的使用方法,这增加了开发难度和时间成本。
  • 版本兼容性:由于Spring Cloud包含众多的组件和工具,每个组件都有自己的版本号。当一个组件更新版本时,它可能会影响其他组件的兼容性。这给开发人员带来了额外的负担,需要测试和修复版本兼容性问题。
  • 性能问题:每个组件都需要运行在不同的进程中,这可能会导致性能问题。每个进程都需要消耗CPU和内存资源,这可能会降低整个应用程序的性能表现。

另外一个特别让人意外的是,Netflix组件在不断的放弃维护,而又发展出alibaba版、tenant版,还有n多的个人版本,这些基本上容易导致被牵着走。

在市场架构调整中,做了一些调整,以适配工程结构,同时抛弃掉Cloud思维结构:

  • 去掉Cloud体系和大量的第三方组件,只保留基础的springboot工程结构,同时将第三方组件需要用到的核心能力进行自定义封装。
  • 去掉所谓官方“好的”微服务插件,比如配置中心、注册中心、链路跟踪等,将这些独立出来,一般小的工程用不上,大的工程通过自定义封装包的形式加载(比如nacos)
  • 将工程结构进一步的独立化,适当的组件进行平台化,通过租户的形式提供服务,并提供出可视化的管理界面
  • 将大量的工程进一步压缩消减,形成模块化,提供包的形式,需要的时候依赖,而不是都通过接口调用,通过插件的概念形式进行整合(类似于wordpress插件)

通过上面的调整,你会发现,工程结构会有点类似于云平台,每个服务组件都有单独的能力,这个时候,产品型的体现已经慢慢程现,但是还不够充分。

模型成熟:从六边型概念到多边型工程结构的改造

为了产品更好的迭代和发展,提取出领域的概念,进一步彻底的产品化

架构也开始出现一些问题,如服务之间的依赖关系复杂、服务治理难度大等。为了解决这些问题,领域模型的思维进一步的切入到服务建设中。将微服务合并拆分出领域服务,并以领域模型为中心进行设计和开发,强调了面向API接口编程的思想,通过定义清晰的接口,使得不同服务之间的交互更加规范化、灵活化。

在这个过程中,特别需要关注的是业务本身的特点和复杂性,导致软件难以维护、扩展和适应业务变化,做了一些调整方向,主要是:

  • 明确业务领域模型,提高业务分析和设计的准确性和效率,可以自由地进行修改、测试和演化,而不会对其他系统产生影响。
  • 将业务逻辑与外部依赖分离开来,使得业务逻辑在不同的环境中都能够独立运行。
  • 多个模块间内部核心和外部适配器之间通过接口来进行通信,使得它们可以相互独立地演化和变化。
  • 多种不同类型的适配器,使得系统可以更加灵活地适应不同的业务场景和需求变化,从而提高了系统的可扩展性。

这个原来在调整工程结构过程时,发现六边型概念是跟我想要的基本上吻合的,而且融合度非常高,但是过多的代码编码概念,开发人员来说可能会有一定的技术门槛,特别是在领域建模、聚合、限界上下文等方面,在某个程度会让我们感觉到这个是否是我们需要的,最终我们把工程结构进一步拆分和根据内部的习惯定义,重新设计和工程结构,以下是调整的结构图:

这个调整的结构使得服务产品间更稳定,组件或模块可以以不同的形状和大小组合在一起,形成各种不同形态的系统架构,每个组件或模块都可以担任不同的角色和功能,并通过定义清晰的接口和协议,实现彼此之间的通信和交互,以适应不同的业务场景。

总结

以上为在过程工程由微服务、六边型、再到多边型工程结构的实践经验,这里偏向于工程结构以适应平台产品化发展的变更,最终发展形成产品化的工程结构调整过程。工程结构的调整是解决的是应用程序的可测试性、可维护性和可扩展性问题,同时针对于自己所面对的场景不断的适配调整过程,这个过程的调整差不多有4年左右,不断的进行优化调整而形成的结果,这里也是输出一些经验,供参考。

我在中小型项目SuperCell模式实战经验

软件工程师罗小东,多年平台架构设计和落地经验,这里主要是针对于中台化项目交付与传统项目交付的一些心得体会。

理念

Supercell游戏开发公司内部有一套技术平台,旨在提供支持Supercell开发的多款游戏的共享工具、技术和基础设施。这个中台包括了各种组件和服务,如玩家账户系统、社交网络功能、统计分析工具、虚拟货币交易系统等等,这些工具和服务都可以在Supercell开发的不同游戏之间进行共享和复用。

让Supercell游戏开发团队更加专注于开发游戏本身,而无需重新开发已经存在的功能或迎合特定游戏的需求。同时,这也能够促进Supercell内的知识共享和协作,并且降低整体开发成本和风险,这也是中台架构的由来。

概述

在过去几年中,我们一直专注于中台架构和项目的开发。尤其是在处理中小型项目方面,我们积累了丰富的经验。以下是一个典型案例的分析,我们将从实践中总结出的心得和经验与大家分享。

在2023年的第一季度,团队完成了一个约为百万级的大数据项目。我们采用中台产品和ISV(业务组)合作伙伴的方式进行交付。相对于传统项目,这种模式在交付和团队优化方面有明显的不同。只是说感觉相对于网上各种理论来说,各种概念的解释来说,原来初衷的理念更加符合,而我想要的也是这个模式,而不是网络上被各种名词和概念所淹没的中台模式,有时候会把一些简单的事情说得太过于玄乎,而没有体现初衷。

起初听到芬兰SuperCell模式时,原本觉得有这个可能,但是过程当中的体会没那么深,对外交流的时候,各种底气还是来自于一些材料,但是当真正自己在用SuperCell模式(也就是中台)的时候,你会发现,这个结构在一定的程度上确实将团队的结构还有能力进行了优化处理,而且整个流程过程会更加顺利,这里主要从几个角度进行阐述:

  • 项目中的中台组织结构是怎么样的;
  • 过程怎么分工处理同时做好前端的支撑;
  • 过程的一些常见问题和规避操作;

不同于大厂的中台交付模式,但团队和经验不同,因此我们只针对中小型项目进行说明,我有我思。

过程

在过程中,做了很多的职责分离,这里针对于原来的数字中台运营方式来进行,角度阐述也是从这个运营思路。

项目中的中台组织结构是怎么样的

传统项目的组织结构会一个项目从各个层级跟到尾,可能管理团队多个方面,而这里略有不同。

在这个大数据项目里面,我们的组织结构基本上对项目经理的职责还有中台人员的职责进行了调整(这里不提商务)。

在传统或者一般的项目里面,项目经验对接的职责和范围可能会比较大,在项目组里面人员权限也比较大,调动的人员可能从下层的开发和底层的技术人员可能都会涉及,而在中台的组织结构里面,我们把项目结构进行了两层拆分,分成了中台层和项目层,而项目经验对接的只是每层的负责人。另一个是项目的实施过程也进行了拆分,分多个阶段,一个是中台的产品交付和业务需求的实施交付,还有另一个是中台后期的支撑。

感觉这个过程好像跟一般的项目过程,比如甲方乙方等实施交付区别不大,我第一感觉也是如此,但是实际并不是。

这个阶段之间的分隔,在传统项目交付里面并没有那么明确,而且人员意识还有团队意识,过程的沟通,交付产物等,各个角色支持力度等需要更加的明确,怎么说的呢,就是在前期一些培训阶段的时候,问题最多不是技术,反而是这个阶段之间的实施问题。常常会出现,要么就是业务进到中台层里面,要么就是中台层进入到业务里面,类似的情况,往往是缺少阶段处理的意识,这个就会形成一定的交付隐患。

中台层要做的是架构方面和一定范围能力的技术的支持,但是不要介入到业务里面,业务场景最合适的业务层的解决办法,中台需要提供的是平台级的能力,因为中台层要支撑的不仅仅是一个项目,而是多个项目,这个需要在支撑阶段提出明确的支撑能力,哪些有,哪些没有。

业务只需要根据中台的能力来进行场景的规划,如果需要的或者确实没有的而一定需要用到的,或者提交需求到中台即可,而不是等着中台解决业务问题,形成两边的死循环。

在前期的组织结构初期,就做了明确的沟通要求了边界,明确划分哪个阶段参与和明确提出计划和时间。

过程怎么分工处理同时做好前端的支撑

传统项目可能前期有需求还有原型等之类的,或者需求调研之后才会考虑到实施,这里也略有不同。

在数字中台上会带有一部分基础的业务能力,还有一些通用的服务组件,在项目确定开始之后,基本上实施计划和工作就已经开始,另外加上是一些数据类项目,通用的组件更多,而我们要做的是数据输入层,也就是数据调研和采集,这个前期都有一定的模板和样例,在项目开始的前一周,实施的准备条件就已开始部署,交付出第一版本给客户演示的时候,差不多是项目开始后的两三个星期左右,后面就是培训使用。

而这个过程业务端在进行业务的处理的开发,中间加上客户的时间情况等等,这个业务型开发的时间在一个月左右,因为在中台上也包含技术devops,在这个过程都会自动同步到用户测试环境,这个过程时间相对来说,也比较从容,业务团队过程中需要的文档和手册等处理,中台团队会有一些培训,这个培训时间大概是前面的三天左右时间。其它的就是等数据调研这部分的结果,完成之后数据采集到数据中台里面,进一步的分层、计算、接口等获取到指标,输出给业务方,这部分主要是中台的过程中的操作,同步带好业务端的人员怎么使用,带好流程。

这个过程中一个比较大的体会是角色定位和分工上,还有时间点的把控上等都会比较明确,会有一些卡点,但是相对于以前传统项目方式来说,这个会更加明确。

过程有碰到的一个时间是过年时间,在这个时间后,基本上业务演示的第一版本也就出来了,在给领导层做演示,得到一定的认可后,基本上就走验收流程。前后大概是两个月的时间,其它的时间点会有一些运维和管理的操作,这部分在业务上,也在移交到运维层面上,在项目上投入的资源也进一步的减少。

这个过程中的一个比较明确的体会就是时间,时间点上会比较明确和准时,如果说业务组在缺少数据中台产品的支撑和中台团队的支撑,是基本上不可能在这么短的时间出的结果,而中台团队没有前期的积累也基本上不太可能会跟业务组和项目实施等配合得好。甚至在实施过程中,因为业务组一直做的是业务组件(我们把业务组件分开和微服务化),在交付实施过程才发现这个项目是一个比较大的项目,涉及到模块那么多,这也是原来考虑的,业务组要做的是做好业务场景需求就可以,其它的中台层给好支撑点。

另外一个因素是中台和业务组的磨合,初期的项目会有一些磨合,如果这个过程没有做过,可能会消耗一至两周的时间点,这个需要考虑的。

过程的一些常见问题和规避操作

过程一直强调角色和职责,业务组和中台组就做好自己的事情就可以。

在这个过程中,也会有很多的坑点,一些不注意可能也会形成项目后期的问题,类似于技术债,大致列了几个问题:

  1. 避免让业务组接触太多的技术概念而忽视业务
    在中台会有很我技术概念和学习层面,这个过程容易使业务组的技术人员深入到技术层面,比如微服务、容器化、主数据、Hive等,它需要的是一个模板和使用说明,而不是研究说明,根据业务场景来进行模板输出就可以,后面根据个人兴趣去学习即可,重点是给出使用案例。比如数据采集,跟业务组人员说“发送到数据总线”可能他们会迷糊一下,但是跟他说“发送到这个API接口”他就立马明白。
  2. 实施过程中台文档的产出
    文档材料的产出是过程中特别需要注意和加深的,也是中台组的要求,这里对业务组的要求由项目经理,但是中台组的要求是一定要有文档的产出,这个文档的产出并不是只是一个项目,而是多个项目都有在使用的时候,这些文档和沉淀对中台组来说意义就比较大,实现的输出的意义也比较大,同时对文档有比较严格的要求,格式还有内容等,形成高质量的文档,这部分不论在哪个项目都做了强制性的要求,同时方便后期更新迭代等。
  3. 避免两个组之间互相切换和沉入
    中台切入业务,业务切入中台,这个是前期特别容易出现的问题,只需要一个简单的场景,在讨论过程中,如果没有这个意识,就会变成中台组在做业务组件开发的情况出来,或者业务组提要求了,然后中台组根据特定(注意是特定)修改中台组件的情况,后面一种是我们特别容易出现的,而且也特别头大,有些情况下确确实实是中台组加个字段或者加个功能会比较简单,但是这个属性是某业务特有的,实际上这个过程从业务组做维护会更好。比如我们会用电信厂家的接口发送短信,而不会给个单独给某个业务设置接口,除非说这个接口有多行业公共的属性,那再统一集成。

当然,还有周期、工时、支撑、商务等挺多方面,这些主要依赖于过程的团队的情况和管理方式进行处理,这里就不做过多的阐述。

总结

在前期多个中小型项目中,我们建设中台体系的过程虽然有听说中台模式的好处和优势,但是身边比较少成功的案例(除了一些大厂),或者说在使用了并没有发挥出它本身应该有的作用,结合起来发现并没有达到降本增效的层面,反而发现过程更加复杂和麻烦,最后发现可能还没有原来单体应用的简单。

这些以前见到其它陷入的比较多,从自己的心得来说,这些是一个过程点,但是要达到终点,这个需要比较大的,而且长期的团队实战和不断迭代升级过程,上面是在这方面的心得体会,希望可能给一些人参考。