headerDepth: 3 commit.

This commit is contained in:
zeroornull
2025-03-20 15:10:14 +08:00
parent ca85eebe6e
commit 8749db5e0a
12 changed files with 1567 additions and 0 deletions

View File

@@ -0,0 +1,497 @@
---
# dir:
# text: Java全栈面试
# icon: laptop-code
# collapsible: true
# expanded: true
# link: true
# index: true
title: 架构
index: true
headerDepth: 3
# icon: laptop-code
# sidebar: true
# toc: true
# editLink: false
---
## 12 架构
> 架构相关。
### 12.1 架构基础
#### 如何理解架构的演进?
- 初始阶段的网站架构
- 应用服务和数据服务分离
- 使用缓存改善网站性能
- 使用应用服务器集群改善网站的并发处理能力
- 数据库读写分离
- 使用反向代理和CDN加上网站相应
- 使用分布式文件系统和分布式数据库系统
- 使用NoSQL和搜索引擎
![img](https://b2files.173114.xyz/blogimg/2025/03/2c685260727044821d432d32ba327dc5.png)
- 业务拆分 : 拆成A, B服务以及MQ服务
![img](https://b2files.173114.xyz/blogimg/2025/03/903c390a309fd64e83ba2fcbcd54bf9e.png)
- 分布式服务
![img](https://b2files.173114.xyz/blogimg/2025/03/221cc898cfcbbefd7d6e845539332175.png)
#### 如何理解架构的服务化趋势?
- 方向一:
架构服务化
- 单体分层架构
- 面向服务架构 -SOA
- 微服务架构 - Microservices
- 云原生架构 - Cloud Native
- 方向二:
部署容器编排化
- 虚拟机
- 容器
- Kubernetes 与编排
#### 架构中有哪些技术点?
所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行灯一系列问题与挑战。为此,在实践中提出了许多解决方案,以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。
- **分层**
分层是企业应用系统中最常见的一种架构模式,将系统在横向维度上切分成几个部分,每个部分负责一部分相对简单并比较单一的职责,然后通过上层对下层的依赖和调度组成一个完整的系统。
在网站的分层架构中常见的为3层`应用层``服务层``数据层`:
1. 应用层具体负责业务和视图的展示;
2. 服务层为应用层提供服务支持;
3. 数据库提供数据存储访问服务,如数据库、缓存、文件、搜索引擎等。
分层架构是逻辑上的,在物理部署上,三层架构可以部署在同一个物理机器上,但是随着网站业务的发展,必然需要对已经分层的模块分离部署,即三层结构分别部署在不同的服务器上,是网站拥有更多的计算资源以应对越来越多的用户访问。
所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护,但在网站的发展过程中,分层结构对网站支持高并发向分布式方向的发展至关重要。
- **分隔**
如果说分层是将软件在横向方面进行切分,那么分隔就是在纵向方面对软件进行切分。
网站越大,功能越复杂,服务和数据处理的种类也越多,将这些不同的功能和服务分隔开来,包装成高内聚低耦合的模块单元,不仅有助于软件的开发维护也便于不同模块的分布式部署,提高网站的并发处理能力和功能扩展能力。
大型网站分隔的粒度可能会很小。比如在应用层,将不同业务进行分隔,例如将购物、论坛、搜索、广告分隔成不同的应用,有对立的团队负责,部署在不同的服务器上。
- **分布式**
对于大型网站分层和分隔的一个主要目的是为了切分后的模块便于分布式部署即将不同模块部署在不同的服务器上通过远程调用协同工作。分布式意味着可以使用更多的计算机完同样的工作计算机越多CPU、内存、存储资源就越多能过处理的并发访问和数据量就越大进而能够为更多的用户提供服务。
在网站应用中,常用的分布式方案有一下几种.
1. `分布式应用和服务`:将分层和分隔后的应用和服务模块分布式部署,可以改善网站性能和并发性、加快开发和发布速度、减少数据库连接资源消耗。
2. `分布式静态资源`网站的静态资源如JS、CSS、Logo图片等资源对立分布式部署并采用独立的域名即人们常说的动静分离。静态资源分布式部署可以减轻应用服务器的负载压力通过使用独立域名加快浏览器并发加载的速度。
3. `分布式数据和存储`大型网站需要处理以P为单位的海量数据单台计算机无法提供如此大的存储空间这些数据库需要分布式存储。
4. `分布式计算`目前网站普遍使用Hadoop和MapReduce分布式计算框架进行此类批处理计算其特点是移动计算而不是移动数据将计算程序分发到数据所在的位置以加速计算和分布式计算。
- **集群**
对于用户访问集中的模块需要将独立部署的服务器集群化,即多台服务器部署相同的应用构成一个集群,通过负载均衡设备共同对外提供服务。
服务器集群能够为相同的服务提供更多的并发支持,因此当有更多的用户访问时,只需要向集群中加入新的机器即可;另外可以实现当其中的某台服务器发生故障时,可以通过负载均衡的失效转移机制将请求转移至集群中其他的服务器上,因此可以提高系统的可用性。
- **缓存**
缓存目的就是减轻服务器的计算使数据直接返回给用户。在现在的软件设计中缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
使用缓存有两个条件:访问数据热点不均衡,即某些频繁访问的数据需要放在缓存中;数据在某个时间段内有效,不过很快过期,否则会因为数据过期而脏读,影响数据的正确性。
- **异步**
使用异步,业务之间的消息传递不是同步调用,而是将一个业务操作分成多个阶段,每个阶段之间通过共享数据的方法异步执行进行协作。
具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理;在分布式系统中可用通过分布式消息队列来实现异步。
异步架构的典型就是生产者消费者方式,两者不存在直接调用。
- **冗余**
网站需要7×24小时连续运行那么就得有相应的冗余机制以防某台机器宕掉时无法访问而冗余则可以通过部署至少两台服务器构成一个集群实现服务高可用。数据库除了定期备份还需要实现冷热备份。甚至可以在全球范围内部署灾备数据中心。
- **自动化**
具体有自动化发布过程,自动化代码管理、自动化测试、自动化安全检测、自动化部署、自动化监控、自动化报警、自动化失效转移、自动化失效恢复等。
- **安全**
网站在安全架构方面有许多模式通过密码和手机校验码进行身份认证登录、交易需要对网络通信进行加密为了防止机器人程序滥用资源需要使用验证码进行识别对常见的XSS攻击、SQL注入需要编码转换垃圾信息需要过滤等。
- **敏捷性**
积极接受需求变更,快速响应业务发展需求。
### 12.2 缓存
#### 谈谈架构中的缓存应用?
缓存有各类特征,而且有不同介质的区别,那么实际工程中我们怎么去对缓存分类呢? 在目前的应用服务框架中比较常见的时根据缓存雨应用的藕合度分为local cache本地缓存和remote cache分布式缓存
- **本地缓存**指的是在应用中的缓存组件其最大的优点是应用和cache是在同一个进程内部请求缓存非常快速没有过多的网络开销等在单应用不需要集群支持或者集群情况下各节点无需互相通知的场景下使用本地缓存较合适同时它的缺点也是应为缓存跟应用程序耦合多个应用程序无法直接的共享缓存各应用或集群的各节点都需要维护自己的单独缓存对内存是一种浪费。
- **分布式缓存**:指的是与应用分离的缓存组件或服务,其最大的优点是自身就是一个独立的应用,与本地应用隔离,多个应用可直接的共享缓存。
目前各种类型的缓存都活跃在成千上万的应用服务中,还没有一种缓存方案可以解决一切的业务场景或数据类型,我们需要根据自身的特殊场景和背景,选择最适合的缓存方案。缓存的使用是程序员、架构师的必备技能,好的程序员能根据数据类型、业务场景来准确判断使用何种类型的缓存,如何使用这种缓存,以最小的成本最快的效率达到最优的目的。
#### 在开发中缓存具体如何实现?
- 本地缓存
- 成员变量或局部变量实现, 比如map
- 静态变量实现
- Ehcache
- Guava Cache
- 分布式缓存
- Redis集群+ Spring Cache注解方式
#### 缓存会有哪些问题?如何解决?
参见redis缓存问题
#### 使用缓存的经验?
不合理使用缓存非但不能提高系统的性能,还会成为系统的累赘,甚至风险。
- **频繁修改的数据**
如果缓存中保存的是频繁修改的数据就会出现数据写入缓存后应用还来不及读取缓存数据就已经失效徒增系统负担。一般来说数据的读写比在21写入一次缓存在数据更新前至少读取两次以上缓存才有意义。
- **没有热点的访问**
如果应用系统访问数据没有热点,不遵循二八定律,那么缓存就没有意义。
- **数据不一致与脏读**
一般会对缓存的数据设置失效时间,一旦超过失效时间,就要从数据库中重新加载。因此要容忍一定时间的数据不一致,如卖家已经编辑了商品属性,但是需要过一段时间才能被买家看到。还有一种策略是数据更新立即更新缓存,不过这也会带来更多系统开销和事务一致性问题。
- **缓存可用性**
缓存会承担大部分数据库访问压力,数据库已经习惯了有缓存的日子,所以当缓存服务崩溃时,数据库会因为完全不能承受如此大压力而宕机,导致网站不可用。这种情况被称作缓存雪崩,发生这种故障,甚至不能简单地重启缓存服务器和数据库服务器来恢复。
实践中,有的网站通过缓存热备份等手段提高缓存可用性:当某台缓存服务器宕机时,将缓存访问切换到热备服务器上。但这种设计有违缓存的初衷,缓存根本就不应该当做一个可靠的数据源来使用。
通过分布式缓存服务器集群,将缓存数据分布到集群多台服务器上可在一定程度上改善缓存的可用性。当一台缓存服务器宕机时,只有部分缓存数据丢失,重新从数据库加载这部分数据不会产生很大的影响。
- **缓存预热warm up**
缓存中存放的是热点数据热点数据又是缓存系统利用LRU最近最久未用算法对不断访问的数据筛选淘汰出来这个过程需要花费较长的时间。新系统的缓存系统如果没有任何数据在重建缓存数据的过程中系统的性能和数据库负载都不太好那么最好在缓存系统启动时就把热点数据加载好这个缓存预加载手段叫缓存预热。对于一些元数据如城市地名列表、类目信息可以在启动时加载数据库中全部数据到缓存进行预热。
- **避免缓存穿透**
如果因为不恰当的业务、或者恶意攻击持续高并发地请求某个不存在的数据,由于缓存没有保存该数据,所有的请求都会落到数据库上,会对数据库造成压力,甚至崩溃。一个简单的对策是将不存在的数据也缓存起来(其value为null)。
### 12.3 限流
#### 什么是限流?三种限流的算法?
每个系统都有服务的上线,所以当流量超过服务极限能力时,系统可能会出现卡死、崩溃的情况,所以就有了降级和限流。限流其实就是:当高并发或者瞬时高并发时,为了保证系统的稳定性、可用性,系统以牺牲部分请求为代价或者延迟处理请求为代价,保证系统整体服务可用。
令牌桶(Token Bucket)、漏桶(leaky bucket)和计数器算法是最常用的三种限流的算法:
- 令牌桶方式(Token Bucket)
- Guava RateLimiter
令牌桶算法是网络流量整形Traffic Shaping和速率限制Rate Limiting中最常使用的一种算法。先有一个木桶系统按照固定速度往桶里加入Token如果桶已经满了就不再添加。当有请求到来时会各自拿走一个Token取到Token 才能继续进行请求处理没有Token 就拒绝服务。
![img](https://b2files.173114.xyz/blogimg/2025/03/f70453fc1daee252ad390b71795d9724.png)
这里如果一段时间没有请求时桶内就会积累一些Token下次一旦有突发流量只要Token足够也能一次处理所以令牌桶算法的特点是*允许突发流量*。
- **漏桶**
水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出(访问频率超过接口响应速率),然后就拒绝请求,可以看出漏桶算法能强行限制数据的传输速率。
![img](https://b2files.173114.xyz/blogimg/2025/03/acb055610864aa1d6c3cc4dd6338d98a.png)
可见这里有两个变量,一个是桶的大小,支持流量突发增多时可以存多少的水(burst),另一个是水桶漏洞的大小(rate)。
因为漏桶的漏出速率是固定的参数,所以,即使网络中不存在资源冲突(没有发生拥塞),漏桶算法也不能使流突发(burst)到端口速率.因此,漏桶算法对于存在突发特性的流量来说缺乏效率.
- 计数器
计数器限流算法也是比较常用的,主要用来限制总并发数,比如数据库连接池大小、线程池大小、程序访问并发数等都是使用计数器算法。也是最简单粗暴的算法。
- 采用AtomicInteger
- 使用AomicInteger来进行统计当前正在并发执行的次数如果超过域值就简单粗暴的直接响应给用户说明系统繁忙请稍后再试或其它跟业务相关的信息。
- 弊端:使用 AomicInteger 简单粗暴超过域值就拒绝请求,可能只是瞬时的请求量高,也会拒绝请求。
- 采用令牌Semaphore:
- 使用Semaphore信号量来控制并发执行的次数如果超过域值信号量则进入阻塞队列中排队等待获取信号量进行执行。如果阻塞队列中排队的请求过多超出系统处理能力则可以在拒绝请求。
- 相对Atomic优点如果是瞬时的高并发可以使请求在阻塞队列中排队而不是马上拒绝请求从而达到一个流量削峰的目的。
- 采用ThreadPoolExecutor java线程池:
- 固定线程池大小,超出固定先线程池和最大的线程数,拒绝线程请求;
#### 限流令牌桶和漏桶对比?
- 令牌桶是按照固定速率往桶中添加令牌,请求是否被处理需要看桶中令牌是否足够,当令牌数减为零时则拒绝新的请求;
- 漏桶则是按照常量固定速率流出请求,流入请求速率任意,当流入的请求数累积到漏桶容量时,则新流入的请求被拒绝;
- 令牌桶限制的是平均流入速率允许突发请求只要有令牌就可以处理支持一次拿3个令牌4个令牌并允许一定程度突发流量
- 漏桶限制的是常量流出速率即流出速率是一个固定常量值比如都是1的速率流出而不能一次是1下次又是2从而平滑突发流入速率
- 令牌桶允许一定程度的突发,而漏桶主要目的是平滑流入速率;
- 两个算法实现可以一样,但是方向是相反的,对于相同的参数得到的限流效果是一样的。
#### 在分布式环境下如何实现限流?
我们需要分布式限流和接入层限流来进行全局限流。
1. redis+lua实现中的lua脚本
2. 使用Nginx+Lua实现的Lua脚本
### 12.4 降级和熔断
#### 为什么会有容错?一般有哪些方式解决容错相关问题?
服务之间的依赖关系,如果有被依赖的服务挂了以后,造成其它服务也会出现请求堆积、资源占用,慢慢扩散到所有服务,引发雪崩效应。
而容错就是要解决这类问题,常见的方式:
- **主动超时**Http请求主动设置一个超时时间超时就直接返回不会造成服务堆积
- **限流**:限制最大并发数
- **熔断**:当错误数超过阈值时快速失败,不调用后端服务,同时隔一定时间放几个请求去重试后端服务是否能正常调用,如果成功则关闭熔断状态,失败则继续快速失败,直接返回。(此处有个重试,重试就是弹性恢复的能力)
- **隔离**:把每个依赖或调用的服务都隔离开来,防止级联失败引起整体服务不可用
- **降级**:服务失败或异常后,返回指定的默认信息
![img](https://b2files.173114.xyz/blogimg/2025/03/0992e59b82c6e643deb53042f473401c.png)
#### 谈谈你对服务降级的理解?
由于爆炸性的流量冲击,对一些服务进行有策略的放弃,以此缓解系统压力,保证目前主要业务的正常运行。它主要是针对非正常情况下的应急服务措施:当此时一些业务服务无法执行时,给出一个统一的返回结果。
- **降级服务的特征**
- 原因:整体负荷超出整体负载承受能力。
- 目的:保证重要或基本服务正常运行,非重要服务延迟使用或暂停使用
- 大小:降低服务粒度,要考虑整体模块粒度的大小,将粒度控制在合适的范围内
- 可控性:在服务粒度大小的基础上增加服务的可控性,后台服务开关的功能是一项必要配置(单机可配置文件,其他可领用数据库和缓存),可分为手动控制和自动控制。
- 次序一般从外围延伸服务开始降级需要有一定的配置项重要性低的优先降级比如可以分组设置等级1-10当服务需要降级到某一个级别时进行相关配置
- **降级方式**
- 延迟服务:比如发表了评论,重要服务,比如在文章中显示正常,但是延迟给用户增加积分,只是放到一个缓存中,等服务平稳之后再执行。
- 在粒度范围内关闭服务(片段降级或服务功能降级):比如关闭相关文章的推荐,直接关闭推荐区
- 页面异步请求降级:比如商品详情页上有推荐信息/配送至等异步加载的请求,如果这些信息响应慢或者后端服务有问题,可以进行降级;
- 页面跳转(页面降级):比如可以有相关文章推荐,但是更多的页面则直接跳转到某一个地址
- 写降级比如秒杀抢购我们可以只进行Cache的更新然后异步同步扣减库存到DB保证最终一致性即可此时可以将DB降级为Cache。
- 读降级:比如多级缓存模式,如果后端服务有问题,可以降级为只读缓存,这种方式适用于对读一致性要求不高的场景。
- **降级预案** 在进行降级之前要对系统进行梳理,看看系统是不是可以丢卒保帅;从而梳理出哪些必须誓死保护,哪些可降级;比如可以参考日志级别设置预案:
- 一般:比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级;
- 警告有些服务在一段时间内成功率有波动如在95~100%之间),可以自动降级或人工降级,并发送告警;
- 错误比如可用率低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阀值,此时可以根据情况自动降级或者人工降级;
- 严重错误:比如因为特殊原因数据错误了,此时需要紧急人工降级。
- **服务降级分类**
- 降级按照是否自动化可分为:自动开关降级(超时、失败次数、故障、限流)和人工开关降级(秒杀、电商大促等)。
- 降级按照功能可分为:读服务降级、写服务降级。
- 降级按照处于的系统层次可分为:多级降级。
- **自动降级分类**
- 超时降级:主要配置好超时时间和超时重试次数和机制,并使用异步机制探测回复情况
- 失败次数降级主要是一些不稳定的api当失败调用次数达到一定阀值自动降级同样要使用异步机制探测回复情况
- 故障降级比如要调用的远程服务挂掉了网络故障、DNS故障、http服务返回错误的状态码、rpc服务抛出异常则可以直接降级。降级后的处理方案有默认值比如库存服务挂了返回默认现货、兜底数据比如广告挂了返回提前准备好的一些静态页面、缓存之前暂存的一些缓存数据
- 限流降级: 当我们去秒杀或者抢购一些限购商品时,此时可能会因为访问量太大而导致系统崩溃,此时开发者会使用限流来进行限制访问量,当达到限流阀值,后续请求会被降级;降级后的处理方案可以是:排队页面(将用户导流到排队页面等一会重试)、无货(直接告知用户没货了)、错误页(如活动太火爆了,稍后重试)
#### 什么是服务熔断?和服务降级有什么区别?
熔断机制是应对雪崩效应的一种微服务链路保护机制,当扇出链路的某个微服务不可用或者响应时间太长时,会进行服务的降级,进而熔断该节点微服务的调用,快速返回”错误”的响应信息。
**和服务降级有什么区别**
服务熔断对服务提供了proxy防止服务不可能时出现串联故障cascading failure导致雪崩效应。
服务熔断一般是某个服务(下游服务)故障引起,而服务降级一般是从整体负荷考虑。
- 共性:
- 目的 -> 都是从可用性、可靠性出发,提高系统的容错能力。
- 最终表现->使某一些应用不可达或不可用,来保证整体系统稳定。
- 粒度 -> 一般都是服务级别,但也有细粒度的层面:如做到数据持久层、只许查询不许增删改等。
- 自治 -> 对其自治性要求很高。都要求具有较高的自动处理机制。
- 区别:
- 触发原因 -> 服务熔断通常是下级服务故障引起;服务降级通常为整体系统而考虑。
- 管理目标 -> 熔断是每个微服务都需要的是一个框架级的处理而服务降级一般是关注业务对业务进行考虑抓住业务的层级从而决定在哪一层上进行处理比如在IO层业务逻辑层还是在外围进行处理。
- 实现方式 -> 代码实现中的差异。
#### 如何设计服务的熔断?
- **异常处理**:调用受熔断器保护的服务的时候,我们必须要处理当服务不可用时的异常情况。这些异常处理通常需要视具体的业务情况而定。比如,如果应用程序只是暂时的功能降级,可能需要切换到其它的可替换的服务上来执行相同的任务或者获取相同的数据,或者给用户报告错误然后提示他们稍后重试。
- **异常的类型**:请求失败的原因可能有很多种。一些原因可能会比其它原因更严重。比如,请求会失败可能是由于远程的服务崩溃,这可能需要花费数分钟来恢复;也可能是由于服务器暂时负载过重导致超时。熔断器应该能够检查错误的类型,从而根据具体的错误情况来调整策略。比如,可能需要很多次超时异常才可以断定需要切换到断开状态,而只需要几次错误提示就可以判断服务不可用而快速切换到断开状态。
- **日志**:熔断器应该能够记录所有失败的请求,以及一些可能会尝试成功的请求,使得的管理员能够监控使用熔断器保护的服务的执行情况。 测试服务是否可用在断开状态下熔断器可以采用定期的ping远程的服务或者资源来判断是否服务是否恢复而不是使用计时器来自动切换到半断开状态。这种ping操作可以模拟之前那些失败的请求或者可以使用通过调用远程服务提供的检查服务是否可用的方法来判断。
- **手动重置**:在系统中对于失败操作的恢复时间是很难确定的,提供一个手动重置功能能够使得管理员可以手动的强制将熔断器切换到闭合状态。同样的,如果受熔断器保护的服务暂时不可用的话,管理员能够强制的将熔断器设置为断开状态。 并发问题:相同的熔断器有可能被大量并发请求同时访问。熔断器的实现不应该阻塞并发的请求或者增加每次请求调用的负担。 资源的差异性:使用单个熔断器时,一个资源如果有分布在多个地方就需要小心。比如,一个数据可能存储在多个磁盘分区上(shard),某个分区可以正常访问,而另一个可能存在暂时性的问题。在这种情况下,不同的错误响应如果混为一谈,那么应用程序访问的这些存在问题的分区的失败的可能性就会高,而那些被认为是正常的分区,就有可能被阻塞。
- **加快熔断器的熔断操作**:有时候服务返回的错误信息足够让熔断器立即执行熔断操作并且保持一段时间。比如如果从一个分布式资源返回的响应提示负载超重那么应该等待几分钟后再重试。HTTP协议定义了”HTTP 503 Service Unavailable”来表示请求的服务当前不可用他可以包含其他信息比如超时等
- **重复失败请求**:当熔断器在断开状态的时候,熔断器可以记录每一次请求的细节,而不是仅仅返回失败信息,这样当远程服务恢复的时候,可以将这些失败的请求再重新请求一次。
#### 服务熔断有哪些实现方案?
- **Hystrix**
Spring Cloud Netflix Hystrix就是隔离措施的一种实现,可以设置在某种超时或者失败情形下断开依赖调用或者返回指定逻辑,从而提高分布式系统的稳定性. 流程图如下:
![img](https://b2files.173114.xyz/blogimg/2025/03/89f5d42245df37cc265c1395a547574d.png)
- **Sentinel**
Sentinel 以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。分为两个部分:
1. 核心库Java 客户端)不依赖任何框架/库,能够运行于所有 Java 运行时环境,同时对 Dubbo / Spring Cloud 等框架也有较好的支持。
2. 控制台Dashboard基于 Spring Boot 开发,打包后可以直接运行,不需要额外的 Tomcat 等应用容器。
主要特性:
![img](https://b2files.173114.xyz/blogimg/2025/03/c21297ada41deb1674973c9ee209c5a3.png)
### 12.5 负载均衡
#### 什么是负载均衡?原理是什么?
负载均衡Load Balance意思是将负载工作任务访问请求进行平衡、分摊到多个操作单元服务器组件上进行执行。是解决高性能单点故障高可用扩展性水平伸缩的终极解决方案。
- **负载均衡原理**
采用横向扩展的方式,通过添加机器来满足大型网站服务的处理能力。比如:一台机器不能满足,则增加两台或者多台机器,共同承担访问压力。这就是典型的集群和负载均衡架构:如下图:
![img](https://b2files.173114.xyz/blogimg/2025/03/af8fe12b2369df561c85cae9f27edd3b.png)
1. 应用集群:将同一应用部署到多台机器上,组成处理集群,接收负载均衡设备分发的请求,进行处理,并返回相应数据。
2. 负载均衡设备:将用户访问的请求,根据负载均衡算法,分发到集群中的一台处理服务器。(一种把网络请求分散到一个服务器集群中的可用服务器上去的设备)
- **负载均衡的作用**(解决的问题):
1.解决并发压力,提高应用处理性能(增加吞吐量,加强网络处理能力);
2.提供故障转移,实现高可用;
3.通过添加或减少服务器数量,提供网站伸缩性(扩展性);
4.安全防护;(负载均衡设备上做一些过滤,黑白名单等处理)
#### 负载均衡有哪些分类?
根据实现技术不同可分为DNS负载均衡HTTP负载均衡IP负载均衡链路层负载均衡等。
- **DNS负载均衡**
最早的负载均衡技术利用域名解析实现负载均衡在DNS服务器配置多个A记录这些A记录对应的服务器构成集群。大型网站总是部分使用DNS解析作为第一级负载均衡。如下图
![img](https://b2files.173114.xyz/blogimg/2025/03/2520b47ea33cc2a96474da68e3f743ea.png)
**实践建议**
将DNS作为第一级负载均衡A记录对应着内部负载均衡的IP地址通过内部负载均衡将请求分发到真实的Web服务器上。一般用于互联网公司复杂的业务系统不合适使用。如下图
![img](https://b2files.173114.xyz/blogimg/2025/03/d1a12de318e0bd2318bdd07b23d26387.png)
- **IP负载均衡**
在网络层通过修改请求目标地址进行负载均衡。
用户请求数据包到达负载均衡服务器后负载均衡服务器在操作系统内核进程获取网络数据包根据负载均衡算法得到一台真实服务器地址然后将请求目的地址修改为获得的真实ip地址不需要经过用户进程处理。
真实服务器处理完成后响应数据包回到负载均衡服务器负载均衡服务器再将数据包源地址修改为自身的ip地址发送给用户浏览器。如下图
![img](https://b2files.173114.xyz/blogimg/2025/03/f64016286b30a1a149fca39ccb2a5a17.png)
IP负载均衡真实物理服务器返回给负载均衡服务器存在两种方式1负载均衡服务器在修改目的ip地址的同时修改源地址。将数据包源地址设为自身盘即源地址转换snat2将负载均衡服务器同时作为真实物理服务器集群的网关服务器。
- **链路层负载均衡**
在通信协议的数据链路层修改mac地址进行负载均衡。
数据分发时不修改ip地址指修改目标mac地址配置真实物理服务器集群所有机器虚拟ip和负载均衡服务器ip地址一致达到不修改数据包的源地址和目标地址进行数据分发的目的。
实际处理服务器ip和数据请求目的ip一致不需要经过负载均衡服务器进行地址转换可将响应数据包直接返回给用户浏览器避免负载均衡服务器网卡带宽成为瓶颈。也称为直接路由模式DR模式。如下图
![img](https://b2files.173114.xyz/blogimg/2025/03/cdfa80b9094b4c4d1e45a5b9000eca28.png)
实践建议DR模式是目前使用最广泛的一种负载均衡方式。
- **混合型负载均衡**
由于多个服务器群内硬件设备、各自的规模、提供的服务等的差异,可以考虑给每个服务器群采用最合适的负载均衡方式,然后又在这多个服务器群间再一次负载均衡或群集起来以一个整体向外界提供服务(即把这多个服务器群当做一个新的服务器群),从而达到最佳的性能。将这种方式称之为混合型负载均衡。
此种方式有时也用于单台均衡设备的性能不能满足大量连接请求的情况下。是目前大型互联网公司,普遍使用的方式。
方式一,如下图:
![img](https://b2files.173114.xyz/blogimg/2025/03/bf694ca7bd84ea9aa9e7281dffeba866.png)
以上模式适合有动静分离的场景,反向代理服务器(集群)可以起到缓存和动态请求分发的作用,当时静态资源缓存在代理服务器时,则直接返回到浏览器。如果动态页面则请求后面的应用负载均衡(应用集群)。
方式二,如下图:
![img](https://b2files.173114.xyz/blogimg/2025/03/5b0d4334b4292e6a5bb9d6ef84ee20ec.png)
以上模式,适合动态请求场景。
因混合模式,可以根据具体场景,灵活搭配各种方式,以上两种方式仅供参考。
#### 常见的负载均衡服务器有哪些?
平时我们常用的有四层负载均衡和七层负载均衡四层的负载均衡是基于IP和端口实现的七层的负载均衡是在四层的基础上基于URL等信息实现。
- **四层负载均衡**
LVS重量级软件本身不支持正则表达式部署起来比较麻烦但是性能高应用范围广一般的大型互联网公司都有用到。
HAProxy轻量级软件支持的负载均衡策略非常多较灵活。
Nginx轻量级软件支持的协议少HTTP、HTTPS和Email协议对于Session支持不友好。
- **七层负载均衡**
HAProxy全面支持七层代理灵活性高支持Session会话保持。
Nginx可以针对HTTP应用进行分流正则规则灵活支持高并发部署简单。
Apache性能较差一般不考虑。
MySQL Proxy官方的数据库中间件可以实现读写分离负载均衡等功能但是对分表分库支持不完善可选替代品AtlasCobarTDDL
#### 常见的负载均衡的算法?
常见的负载均衡算法包含:
**第一类,轮询法**
- 轮询法(Round Robin)
- 将请求按顺序轮流地分配到后端服务器上,它均衡地对待后端的每一台服务器,而不关心服务器实际的连接数和当前的系统负载。
- 加权轮询法(Weight Round Robin)
- 不同的后端服务器可能机器的配置和当前系统的负载并不相同,因此它们的抗压能力也不相同。给配置高、负载低的机器配置更高的权重,让其处理更多的请;而配置低、负载高的机器,给其分配较低的权重,降低其系统负载,加权轮询能很好地处理这一问题,并将请求顺序且按照权重分配到后端。
- 平滑加权轮询法(Smooth Weight Round Robin)
**第二类,随机法**
- 随机法(Random)
- 通过系统的随机算法,根据后端服务器的列表大小值来随机选取其中的一台服务器进行访问。由概率统计理论可以得知,随着客户端调用服务端的次数增多, 其实际效果越来越接近于平均分配调用量到后端的每一台服务器,也就是轮询的结果。
- 加权随机法(Weight Random)
- 与加权轮询法一样,加权随机法也根据后端机器的配置,系统的负载分配不同的权重。不同的是,它是按照权重随机请求后端服务器,而非顺序。
**第三类,哈希**
- 源地址哈希法(Hash)
- 源地址哈希的思想是根据获取客户端的IP地址通过哈希函数计算得到的一个数值用该数值对服务器列表的大小进行取模运算得到的结果便是客服端要访问服务器的序号。采用源地址哈希法进行负载均衡同一IP地址的客户端当后端服务器列表不变时它每次都会映射到同一台后端服务器进行访问。
**第四类,连接数法**
- 最小连接数法(Least Connections)
- 最小连接数算法比较灵活和智能,由于后端服务器的配置不尽相同,对于请求的处理有快有慢,它是根据后端服务器当前的连接情况,动态地选取其中当前积压连接数最少的一台服务器来处理当前的请求,尽可能地提高后端服务的利用效率,将负责合理地分流到每一台服务器。
### 12.6 灾备和故障转移
#### 什么是容灾?一般基于什么实现?
容灾是指为了保证关键业务和应用在经历各种灾难后,仍然能够最大限度的提供正常服务的所进行的一系列系统计划及建设和管理行为。
容灾能力**基于数据复制**和**故障转移**。
#### 一般怎么实现灾备?
备份是对数据进行保护,容灾是在备份的基础上,保障企业的业务连续性,从这个层面,一般将容灾划分为数据容灾和应用容灾。
- **数据容灾**是指建立一个异地的数据系统,该系统是本地关键应用数据的一个实时复制。
- **应用容灾**是指在数据容灾的基础上,在异地建立一套完整的与本地生产系统相当的备份应用系统,在灾难发生时,备端系统迅速接管业务继续运行。

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: 数据结构 title: 数据结构
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: ElasticSearch title: ElasticSearch
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: MongoDB title: MongoDB
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: Mysql title: Mysql
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: Redis title: Redis
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: 开发基础 title: 开发基础
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: 开发框架和中间件 title: 开发框架和中间件
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true

View File

@@ -0,0 +1,72 @@
---
# dir:
# text: Java全栈面试
# icon: laptop-code
# collapsible: true
# expanded: true
# link: true
# index: true
title: Git
index: true
headerDepth: 3
# icon: laptop-code
# sidebar: true
# toc: true
# editLink: false
---
## 11 开发工具
> 开发工具问题汇总。
### 11.1 Git
#### Git中5个区和具体操作
- 代码提交和同步代码
![img](https://b2files.173114.xyz/blogimg/2025/03/6fc2a8d8937d4c52dc93cd9012839f11.png)
- 代码撤销和撤销同步
![img](https://b2files.173114.xyz/blogimg/2025/03/403e8cda70fa212601904a127249e72e.png)
#### 平时是怎么提交代码的?
- 第零步: 工作区与仓库保持一致
- 第一步: 文件增删改,变为已修改状态
- 第二步: git add ,变为已暂存状态
```bash
$ git status
$ git add --all # 当前项目下的所有更改
$ git add . # 当前目录下的所有更改
$ git add xx/xx.py xx/xx2.py # 添加某几个文件
```
- 第三步: git commit变为已提交状态
```bash
$ git commit -m "<这里写commit的描述>"
```
- 第四步: git push变为已推送状态
```bash
$ git push -u origin master # 第一次需要关联上
$ git push # 之后再推送就不用指明应该推送的远程分支了
$ git branch # 可以查看本地仓库的分支
$ git branch -a # 可以查看本地仓库和本地远程仓库(远程仓库的本地镜像)的所有分支
```
在某个分支下,我最常用的操作如下
```bash
$ git status
$ git add -a
$ git status
$ git commit -m 'xxx'
$ git pull --rebase
$ git push origin xxbranch
```

View File

@@ -0,0 +1,60 @@
---
# dir:
# text: Java全栈面试
# icon: laptop-code
# collapsible: true
# expanded: true
# link: true
# index: true
title: Maven
index: true
headerDepth: 3
# icon: laptop-code
# sidebar: true
# toc: true
# editLink: false
---
### 11.2 Maven
#### Maven中包的依赖原则如何解决冲突
- **依赖原则**
1. 依赖路径最短优先原则
```html
A -> B -> C -> X(1.0)
A -> D -> X(2.0)
```
由于 X(2.0) 路径最短,所以使用 X(2.0)。
1. 声明顺序优先原则
```html
A -> B -> X(1.0)
A -> C -> X(2.0)
```
在 POM 中最先声明的优先,上面的两个依赖如果先声明 B那么最后使用 X(1.0)。
1. 覆写优先原则
子 POM 内声明的依赖优先于父 POM 中声明的依赖。
- **如何解决冲突**
1. 找到 Maven 加载的 Jar 包版本,使用 `mvn dependency:tree` 查看依赖树,根据依赖原则来调整依赖在 POM 文件的声明顺序。
2. 发现了冲突的包之后剩下的就是选择一个合适版本的包留下如果是传递依赖的包正确那么把显示依赖的包exclude掉。如果是某一个传递依赖的包有问题那么我们需要手动把这个传递依赖execlude掉
#### Maven 项目生命周期与构建原理?
Maven从项目的三个不同的角度定义了单套生命周期三套生命周期是相互独立的它们之间不会相互影响。
- 默认构建生命周期(Default Lifeclyle): 该生命周期表示这项目的构建过程,定义了一个项目的构建要经过的不同的阶段。
- 清理生命周期(Clean Lifecycle): 该生命周期负责清理项目中的多余信息保持项目资源和代码的整洁性。一般拿来清空directory(即一般的target)目录下的文件。
- 站点管理生命周期(Site Lifecycle) :向我们创建一个项目时我们有时候需要提供一个站点来介绍这个项目的信息如项目介绍项目进度状态、项目组成成员版本控制信息项目javadoc索引信息等等。站点管理生命周期定义了站点管理过程的各个阶段。
![img](https://b2files.173114.xyz/blogimg/2025/03/384337be70892f4dfc4efaa3e67bab7a.jpg)

View File

@@ -0,0 +1,930 @@
---
# dir:
# text: Java全栈面试
# icon: laptop-code
# collapsible: true
# expanded: true
# link: true
# index: true
title: 分布式
index: true
headerDepth: 3
# icon: laptop-code
# sidebar: true
# toc: true
# editLink: false
---
## 13 分布式
> 分布式相关。
### 13.1 一致性算法
#### 什么是分布式系统的副本一致性?有哪些?
分布式系统通过副本控制协议,使得从系统外部读取系统内部各个副本的数据在一定的约束条件下相同,称之为副本一致性(consistency)。副本一致性是针对分布式系统而言的,不是针对某一个副本而言。
**强一致性(strong consistency)**:任何时刻任何用户或节点都可以读到最近一次成功更新的副本数据。强一致性是程度最高的一致性要求,也是实践中最难以实现的一致性。
**单调一致性(monotonic consistency)**:任何时刻,任何用户一旦读到某个数据在某次更新后的值,这个用户不会再读到比这个值更旧的值。单调一致性是弱于强一致性却非常实用的一种一致性级别。因为通常来说,用户只关心从己方视角观察到的一致性,而不会关注其他用户的一致性情况。
**会话一致性(session consistency)**任何用户在某一次会话内一旦读到某个数据在某次更新后的值这个用户在这次会话过程中不会再读到比这个值更旧的值。会话一致性通过引入会话的概念在单调一致性的基础上进一步放松约束会话一致性只保证单个用户单次会话内数据的单调修改对于不同用户间的一致性和同一用户不同会话间的一致性没有保障。实践中有许多机制正好对应会话的概念例如php 中的session 概念。
**最终一致性(eventual consistency)**:最终一致性要求一旦更新成功,各个副本上的数据最终将达 到完全一致的状态,但达到完全一致状态所需要的时间不能保障。对于最终一致性系统而言,一个用户只要始终读取某一个副本的数据,则可以实现类似单调一致性的效果,但一旦用户更换读取的副本,则无法保障任何一致性。
**弱一致性(week consistency)**:一旦某个更新成功,用户无法在一个确定时间内读到这次更新的值,且即使在某个副本上读到了新的值,也不能保证在其他副本上可以读到新的值。弱一致性系统一般很难在实际中使用,使用弱一致性系统需要应用方做更多的工作从而使得系统可用。
#### 在分布式系统中有哪些常见的一致性算法?
- 分布式算法 - 一致性Hash算法
- 一致性Hash算法是个经典算法Hash环的引入是为解决`单调性(Monotonicity)`的问题;虚拟节点的引入是为了解决`平衡性(Balance)`问题
- 分布式算法 - Paxos算法
- Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性算法使其获得2013年图灵奖。自Paxos问世以来就持续垄断了分布式一致性算法Paxos这个名词几乎等同于分布式一致性, 很多分布式一致性算法都由Paxos演变而来
- 分布式算法 - Raft算法
- Paxos是出了名的难懂而Raft正是为了探索一种更易于理解的一致性算法而产生的。它的首要设计目的就是易于理解所以在选主的冲突处理等方式上它都选择了非常简单明了的解决方案
- 分布式算法 - ZAB算法
- ZAB 协议全称Zookeeper Atomic BroadcastZookeeper 原子广播协议), 它应该是所有一致性协议中生产环境中应用最多的了。为什么呢?因为他是为 Zookeeper 设计的分布式一致性协议!
#### 谈谈你对一致性hash算法的理解
判定哈希算法好坏的四个定义:
- `平衡性(Balance)`: 平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去,这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。
- `单调性(Monotonicity)`: 单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中,又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到原有的或者新的缓冲中去,而不会被映射到旧的缓冲集合中的其他缓冲区。
- `分散性(Spread)`: 在分布式环境中,终端有可能看不到所有的缓冲,而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时,由于不同终端所见的缓冲范围有可能不同,从而导致哈希的结果不一致,最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的,因为它导致相同内容被存储到不同缓冲中去,降低了系统存储的效率。分散性的定义就是上述情况发生的严重程度。好的哈希算法应能够尽量避免不一致的情况发生,也就是尽量降低分散性。
- `负载(Load)`: 负载问题实际上是从另一个角度看待分散性问题。既然不同的终端可能将相同的内容映射到不同的缓冲区中,那么对于一个特定的缓冲区而言,也可能被不同的用户映射为不同 的内容。与分散性一样,这种情况也是应当避免的,因此好的哈希算法应能够尽量降低缓冲的负荷。
![img](https://b2files.173114.xyz/blogimg/2025/03/49c24aaf787351e522ca62bf136c0f12.jpg)
#### 什么是Paxos算法 如何实现的?
Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性算法使其获得2013年图灵奖。
- **三个角色** 可以理解为人大代表(Proposer)在人大向其它代表(Acceptors)提案,通过后让老百姓(Learner)落实
Paxos将系统中的角色分为`提议者 (Proposer)``决策者 (Acceptor)`,和`最终决策学习者 (Learner)`:
1. `Proposer`: 提出提案 (Proposal)。Proposal信息包括提案编号 (Proposal ID) 和提议的值 (Value)。
2. `Acceptor`: 参与决策回应Proposers的提案。收到Proposal后可以接受提案若Proposal获得多数Acceptors的接受则称该Proposal被批准。
3. `Learner`: 不参与决策从Proposers/Acceptors学习最新达成一致的提案(Value)。
在多副本状态机中每个副本同时具有Proposer、Acceptor、Learner三种角色。
![img](https://pdai.tech/images/alg/alg-dst-paxos-1.jpg)
- **基于消息传递的3个阶段**
![img](https://pdai.tech/images/alg/alg-dst-paxos-2.jpg)
1. 第一阶段: Prepare阶段
Proposer向Acceptors发出Prepare请求Acceptors针对收到的Prepare请求进行Promise承诺。
1. `Prepare`: Proposer生成全局唯一且递增的Proposal ID (可使用时间戳加Server ID)向所有Acceptors发送Prepare请求这里无需携带提案内容只携带Proposal ID即可。
2. ```
Promise
```
: Acceptors收到Prepare请求后做出“两个承诺一个应答”。
1. 承诺1: 不再接受Proposal ID小于等于(注意: 这里是<= )当前请求的Prepare请求;
2. 承诺2: 不再接受Proposal ID小于(注意: 这里是< )当前请求的Propose请求;
3. 应答: 不违背以前作出的承诺下回复已经Accept过的提案中Proposal ID最大的那个提案的Value和Proposal ID没有则返回空值。
2. 第二阶段: Accept阶段
; Proposer收到多数Acceptors承诺的Promise后向Acceptors发出Propose请求Acceptors针对收到的Propose请求进行Accept处理。
1. `Propose`: Proposer 收到多数Acceptors的Promise应答后从应答中选择Proposal ID最大的提案的Value作为本次要发起的提案。如果所有应答的提案Value均为空值则可以自己随意决定提案Value。然后携带当前Proposal ID向所有Acceptors发送Propose请求。
2. `Accept`: Acceptor收到Propose请求后在不违背自己之前作出的承诺下接受并持久化当前Proposal ID和提案Value。
3. **第三阶段: Learn阶段**; Proposer在收到多数Acceptors的Accept之后标志着本次Accept成功决议形成将形成的决议发送给所有Learners。
#### 什么是Raft算法
**不同于Paxos算法直接从分布式一致性问题出发推导出来Raft算法则是从多副本状态机的角度提出**。Raft实现了和Paxos相同的功能它将一致性分解为多个子问题: Leader选举(Leader election)、日志同步(Log replication)、安全性(Safety)、日志压缩(Log compaction)、成员变更(Membership change)等。同时,**Raft算法使用了更强的假设来减少了需要考虑的状态使之变的易于理解和实现**。
- **三个角色**
Raft将系统中的角色分为`领导者(Leader)`、`跟从者(Follower)`和`候选人(Candidate)`:
1. `Leader`: 接受客户端请求并向Follower同步请求日志当日志同步到大多数节点上后告诉Follower提交日志。
2. `Follower`: 接受并持久化Leader同步的日志在Leader告之日志可以提交之后提交日志。
3. `Candidate`: Leader选举过程中的临时角色。
![img](https://pdai.tech/images/alg/alg-dst-raft-1.jpg)
Raft要求系统在任意时刻最多只有一个Leader正常工作期间只有Leader和Followers。
- **以子问题Leader选举为例**?
Raft 使用心跳(heartbeat)触发Leader选举。当服务器启动时初始化为Follower。Leader向所有Followers周期性发送heartbeat。如果Follower在选举超时时间内没有收到Leader的heartbeat就会等待一段随机的时间后发起一次Leader选举。
Follower将其当前term加一然后转换为Candidate。它首先给自己投票并且给集群中的其他服务器发送 RequestVote RPC (RPC细节参见八、Raft算法总结)。结果有以下三种情况:
- 赢得了多数的选票成功选举为Leader
- 收到了Leader的消息表示有其它服务器已经抢先当选了Leader
- 没有服务器赢得多数的选票Leader选举失败等待选举时间超时后发起下一次选举。
![img](https://b2files.173114.xyz/blogimg/2025/03/a9408793acc22b2902872c8ce9a58752.jpg)
选举出Leader后Leader通过定期向所有Followers发送心跳信息维持其统治。若Follower一段时间未收到Leader的心跳则认为Leader可能已经挂了再次发起Leader选举过程。
### 13.2 全局唯一ID
#### 全局唯一ID有哪些实现方案
常见的分布式ID生成方式大致分类的话可以分为两类
1. **一种是类DB型的**,根据设置不同起始值和步长来实现趋势递增,需要考虑服务的容错性和可用性;
2. **另一种是类snowflake型**这种就是将64位划分为不同的段每段代表不同的涵义基本就是时间戳、机器ID和序列数。这种方案就是需要考虑时钟回拨的问题以及做一些 buffer的缓冲设计提高性能。
#### 数据库方式实现方案?有什么缺陷?
- **MySQL为例**
我们将分布式系统中数据库的同一个业务表的自增ID设计成不一样的起始值然后设置固定的步长步长的值即为分库的数量或分表的数量。
以MySQL举例利用给字段设置`auto_increment_increment`和`auto_increment_offset`来保证ID自增。
1. `auto_increment_offset`表示自增长字段从那个数开始他的取值范围是1 .. 65535。
2. `auto_increment_increment`表示自增长字段每次递增的量其默认值是1取值范围是1 .. 65535。
缺点也很明显,首先它**强依赖DB**当DB异常时整个系统不可用。虽然配置主从复制可以尽可能的增加可用性但是**数据一致性在特殊情况下难以保证**。主从切换时的不一致可能会导致重复发号。还有就是**ID发号性能瓶颈限制在单台MySQL的读写性能**。
- **使用redis实现**
Redis实现分布式唯一ID主要是通过提供像 `INCR` 和 `INCRBY` 这样的自增原子命令由于Redis自身的单线程的特点所以能保证生成的 ID 肯定是唯一有序的。
但是单机存在性能瓶颈,无法满足高并发的业务需求,所以可以采用集群的方式来实现。集群的方式又会涉及到和数据库集群同样的问题,所以也需要设置分段和步长来实现。
为了避免长期自增后数字过大可以通过与当前时间戳组合起来使用,另外为了保证并发和业务多线程的问题可以采用 Redis + Lua的方式进行编码保证安全。
Redis 实现分布式全局唯一ID它的性能比较高生成的数据是有序的对排序业务有利但是同样它依赖于redis**需要系统引进redis组件增加了系统的配置复杂性**。
当然现在Redis的使用性很普遍所以如果其他业务已经引进了Redis集群则可以资源利用考虑使用Redis来实现。
#### 雪花算法如何实现的?
Snowflake雪花算法是由Twitter开源的分布式ID生成算法以划分命名空间的方式将 64-bit位分割成多个部分每个部分代表不同的含义。而 Java中64bit的整数是Long类型所以在 Java 中 SnowFlake 算法生成的 ID 就是 long 来存储的。
- **第1位**占用1bit其值始终是0可看做是符号位不使用。
- **第2位**开始的41位是时间戳41-bit位可表示2^41个数每个数代表毫秒那么雪花算法可用的时间年限是`(1L<<41)/(1000L360024*365)`=69 年的时间。
- **中间的10-bit位**可表示机器数即2^10 = 1024台机器但是一般情况下我们不会部署这么台机器。如果我们对IDC互联网数据中心有需求还可以将 10-bit 分 5-bit 给 IDC分5-bit给工作机器。这样就可以表示32个IDC每个IDC下可以有32台机器具体的划分可以根据自身需求定义。
- **最后12-bit位**是自增序列可表示2^12 = 4096个数。
这样的划分之后相当于**在一毫秒一个数据中心的一台机器上可产生4096个有序的不重复的ID**。但是我们 IDC 和机器数肯定不止一个所以毫秒内能生成的有序ID数是翻倍的。
![img](https://b2files.173114.xyz/blogimg/2025/03/f229cc88350eba111e5391a1222afdb2.png)
#### 雪花算法有什么问题?有哪些解决思路?
- **有哪些问题**
1. 时钟回拨问题;
2. 趋势递增,而不是绝对递增;
3. 不能在一台服务器上部署多个分布式ID服务
- **如何解决时钟回拨**
以百度的UidGenerator为例CachedUidGenerator方式主要通过采取如下一些措施和方案规避了时钟回拨问题和增强唯一性
1. **自增列**UidGenerator的workerId在实例每次重启时初始化且就是数据库的自增ID从而完美的实现每个实例获取到的workerId不会有任何冲突。
2. **RingBuffer**UidGenerator不再在每次取ID时都实时计算分布式ID而是利用RingBuffer数据结构预先生成若干个分布式ID并保存。
3. **时间递增**传统的雪花算法实现都是通过System.currentTimeMillis()来获取时间并与上一次时间进行比较这样的实现严重依赖服务器的时间。而UidGenerator的时间类型是AtomicLong且通过incrementAndGet()方法获取下一次的时间,从而脱离了对服务器时间的依赖,也就不会有时钟回拨的问题
这种做法也有一个小问题即分布式ID中的时间信息可能并不是这个ID真正产生的时间点例如获取的某分布式ID的值为3200169789968523265它的反解析结果为{"timestamp":"2019-05-02 23:26:39","workerId":"21","sequence":"1"}但是这个ID可能并不是在"2019-05-02 23:26:39"这个时间产生的)。
### 13.3 分布式锁
#### 有哪些方案实现分布式锁?
综合讲讲方案:
- 使用场景
- 需要保证一个方法在同一时间内只能被同一个线程执行
- 实现方式:
- 加锁和解锁
- 方案,考虑因素(性能,稳定,实现难度,死锁)
- 基于数据库做分布式锁--乐观锁(基于版本号)和悲观锁(基于排它锁)
- 基于 redis 做分布式锁:setnx(key,当前时间+过期时间)和Redlock机制
- 基于 zookeeper 做分布式锁:临时有序节点来实现的分布式锁,Curator
- 基于 Consul 做分布式锁
#### 基于数据库如何实现分布式锁?有什么缺陷?
- **基于数据库表**(锁表,很少使用)
最简单的方式可能就是直接创建一张锁表,然后通过操作该表中的数据来实现了。当我们想要获得锁的时候,就可以在该表中增加一条记录,想要释放锁的时候就删除这条记录。
为了更好的演示,我们先创建一张数据库表,参考如下:
```sql
CREATE TABLE database_lock (
`id` BIGINT NOT NULL AUTO_INCREMENT,
`resource` int NOT NULL COMMENT '锁定的资源',
`description` varchar(1024) NOT NULL DEFAULT "" COMMENT '描述',
PRIMARY KEY (id),
UNIQUE KEY uiq_idx_resource (resource)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='数据库分布式锁表';
```
当我们想要获得锁时,可以插入一条数据:
```sql
INSERT INTO database_lock(resource, description) VALUES (1, 'lock');
```
当需要释放锁的时,可以删除这条数据:
```sql
DELETE FROM database_lock WHERE resource=1;
```
- **基于悲观锁**
**悲观锁实现思路**
1. 在对任意记录进行修改前先尝试为该记录加上排他锁exclusive locking
2. 如果加锁失败,说明该记录正在被修改,那么当前查询可能要等待或者抛出异常。 具体响应方式由开发者根据实际需要决定。
3. 如果成功加锁,那么就可以对记录做修改,事务完成后就会解锁了。
4. 其间如果有其他对该记录做修改或加排他锁的操作,都会等待我们解锁或直接抛出异常。
**以MySQL InnoDB中使用悲观锁为例**
要使用悲观锁我们必须关闭mysql数据库的自动提交属性因为MySQL默认使用autocommit模式也就是说当你执行一个更新操作后MySQL会立刻将结果进行提交。set autocommit=0;
```sql
//0.开始事务
begin;/begin work;/start transaction; (三者选一就可以)
//1.查询出商品信息
select status from t_goods where id=1 for update;
//2.根据商品信息生成订单
insert into t_orders (id,goods_id) values (null,1);
//3.修改商品status为2
update t_goods set status=2;
//4.提交事务
commit;/commit work;
```
上面的查询语句中,我们使用了`selectfor update`的方式这样就通过开启排他锁的方式实现了悲观锁。此时在t_goods表中id为1的 那条数据就被我们锁定了,其它的事务必须等本次事务提交之后才能执行。这样我们可以保证当前的数据不会被其它事务修改。
上面我们提到,使用`selectfor update`会把数据给锁住不过我们需要注意一些锁的级别MySQL InnoDB默认行级锁。行级锁都是基于索引的如果一条SQL语句用不到索引是不会使用行级锁的会使用表级锁把整张表锁住这点需要注意。
- **基于乐观锁**
乐观并发控制又名“乐观锁”Optimistic Concurrency Control缩写“OCC”是一种并发控制的方法。它假设多用户并发的事务在处理时不会彼此互相影响各事务能够在不产生锁的情况下处理各自影响的那部分数据。在提交数据更新之前每个事务会先检查在该事务读取数据后有没有其他事务又修改了该数据。如果其他事务有更新的话正在提交的事务会进行回滚。
**以使用版本号实现乐观锁为例?**
使用版本号时,可以在数据初始化时指定一个版本号,每次对数据的更新操作都对版本号执行+1操作。并判断当前版本号是不是该数据的最新的版本号。
```sql
1.查询出商品信息
select (status,status,version) from t_goods where id=#{id}
2.根据商品信息生成订单
3.修改商品status为2
update t_goods
set status=2,version=version+1
where id=#{id} and version=#{version};
```
需要注意的是,乐观锁机制往往基于系统中数据存储逻辑,因此也具备一定的局限性。由于乐观锁机制是在我们的系统中实现的,对于来自外部系统的用户数据更新操作不受我们系统的控制,因此可能会造成脏数据被更新到数据库中。在系统设计阶段,我们应该充分考虑到这些情况,并进行相应的调整(如将乐观锁策略在数据库存储过程中实现,对外只开放基于此存储过程的数据更新途径,而不是将数据库表直接对外公开)。
- **缺陷**
对数据库依赖,开销问题,行锁变表锁问题,无法解决数据库单点和可重入的问题。
#### 基于redis如何实现分布式锁有什么缺陷
- **最基本的Jedis方案**
**加锁** set NX PX + 重试 + 重试间隔
向Redis发起如下命令: SET productId:lock 0xx9p03001 NX PX 30000 其中,"productId"由自己定义可以是与本次业务有关的id"0xx9p03001"是一串随机值,必须保证全局唯一(原因在后文中会提到)“NX"指的是当且仅当key(也就是案例中的"productId:lock”)在Redis中不存在时返回执行成功否则执行失败。"PX 30000"指的是在30秒后key将被自动删除。执行命令后返回成功表明服务成功的获得了锁。
```java
@Override
public boolean lock(String key, long expire, int retryTimes, long retryDuration) {
// use JedisCommands instead of setIfAbsense
boolean result = setRedis(key, expire);
// retry if needed
while ((!result) && retryTimes-- > 0) {
try {
log.debug("lock failed, retrying..." + retryTimes);
Thread.sleep(retryDuration);
} catch (Exception e) {
return false;
}
// use JedisCommands instead of setIfAbsense
result = setRedis(key, expire);
}
return result;
}
private boolean setRedis(String key, long expire) {
try {
RedisCallback<String> redisCallback = connection -> {
JedisCommands commands = (JedisCommands) connection.getNativeConnection();
String uuid = SnowIDUtil.uniqueStr();
lockFlag.set(uuid);
return commands.set(key, uuid, NX, PX, expire); // 看这里
};
String result = redisTemplate.execute(redisCallback);
return !StringUtil.isEmpty(result);
} catch (Exception e) {
log.error("set redis occurred an exception", e);
}
return false;
}
```
**解锁** 采用lua脚本 在删除key之前一定要判断服务A持有的value与Redis内存储的value是否一致。如果贸然使用服务A持有的key来删除锁则会误将服务B的锁释放掉。
```lua
if redis.call("get", KEYS[1])==ARGV[1] then
return redis.call("del", KEYS[1])
else
return 0
end
```
- **基于RedLock实现分布式锁**
假设有两个服务A、B都希望获得锁有一个包含了5个redis master的Redis Cluster执行过程大致如下:
1. 客户端获取当前时间戳,单位: 毫秒
2. 服务A轮寻每个master节点尝试创建锁。(这里锁的过期时间比较短,一般就几十毫秒) RedLock算法会尝试在大多数节点上分别创建锁假如节点总数为n那么大多数节点指的是n/2+1。
3. 客户端计算成功建立完锁的时间,如果建锁时间小于超时时间,就可以判定锁创建成功。如果锁创建失败,则依次(遍历master节点)删除锁。
4. 只要有其它服务创建过分布式锁,那么当前服务就必须轮寻尝试获取锁。
- **基于Redisson实现分布式锁**
**过程**
1. 线程去获取锁,获取成功: 执行lua脚本保存数据到redis数据库。
2. 线程去获取锁,获取失败: 订阅了解锁消息然后再尝试获取锁获取成功后执行lua脚本保存数据到redis数据库。
**互斥**
如果这个时候客户端B来尝试加锁执行了同样的一段lua脚本。第一个if判断会执行“exists myLock”发现myLock这个锁key已经存在。接着第二个if判断判断myLock锁key的hash数据结构中是否包含客户端B的ID但明显没有那么客户端B会获取到pttl myLock返回的一个数字代表myLock这个锁key的剩余生存时间。此时客户端B会进入一个while循环不听的尝试加锁。
**watch dog自动延时机制**
客户端A加锁的锁key默认生存时间只有30秒如果超过了30秒客户端A还想一直持有这把锁怎么办其实只要客户端A一旦加锁成功就会启动一个watch dog看门狗它是一个后台线程会每隔10秒检查一下如果客户端A还持有锁key那么就会不断的延长锁key的生存时间。
**可重入**
每次lock会调用incrby每次unlock会减一。
- **方案比较**
1. 借助Redis实现分布式锁时有一个共同的缺陷: 当获取锁被决绝后,需要不断的循环,重新发送获取锁(创建key)的请求直到请求成功。这就造成空转浪费宝贵的CPU资源。
2. RedLock算法本身有争议并不能保证健壮性。
3. Redisson实现分布式锁时除了将key新增到某个指定的master节点外还需要由master自动异步的将key和value等数据同步至绑定的slave节点上。那么问题来了如果master没来得及同步数据突然发生宕机那么通过故障转移和主备切换slave节点被迅速升级为master节点新的客户端加锁成功旧的客户端的watch dog发现key存在误以为旧客户端仍然持有这把锁这就导致同时存在多个客户端持有同名锁的问题了。
#### 基于zookeeper如何实现分布式锁
说几个核心点:
- **顺序节点**
创建一个用于发号的节点“/test/lock”然后以它为父亲节点的前缀为“/test/lock/seq-”依次发号:
![img](https://b2files.173114.xyz/blogimg/2025/03/9808ad458e0d00dd4ca79cce13f94e06.png)
- **获得最小号得锁**
由于序号的递增性,可以规定排号最小的那个获得锁。所以,每个线程在尝试占用锁之前,首先判断自己是排号是不是当前最小,如果是,则获取锁。
- **节点监听机制**
每个线程抢占锁之前先抢号创建自己的ZNode。同样释放锁的时候就需要删除抢号的Znode。抢号成功后如果不是排号最小的节点就处于等待通知的状态。等谁的通知呢不需要其他人只需要等前一个Znode 的通知就可以了。当前一个Znode 删除的时候,就是轮到了自己占有锁的时候。第一个通知第二个、第二个通知第三个,击鼓传花似的依次向后。
### 13.4 分布式事务
#### 什么是ACID
一个事务有四个基本特性也就是我们常说的ACID
1. **Atomicity原子性**:事务是一个不可分割的整体,事务内所有操作要么全做成功,要么全失败。
2. **Consistency一致性**事务执行前后数据从一个状态到另一个状态必须是一致的A向B转账不能出现A扣了钱B却没收到
3. **Isolation隔离性** 多个并发事务之间相互隔离,不能互相干扰。
4. **Durability持久性**:事务完成后,对数据库的更改是永久保存的,不能回滚。
#### 分布式事务有哪些解决方案?
#### 什么是分布式的XA协议
XA协议是一个基于**数据库**的**分布式事务协议**,其分为两部分:**事务管理器**和**本地资源管理器**。事务管理器作为一个全局的调度者,负责对各个本地资源管理器统一号令提交或者回滚。`二阶提交协议2PC`和`三阶提交协议3PC`就是根据此协议衍生出来而来。主流的诸如Oracle、MySQL等数据库均已实现了XA接口。
XA接口是双向的系统接口在事务管理器Transaction Manager以及一个或多个资源管理器Resource Manager之间形成通信桥梁。也就是说在基于XA的一个事务中我们可以针对多个资源进行事务管理例如一个系统访问多个数据库或即访问数据库、又访问像消息中间件这样的资源。这样我们就能够实现在多个数据库和消息中间件直接实现全部提交、或全部取消的事务。**XA规范不是java的规范而是一种通用的规范**。
#### 什么是2PC
两段提交顾名思义就是要进行两个阶段的提交:
- 第一阶段,准备阶段(投票阶段);
- 第二阶段,提交阶段(执行阶段)。
![img](https://b2files.173114.xyz/blogimg/2025/03/880de5a3f1a4c689adc60d799dccf5ca.png)
下面还拿下单扣库存举例子简单描述一下两段提交2PC的原理
之前说过业务服务化SOA以后一个下单流程就会用到多个服务各个服务都无法保证调用的其他服务的成功与否这个时候就需要一个全局的角色**协调者**)对各个服务(**参与者**)进行协调。
![img](https://b2files.173114.xyz/blogimg/2025/03/c03c0f81f2d9a31d406f064ba43fea7b.png)
一个下单请求过来通过协调者给每一个参与者发送Prepare消息执行本地数据脚本但不提交事务。
如果协调者收到了参与者的失败消息或者超时,直接给每个参与者发送回滚(Rollback)消息否则发送提交Commit消息参与者根据协调者的指令执行提交或者回滚操作释放所有事务处理过程中被占用的资源显然2PC做到了所有操作要么全部成功、要么全部失败。
**两段提交2PC的缺点**
二阶段提交看似能够提供原子性的操作,但它存在着严重的缺陷:
- **网络抖动导致的数据不一致**第二阶段中协调者向参与者发送commit命令之后一旦此时发生网络抖动导致一部分参与者接收到了commit请求并执行可其他未接到commit请求的参与者无法执行事务提交。进而导致整个分布式系统出现了数据不一致。
- **超时导致的同步阻塞问题**2PC中的所有的参与者节点都为事务阻塞型当某一个参与者节点出现通信超时其余参与者都会被动阻塞占用资源不能释放。
- **单点故障的风险**由于严重的依赖协调者一旦协调者发生故障而此时参与者还都处于锁定资源的状态无法完成事务commit操作。虽然协调者出现故障后会重新选举一个协调者可无法解决因前一个协调者宕机导致的参与者处于阻塞状态的问题。
#### 什么是3PC?
三段提交3PC是对两段提交2PC的一种升级优化**3PC在2PC的第一阶段和第二阶段中插入一个准备阶段**。保证了在最后提交阶段之前各参与者节点的状态都一致。同时在协调者和参与者中都引入超时机制当参与者各种原因未收到协调者的commit请求后会对本地事务进行commit不会一直阻塞等待解决了2PC的单点故障问题但3PC还是没能从根本上解决数据一致性的问题。
![img](https://b2files.173114.xyz/blogimg/2025/03/511231d3fa725fc3b3ca1b45a1971231.png)
**3PC的三个阶段分别是CanCommit、PreCommit、DoCommit**
- **CanCommit**协调者向所有参与者发送CanCommit命令询问是否可以执行事务提交操作。如果全部响应YES则进入下一个阶段。
- **PreCommit**协调者向所有参与者发送PreCommit命令询问是否可以进行事务的预提交操作参与者接收到PreCommit请求后如参与者成功的执行了事务操作则返回Yes响应进入最终commit阶段。一旦参与者中有向协调者发送了No响应或因网络造成超时协调者没有接到参与者的响应协调者向所有参与者发送abort请求参与者接受abort命令执行事务的中断。
- **DoCommit**在前两个阶段中所有参与者的响应反馈均是YES后协调者向参与者发送DoCommit命令正式提交事务如协调者没有接收到参与者发送的ACK响应会向所有参与者发送abort请求命令执行事务的中断。
#### 什么是TCC
TCCTry-Confirm-Cancel又被称补偿事务TCC与2PC的思想很相似事务处理流程也很相似但**2PC是应用于在DB层面TCC则可以理解为在应用层面的2PC是需要我们编写业务逻辑来实现**。
TCC它的核心思想是"针对每个操作都要注册一个与其对应的确认Try和补偿Cancel"。
还拿下单扣库存解释下它的三个操作:
- **Try阶段**下单时通过Try操作去扣除库存预留资源。
- **Confirm阶段**:确认执行业务操作,在只预留的资源基础上,发起购买请求。
- **Cancel阶段**:只要涉及到的相关业务中,有一个业务方预留资源未成功,则取消所有业务资源的预留请求。
![img](https://b2files.173114.xyz/blogimg/2025/03/837acff3eaa3defe4beecb409f9823d5.png)
**TCC的缺点**
- 应用侵入性强TCC由于基于在业务层面至使每个操作都需要有try、confirm、cancel三个接口。
- 开发难度大代码开发量很大要保证数据一致性confirm和cancel接口还必须实现幂等性。
#### 什么是SAGA方案
### 13.5 分布式缓存
#### 分布式系统中常用的缓存方案有哪些?
- 客户端缓存页面和浏览器缓存APP缓存H5缓存localStorage和sessionStorage
- CDN缓存
- 内存存储:数据的缓存
- 内容分发:负载均衡
- nginx缓存本地缓存外部缓存
- 数据库缓存持久层缓存mybatishibernate多级缓存Mysql查询缓存
- 操作系统缓存Page CacheBuffer Cache
#### 分布式系统缓存的更新模式?
- **Cache Aside模式**
1. 读取失效cache数据没有命中查询DB成功后把数据写入缓存
2. 读取命中读取cache数据
3. 更新把数据更新到DB失效缓存
![img](https://b2files.173114.xyz/blogimg/2025/03/60bd5f7146f8841dddd4489f621fa6bd.png)
```java
// Read
data = cache.get(id);
if (data == null) {
data = db.get(id);
cache.put(id, data);
}
// Write
db.save(data);
cache.invalid(data.id);
```
- **Read/Write Through模式**
缓存代理了DB读取、写入的逻辑可以把缓存看成唯一的存储。
![img](https://b2files.173114.xyz/blogimg/2025/03/c49a36d14b251d4620f1954eaa82a3a9.png)
- Write Back模式
这种模式下所有的操作都走缓存,缓存里的数据再通过**异步的方式同步**到数据库里面。所以系统的写性能能够大大提升了。
![img](https://b2files.173114.xyz/blogimg/2025/03/684d3a1c52c8d3817b769a96c772b7de.png)
#### 分布式系统缓存淘汰策略
缓存淘汰,又称为缓存逐出(cache replacement algorithms或者cache replacement policies)是指在存储空间不足的情况下缓存系统主动释放一些缓存对象获取更多的存储空间。一般LRU用的比较多可以重点了解一下。
- **FIFO** 先进先出First In First Out是一种简单的淘汰策略缓存对象以队列的形式存在如果空间不足就释放队列头部的先缓存对象。一般用链表实现。
- **LRU** 最近最久未使用Least Recently Used这种策略是根据访问的时间先后来进行淘汰的如果空间不足会释放最久没有访问的对象上次访问时间最早的对象。比较常见的是通过优先队列来实现。
- **LFU** 最近最少使用Least Frequently Used这种策略根据最近访问的频率来进行淘汰如果空间不足会释放最近访问频率最低的对象。这个算法也是用优先队列实现的比较常见。
更进一步的谈谈Redis缓存淘汰的8个模式可以参考上文Redis问答部分。
### 13.6 分布式任务
#### Java中定时任务是有些如何演化的
这里主要讲讲Java的定时任务是如何一步步发展而来的
- **Timer**
```java
new Timer("testTimer").schedule(new TimerTask() {
@Override
public void run() {
System.out.println("TimerTask");
}
}, 1000,2000);
```
解释1000ms是延迟启动时间2000ms是定时任务周期每2s执行一次
- **ScheduledExecutorService**
```java
ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(10);
scheduledExecutorService.scheduleAtFixedRate(new Runnable() {
@Override
public void run() {
System.out.println("ScheduledTask");
}
}, 1, 1, TimeUnit.SECONDS);
```
解释延迟1s启动每隔1s执行一次是前一个任务开始时就开始计算时间间隔但是会等上一个任务结束在开始下一个
- **SpringTask**
```java
@Service
public class SpringTask {
private static final Logger log = LoggerFactory.getLogger(SpringTask.class);
@Scheduled(cron = "1/5 * * * * *")
public void task1(){
log.info("springtask 定时任务!");
}
@Scheduled(initialDelay = 1000,fixedRate = 1*1000)
public void task2(){
log.info("springtask 定时任务!");
}
}
```
解释:
1. task1是每隔5s执行一次{秒} {分} {时} {日期}
2. task2是延迟1s,每隔1S执行一次
- **Quartz**
quartz 是一个开源的分布式调度库它基于java实现。
![img](https://b2files.173114.xyz/blogimg/2025/03/bbf92ea9f0a0264c4afd7d3cfba837f8.png)
1. Job 表示一个任务,要执行的具体内容。
2. JobDetail 表示一个具体的可执行的调度程序Job 是这个可执行程调度程序所要执行的内容,另外 JobDetail 还包含了这个任务调度的方案和策略。
3. Trigger 代表一个调度参数的配置,什么时候去调。
4. Scheduler 代表一个调度容器,一个调度容器中可以注册多个 JobDetail 和 Trigger。当 Trigger 与 JobDetail 组合,就可以被 Scheduler 容器调度了。
```java
//创建调度器Schedule
SchedulerFactory schedulerFactory = new StdSchedulerFactory();
Scheduler scheduler = schedulerFactory.getScheduler();
//创建JobDetail实例并与HelloWordlJob类绑定
JobDetail jobDetail = JobBuilder.newJob(HelloWorldJob.class).withIdentity("job1", "jobGroup1")
.build();
//创建触发器Trigger实例(立即执行每隔1S执行一次)
Trigger trigger = TriggerBuilder.newTrigger()
.withIdentity("trigger1", "triggerGroup1")
.startNow()
.withSchedule(SimpleScheduleBuilder.simpleSchedule().withIntervalInSeconds(1).repeatForever())
.build();
//开始执行
scheduler.scheduleJob(jobDetail, trigger);
scheduler.start();
```
#### 常见的JOB实现方案
基于上面Java任务演化出分布式Job方案
- **quartz**
JDBCJobStore 支持集群所有触发器和job都存储在数据库中无论服务器停止和重启都可以恢复任务同时支持事务处理。
![img](https://b2files.173114.xyz/blogimg/2025/03/dab68a8b61e0f10b1a717018d2e8f183.png)
- **elastic-job**
elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 。
Elastic-Job-Lite定位为轻量级无中心化解决方案使用jar包的形式提供分布式任务的协调服务。
Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案,额外提供资源治理、应用分发以及进程隔离等服务
![img](https://b2files.173114.xyz/blogimg/2025/03/7bf3503675ede24bbadcbb46bb67a50f.jpg)
亮点:
1. 基于quartz 定时任务框架为基础的因此具备quartz的大部分功能
2. 使用zookeeper做协调调度中心更加轻量级
3. 支持任务的分片
4. 支持弹性扩容 可以水平扩展 当任务再次运行时,会检查当前的服务器数量,重新分片,分片结束之后才会继续执行任务
5. 失效转移容错处理当一台调度服务器宕机或者跟zookeeper断开连接之后会立即停止作业然后再去寻找其他空闲的调度服务器来运行剩余的任务
6. 提供运维界面,可以管理作业和注册中心。
- **xxl-job**
个轻量级分布式任务调度框架 ,主要分为 调度中心和执行器两部分 调度中心在启动初始化的时候会默认生成执行器的RPC代理
对象(http协议调用) 执行器项目启动之后, 调度中心在触发定时器之后通过jobHandle 来调用执行器项目里面的代码核心功能和elastic-job差不多
![img](https://b2files.173114.xyz/blogimg/2025/03/b2f0340ac1300291df2a2a3e227eee73.png)
### 13.7 分布式会话
#### Cookie和Session有什么区别
cookie和session的方案虽然分别属于客户端和服务端但是服务端的session的实现对客户端的cookie有依赖关系的服务端执行session机制时候会生成session的id值这个id值会发送给客户端客户端每次请求都会把这个id值放到http请求的头部发送给服务端而这个id值在客户端会保存下来保存的容器就是cookie因此当我们完全禁掉浏览器的cookie的时候服务端的session也会不能正常使用。
#### 谈谈会话技术的发展?
- 单机 - Session + Cookie
- 多机器
- 在负载均衡侧 - Session 粘滞
- Session数据同步
- 多机器,集群 - session集中管理比如redis目前方案上用的最多的是SpringSession早前也有用tomcat集成方式的。
- 无状态token比如JWT
#### 分布式会话有哪些解决方案?
- Session Stick
- Session Replication
- Session 数据集中存储
- Cookie Based
- JWT
#### 什么是Session Stick?
方案即将客户端的每次请求都转发至同一台服务器这就需要负载均衡器能够根据每次请求的会话标识SessionId来进行请求转发如下图所示。
![img](https://b2files.173114.xyz/blogimg/2025/03/7423844b4466cf463507144a4d13053e.png)
这种方案实现比较简单对于Web服务器来说和单机的情况一样。但是可能会带来如下问题
- 如果有一台服务器宕机或者重启,那么这台机器上的会话数据会全部丢失。
- 会话标识是应用层信息那么负载均衡要将同一个会话的请求都保存到同一个Web服务器上的话就需要进行应用层第7层的解析这个开销比第4层大。
- 负载均衡器将变成一个有状态的节点要将会话保存到具体Web服务器的映射。和无状态节点相比内存消耗更大容灾方面也会更麻烦。
PS为什么这种方案到目前还有很多项目使用呢因为不需要在项目代码侧改动而是只需要在负载均衡侧改动。
#### 什么是Session Replication
Session Replication 的方案则不对负载均衡器做更改而是在Web服务器之间增加了会话数据同步的功能各个服务器之间通过同步保证不同Web服务器之间的Session数据的一致性如下图所示。
![img](https://b2files.173114.xyz/blogimg/2025/03/48e3428a976de031b05217dc5000d2b6.png)
Session Replication 方案对负载均衡器不再有要求,但是同样会带来以下问题:
- 同步Session数据会造成额外的网络带宽的开销只要Session数据有变化就需要将新产生的Session数据同步到其他服务器上服务器数量越多同步带来的网络带宽开销也就越大。
- 每台Web服务器都需要保存全部的Session数据如果整个集群的Session数量太多的话则对于每台机器用于保存Session数据的占用会很严重。
#### 什么是Session 数据集中存储?
Session 数据集中存储方案则是将集群中的所有Session集中存储起来Web服务器本身则并不存储Session数据不同的Web服务器从同样的地方来获取Session如下图所示。
![img](https://b2files.173114.xyz/blogimg/2025/03/ebe0b06018eb7abaea345a4bfbf3dbdc.png)
相对于Session Replication方案此方案的Session数据将不保存在本机并且Web服务器之间也没有了Session数据的复制但是该方案存在的问题在于
- 读写Session数据引入了网络操作这相对于本机的数据读取来说问题就在于存在时延和不稳定性但是通信发生在内网则问题不大。
- 如果集中存储Session的机器或集群出现问题则会影响应用。
#### 什么是Cookie Based Session?
Cookie Based 方案是将**Session数据放在Cookie里**访问Web服务器的时候再由Web服务器生成对应的Session数据如下图所示。
![img](https://b2files.173114.xyz/blogimg/2025/03/24b10761e6486f4d3f0272d01aefa44f.png)
但是Cookie Based 方案依然存在不足:
- Cookie长度的限制。这会导致Session长度的限制。
- 安全性。Seesion数据本来是服务端数据却被保存在了客户端即使可以加密但是依然存在不安全性。
- 带宽消耗。这里不是指内部Web服务器之间的宽带消耗而是数据中心的整体外部带宽的消耗。
- 性能影响。每次HTTP请求和响应都带有Seesion数据对Web服务器来说在同样的处理情况下响应的结果输出越少支持的并发就会越高。
#### 什么是JWT使用JWT的流程对比传统的会话有啥区别
JSON Web Token一般用它来替换掉Session实现数据共享。
使用基于 Token 的身份验证方法,在服务端不需要存储用户的登录记录。大概的流程是这样的:
- 1、客户端通过用户名和密码登录服务器
- 2、服务端对客户端身份进行验证
- 3、服务端对该用户生成Token返回给客户端
- 4、客户端将Token保存到本地浏览器一般保存到cookie中
- 5、客户端发起请求需要携带该Token
- 6、服务端收到请求后首先验证Token之后返回数据。
#### 什么是JWT使用JWT的流程对比传统的会话有啥区别
JSON Web Token一般用它来替换掉Session实现数据共享。
使用基于 Token 的身份验证方法,在服务端不需要存储用户的登录记录。大概的流程是这样的:
- 1、客户端通过用户名和密码登录服务器
- 2、服务端对客户端身份进行验证
- 3、服务端对该用户生成Token返回给客户端
- 4、客户端将Token保存到本地浏览器一般保存到cookie中
- 5、客户端发起请求需要携带该Token
- 6、服务端收到请求后首先验证Token之后返回数据。
![img](https://b2files.173114.xyz/blogimg/2025/03/12770d808a8c2449c4094ec155481379.png)
如上图为Token实现方式浏览器第一次访问服务器根据传过来的唯一标识userId服务端会通过一些算法如常用的HMAC-SHA256算法然后加一个密钥生成一个token然后通过BASE64编码一下之后将这个token发送给客户端客户端将token保存起来下次请求时带着token服务器收到请求后然后会用相同的算法和密钥去验证token如果通过执行业务操作不通过返回不通过信息。
可以对比下图session实现方式流程大致一致。
![img](https://b2files.173114.xyz/blogimg/2025/03/e28f76c4d7edc4f0692a63cb2c816a78.png)
**优点**
- 无状态、可扩展 在客户端存储的Token是无状态的并且能够被扩展。基于这种无状态和不存储Session信息负载均衡器能够将用户信息从一个服务传到其他服务器上。
- 安全请求中发送token而不再是发送cookie能够防止CSRF(跨站请求伪造)。
- 可提供接口给第三方服务使用token时可以提供可选的权限给第三方应用程序。
- 多平台跨域
对应用程序和服务进行扩展的时候,需要介入各种各种的设备和应用程序。 假如我们的后端api服务器a.com只提供数据而静态资源则存放在cdn 服务器b.com上。当我们从a.com请求b.com下面的资源时由于触发浏览器的同源策略限制而被阻止。
**我们通过CORS跨域资源共享标准和token来解决资源共享和安全问题**。
举个例子我们可以设置b.com的响应首部字段为
```bash
// 第一行指定了允许访问该资源的外域 URI。
Access-Control-Allow-Origin: http://a.com
// 第二行指明了实际请求中允许携带的首部字段这里加入了Authorization用来存放token。
Access-Control-Allow-Headers: Authorization, X-Requested-With, Content-Type, Accept
// 第三行用于预检请求的响应。其指明了实际请求所允许使用的 HTTP 方法。
Access-Control-Allow-Methods: GET, POST, PUT,DELETE
// 然后用户从a.com携带有一个通过了验证的token访问B域名数据和资源就能够在任何域上被请求到。
```
### 13.8 常见系统设计
#### 如何设计一个秒杀系统?
- **秒杀特点及思路?**
短时间内,大量用户涌入,集中读和写有限的库存。
1. 尽量将请求拦截在系统上游(越上游越好);
2. 读多写少的多使用缓存(缓存抗读压力);
- **从分层角度理解?**
层层拦截,将请求尽量拦截在系统上游,避免将锁冲落到数据库上。
- 第一层:客户端优化
产品层面,用户点击“查询”或者“购票”后,按钮置灰,禁止用户重复提交请求; JS层面限制用户在x秒之内只能提交一次请求比如微信摇一摇抢红包。 基本可以拦截80%的请求。
- 第二层站点层面的请求拦截nginx层写流控模块
怎么防止程序员写for循环调用有去重依据么? IP? cookie-id? …想复杂了这类业务都需要登录用uid即可。在站点层面对uid进行请求计数和去重甚至不需要统一存储计数直接站点层内存存储这样计数会不准但最简单比如guava本地缓存。一个uid5秒只准透过1个请求这样又能拦住99%的for循环请求。 对于5s内的无效请求统一返回错误提示或错误页面。
这个方式拦住了写for循环发HTTP请求的程序员有些高端程序员黑客控制了10w个肉鸡手里有10w个uid同时发请求先不考虑实名制的问题小米抢手机不需要实名制这下怎么办站点层按照uid限流拦不住了。
- 第三层:服务层拦截
方案一:写请求放到队列中,每次只透有限的写请求到数据层,如果成功了再放下一批,直到库存不够,队列里的写请求全部返回“已售完”。
方案二:或采用漏斗机制,只放一倍的流量进来,多余的返回“已售完”,把写压力转换成读压力。 读请求用cacheredis单机可以抗10W QPS,用异步线程定时更新缓存里的库存值。
还有提示“模糊化”比如火车余票查询票剩了58张还是26张你真的关注么其实我们只关心有票和无票。
- 第四层:数据库层
浏览器拦截了80%站点层拦截了99.9%并做了页面缓存,服务层又做了写请求队列与数据缓存,每次透到数据库层的请求都是可控的。 db基本就没什么压力了通过自身锁机制来控制避免出现超卖。
- **从架构角度理解?**
1. 高性能
1. 动静分离
秒杀过程中你是不需要刷新整个页面的,只有时间在不停跳动。这是因为一般都会对大流量的秒杀系统做系统的静态化改造,即数据意义上的动静分离。动静分离三步走:
1. 数据拆分;
2. 静态缓存;
3. 数据整合。
2. **热点优化** 数据的热点优化与动静分离是不一样的,热点优化是基于二八原则对数据进行了纵向拆分,以便进行针对性地处理。热点识别和隔离不仅对“秒杀”这个场景有意义,对其他的高性能分布式系统也非常有参考价值。
3. 系统优化
1. 减少序列化:减少 Java 中的序列化操作可以很好的提升系统性能。序列化大部分是在 RPC 阶段发生,因此应该尽量减少 RPC 调用,一种可行的方案是将多个关联性较强的应用进行 “合并部署”,从而减少不同应用之间的 RPC 调用(微服务设计规范)
2. 直接输出流数据只要涉及字符串的I/O操作无论是磁盘 I/O 还是网络 I/O都比较耗费 CPU 资源,因为字符需要转换成字节,而这个转换又必须查表编码。所以对于常用数据,比如静态字符串,推荐提前编码成字节并缓存,具体到代码层面就是通过 OutputStream() 类函数从而减少数据的编码转换另外热点方法toString()不要直接调用ReflectionToString实现推荐直接硬编码并且只打印DO的基础要素和核心要素
3. 裁剪日志异常堆栈:无论是外部系统异常还是应用本身异常,都会有堆栈打出,超大流量下,频繁的输出完整堆栈,只会加剧系统当前负载。可以通过日志配置文件控制异常堆栈输出的深度
4. 去组件框架:极致优化要求下,可以去掉一些组件框架,比如去掉传统的 MVC 框架,直接使用 Servlet 处理请求。这样可以绕过一大堆复杂且用处不大的处理逻辑,节省毫秒级的时间,当然,需要合理评估你对框架的依赖程度
2. 高可用
1. 流量削峰
1. 答题:答题目前已经使用的非常普遍了,本质是通过在入口层削减流量,从而让系统更好地支撑瞬时峰值。
2. MQ 最为常见的削峰方案是使用消息队列,通过把同步的直接调用转换成异步的间接推送缓冲瞬时流量。
3. 过滤
2. **Plan B** 为了保证系统的高可用,必须设计一个 Plan B 方案来进行兜底。
#### 接口设计要考虑哪些方面?
讲讲几个要点:
- 接口版本化
- 命名规范
- 请求参数的规范性及处理的统一性
- 返回数据类型、返回码及信息提示的规范性
- 接口安全验证及权限的控制
- 请求接口日志的记录
- 良好的接口说明文档和测试程序
#### 什么是接口幂等?如何保证接口的幂等性?
接口的幂等性实际上就是接口可重复调用,在调用方多次调用的情况下,接口最终得到的结果是一致的。有些接口可以天然的实现幂等性,比如查询接口,对于查询来说,你查询一次和两次,对于系统来说,没有任何影响,查出的结果也是一样。
除了查询功能具有天然的幂等性之外,增加、更新、删除都要保证幂等性。那么如何来保证幂等性呢?
- **全局唯一ID**
如果使用全局唯一ID就是根据业务的操作和内容生成一个全局ID在执行操作前先根据这个全局唯一ID是否存在来判断这个操作是否已经执行。如果不存在则把全局ID存储到存储系统中比如数据库、redis等。如果存在则表示该方法已经执行。
从工程的角度来说使用全局ID做幂等可以作为一个业务的基础的微服务存在在很多的微服务中都会用到这样的服务在每个微服务中都完成这样的功能会存在工作量重复。另外打造一个高可靠的幂等服务还需要考虑很多问题比如一台机器虽然把全局ID先写入了存储但是在写入之后挂了这就需要引入全局ID的超时机制。
使用全局唯一ID是一个通用方案可以支持插入、更新、删除业务操作。但是这个方案看起来很美但是实现起来比较麻烦下面的方案适用于特定的场景但是实现起来比较简单。
- **去重表**
这种方法适用于在业务中有唯一标的插入场景中比如在以上的支付场景中如果一个订单只会支付一次所以订单ID可以作为唯一标识。这时我们就可以建一张去重表并且把唯一标识作为唯一索引在我们实现时把创建支付单据和写入去去重表放在一个事务中如果重复创建数据库会抛出唯一约束异常操作就会回滚。
- **插入或更新**
这种方法插入并且有唯一索引的情况比如我们要关联商品品类其中商品的ID和品类的ID可以构成唯一索引并且在数据表中也增加了唯一索引。这时就可以使用InsertOrUpdate操作。在mysql数据库中如下
```sql
insert into goods_category (goods_id,category_id,create_time,update_time)
values(#{goodsId},#{categoryId},now(),now())
on DUPLICATE KEY UPDATE
update_time=now()
```
- **多版本控制**
这种方法适合在更新的场景中,比如我们要更新商品的名字,这时我们就可以在更新的接口中增加一个版本号,来做幂等
```java
boolean updateGoodsName(int id,String newName,int version);
```
在实现时可以如下
```sql
update goods set name=#{newName},version=#{version} where id=#{id} and version<${version}
```
- **状态机控制**
这种方法适合在有状态机流转的情况下比如就会订单的创建和付款订单的付款肯定是在之前这时我们可以通过在设计状态字段时使用int类型并且通过值类型的大小来做幂等比如订单的创建为0付款成功为100。付款失败为99
在做状态机更新时,我们就这可以这样控制
```sql
update `order` set status=#{status} where id=#{id} and status<#{status}
```

View File

@@ -8,6 +8,7 @@
# index: true # index: true
title: Java全栈面试 title: Java全栈面试
index: true index: true
headerDepth: 3
# icon: laptop-code # icon: laptop-code
# sidebar: true # sidebar: true
# toc: true # toc: true