headerDepth: 3 commit.
This commit is contained in:
zeroornull
497
src/interview/Architecture/Architecture.md
Normal file
497
src/interview/Architecture/Architecture.md
Normal file
@@ -0,0 +1,497 @@
|
||||
---
|
||||
# dir:
|
||||
# text: Java全栈面试
|
||||
# icon: laptop-code
|
||||
# collapsible: true
|
||||
# expanded: true
|
||||
# link: true
|
||||
# index: true
|
||||
title: 架构
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
# editLink: false
|
||||
---
|
||||
|
||||
## 12 架构
|
||||
|
||||
> 架构相关。
|
||||
|
||||
### 12.1 架构基础
|
||||
|
||||
#### 如何理解架构的演进？
|
||||
|
||||
- 初始阶段的网站架构
|
||||
- 应用服务和数据服务分离
|
||||
- 使用缓存改善网站性能
|
||||
- 使用应用服务器集群改善网站的并发处理能力
|
||||
- 数据库读写分离
|
||||
- 使用反向代理和CDN加上网站相应
|
||||
- 使用分布式文件系统和分布式数据库系统
|
||||
- 使用NoSQL和搜索引擎
|
||||
|
||||
|
||||
|
||||
- 业务拆分 : 拆成A, B服务，以及MQ服务
|
||||
|
||||
|
||||
|
||||
- 分布式服务
|
||||
|
||||
|
||||
|
||||
#### 如何理解架构的服务化趋势？
|
||||
|
||||
- 方向一:
|
||||
|
||||
架构服务化
|
||||
|
||||
- 单体分层架构
|
||||
- 面向服务架构 -SOA
|
||||
- 微服务架构 - Microservices
|
||||
- 云原生架构 - Cloud Native
|
||||
|
||||
- 方向二:
|
||||
|
||||
部署容器编排化
|
||||
|
||||
- 虚拟机
|
||||
- 容器
|
||||
- Kubernetes 与编排
|
||||
|
||||
#### 架构中有哪些技术点？
|
||||
|
||||
所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行灯一系列问题与挑战。为此，在实践中提出了许多解决方案，以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。
|
||||
|
||||
- **分层**
|
||||
|
||||
分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。
|
||||
|
||||
在网站的分层架构中，常见的为3层，即`应用层`、`服务层`、`数据层`:
|
||||
|
||||
1. 应用层具体负责业务和视图的展示；
|
||||
2. 服务层为应用层提供服务支持；
|
||||
3. 数据库提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。
|
||||
|
||||
分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问。
|
||||
|
||||
所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。
|
||||
|
||||
- **分隔**
|
||||
|
||||
如果说分层是将软件在横向方面进行切分，那么分隔就是在纵向方面对软件进行切分。
|
||||
|
||||
网站越大，功能越复杂，服务和数据处理的种类也越多，将这些不同的功能和服务分隔开来，包装成高内聚低耦合的模块单元，不仅有助于软件的开发维护也便于不同模块的分布式部署，提高网站的并发处理能力和功能扩展能力。
|
||||
|
||||
大型网站分隔的粒度可能会很小。比如在应用层，将不同业务进行分隔，例如将购物、论坛、搜索、广告分隔成不同的应用，有对立的团队负责，部署在不同的服务器上。
|
||||
|
||||
- **分布式**
|
||||
|
||||
对于大型网站，分层和分隔的一个主要目的是为了切分后的模块便于分布式部署，即将不同模块部署在不同的服务器上，通过远程调用协同工作。分布式意味着可以使用更多的计算机完同样的工作，计算机越多，CPU、内存、存储资源就越多，能过处理的并发访问和数据量就越大，进而能够为更多的用户提供服务。
|
||||
|
||||
在网站应用中，常用的分布式方案有一下几种.
|
||||
|
||||
1. `分布式应用和服务`：将分层和分隔后的应用和服务模块分布式部署，可以改善网站性能和并发性、加快开发和发布速度、减少数据库连接资源消耗。
|
||||
2. `分布式静态资源`：网站的静态资源如JS、CSS、Logo图片等资源对立分布式部署，并采用独立的域名，即人们常说的动静分离。静态资源分布式部署可以减轻应用服务器的负载压力；通过使用独立域名加快浏览器并发加载的速度。
|
||||
3. `分布式数据和存储`：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据库需要分布式存储。
|
||||
4. `分布式计算`：目前网站普遍使用Hadoop和MapReduce分布式计算框架进行此类批处理计算，其特点是移动计算而不是移动数据，将计算程序分发到数据所在的位置以加速计算和分布式计算。
|
||||
|
||||
- **集群**
|
||||
|
||||
对于用户访问集中的模块需要将独立部署的服务器集群化，即多台服务器部署相同的应用构成一个集群，通过负载均衡设备共同对外提供服务。
|
||||
|
||||
服务器集群能够为相同的服务提供更多的并发支持，因此当有更多的用户访问时，只需要向集群中加入新的机器即可；另外可以实现当其中的某台服务器发生故障时，可以通过负载均衡的失效转移机制将请求转移至集群中其他的服务器上，因此可以提高系统的可用性。
|
||||
|
||||
- **缓存**
|
||||
|
||||
缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
|
||||
|
||||
使用缓存有两个条件：访问数据热点不均衡，即某些频繁访问的数据需要放在缓存中；数据在某个时间段内有效，不过很快过期，否则会因为数据过期而脏读，影响数据的正确性。
|
||||
|
||||
- **异步**
|
||||
|
||||
使用异步，业务之间的消息传递不是同步调用，而是将一个业务操作分成多个阶段，每个阶段之间通过共享数据的方法异步执行进行协作。
|
||||
|
||||
具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理；在分布式系统中可用通过分布式消息队列来实现异步。
|
||||
|
||||
异步架构的典型就是生产者消费者方式，两者不存在直接调用。
|
||||
|
||||
- **冗余**
|
||||
|
||||
网站需要7×24小时连续运行，那么就得有相应的冗余机制，以防某台机器宕掉时无法访问，而冗余则可以通过部署至少两台服务器构成一个集群实现服务高可用。数据库除了定期备份还需要实现冷热备份。甚至可以在全球范围内部署灾备数据中心。
|
||||
|
||||
- **自动化**
|
||||
|
||||
具体有自动化发布过程，自动化代码管理、自动化测试、自动化安全检测、自动化部署、自动化监控、自动化报警、自动化失效转移、自动化失效恢复等。
|
||||
|
||||
- **安全**
|
||||
|
||||
网站在安全架构方面有许多模式：通过密码和手机校验码进行身份认证；登录、交易需要对网络通信进行加密；为了防止机器人程序滥用资源，需要使用验证码进行识别；对常见的XSS攻击、SQL注入需要编码转换；垃圾信息需要过滤等。
|
||||
|
||||
- **敏捷性**
|
||||
|
||||
积极接受需求变更，快速响应业务发展需求。
|
||||
|
||||
### 12.2 缓存
|
||||
|
||||
#### 谈谈架构中的缓存应用？
|
||||
|
||||
缓存有各类特征，而且有不同介质的区别，那么实际工程中我们怎么去对缓存分类呢? 在目前的应用服务框架中，比较常见的，时根据缓存雨应用的藕合度，分为local cache（本地缓存）和remote cache（分布式缓存）：
|
||||
|
||||
- **本地缓存**：指的是在应用中的缓存组件，其最大的优点是应用和cache是在同一个进程内部，请求缓存非常快速，没有过多的网络开销等，在单应用不需要集群支持或者集群情况下各节点无需互相通知的场景下使用本地缓存较合适；同时，它的缺点也是应为缓存跟应用程序耦合，多个应用程序无法直接的共享缓存，各应用或集群的各节点都需要维护自己的单独缓存，对内存是一种浪费。
|
||||
- **分布式缓存**：指的是与应用分离的缓存组件或服务，其最大的优点是自身就是一个独立的应用，与本地应用隔离，多个应用可直接的共享缓存。
|
||||
|
||||
目前各种类型的缓存都活跃在成千上万的应用服务中，还没有一种缓存方案可以解决一切的业务场景或数据类型，我们需要根据自身的特殊场景和背景，选择最适合的缓存方案。缓存的使用是程序员、架构师的必备技能，好的程序员能根据数据类型、业务场景来准确判断使用何种类型的缓存，如何使用这种缓存，以最小的成本最快的效率达到最优的目的。
|
||||
|
||||
#### 在开发中缓存具体如何实现？
|
||||
|
||||
- 本地缓存
|
||||
- 成员变量或局部变量实现， 比如map
|
||||
- 静态变量实现
|
||||
- Ehcache
|
||||
- Guava Cache
|
||||
- 分布式缓存
|
||||
- Redis集群+ Spring Cache注解方式
|
||||
|
||||
#### 缓存会有哪些问题？如何解决？
|
||||
|
||||
参见redis缓存问题
|
||||
|
||||
#### 使用缓存的经验？
|
||||
|
||||
不合理使用缓存非但不能提高系统的性能，还会成为系统的累赘，甚至风险。
|
||||
|
||||
- **频繁修改的数据**
|
||||
|
||||
如果缓存中保存的是频繁修改的数据，就会出现数据写入缓存后，应用还来不及读取缓存，数据就已经失效，徒增系统负担。一般来说，数据的读写比在2：1（写入一次缓存，在数据更新前至少读取两次）以上，缓存才有意义。
|
||||
|
||||
- **没有热点的访问**
|
||||
|
||||
如果应用系统访问数据没有热点，不遵循二八定律，那么缓存就没有意义。
|
||||
|
||||
- **数据不一致与脏读**
|
||||
|
||||
一般会对缓存的数据设置失效时间，一旦超过失效时间，就要从数据库中重新加载。因此要容忍一定时间的数据不一致，如卖家已经编辑了商品属性，但是需要过一段时间才能被买家看到。还有一种策略是数据更新立即更新缓存，不过这也会带来更多系统开销和事务一致性问题。
|
||||
|
||||
- **缓存可用性**
|
||||
|
||||
缓存会承担大部分数据库访问压力，数据库已经习惯了有缓存的日子，所以当缓存服务崩溃时，数据库会因为完全不能承受如此大压力而宕机，导致网站不可用。这种情况被称作缓存雪崩，发生这种故障，甚至不能简单地重启缓存服务器和数据库服务器来恢复。
|
||||
|
||||
实践中，有的网站通过缓存热备份等手段提高缓存可用性：当某台缓存服务器宕机时，将缓存访问切换到热备服务器上。但这种设计有违缓存的初衷，缓存根本就不应该当做一个可靠的数据源来使用。
|
||||
|
||||
通过分布式缓存服务器集群，将缓存数据分布到集群多台服务器上可在一定程度上改善缓存的可用性。当一台缓存服务器宕机时，只有部分缓存数据丢失，重新从数据库加载这部分数据不会产生很大的影响。
|
||||
|
||||
- **缓存预热warm up**
|
||||
|
||||
缓存中存放的是热点数据，热点数据又是缓存系统利用LRU（最近最久未用算法）对不断访问的数据筛选淘汰出来，这个过程需要花费较长的时间。新系统的缓存系统如果没有任何数据，在重建缓存数据的过程中，系统的性能和数据库负载都不太好，那么最好在缓存系统启动时就把热点数据加载好，这个缓存预加载手段叫缓存预热。对于一些元数据如城市地名列表、类目信息，可以在启动时加载数据库中全部数据到缓存进行预热。
|
||||
|
||||
- **避免缓存穿透**
|
||||
|
||||
如果因为不恰当的业务、或者恶意攻击持续高并发地请求某个不存在的数据，由于缓存没有保存该数据，所有的请求都会落到数据库上，会对数据库造成压力，甚至崩溃。一个简单的对策是将不存在的数据也缓存起来(其value为null)。
|
||||
|
||||
### 12.3 限流
|
||||
|
||||
#### 什么是限流？三种限流的算法？
|
||||
|
||||
每个系统都有服务的上线，所以当流量超过服务极限能力时，系统可能会出现卡死、崩溃的情况，所以就有了降级和限流。限流其实就是：当高并发或者瞬时高并发时，为了保证系统的稳定性、可用性，系统以牺牲部分请求为代价或者延迟处理请求为代价，保证系统整体服务可用。
|
||||
|
||||
令牌桶(Token Bucket)、漏桶(leaky bucket)和计数器算法是最常用的三种限流的算法:
|
||||
|
||||
- 令牌桶方式(Token Bucket)
|
||||
- Guava RateLimiter
|
||||
|
||||
令牌桶算法是网络流量整形（Traffic Shaping）和速率限制（Rate Limiting）中最常使用的一种算法。先有一个木桶，系统按照固定速度，往桶里加入Token，如果桶已经满了就不再添加。当有请求到来时，会各自拿走一个Token，取到Token 才能继续进行请求处理，没有Token 就拒绝服务。
|
||||
|
||||
|
||||
|
||||
这里如果一段时间没有请求时，桶内就会积累一些Token，下次一旦有突发流量，只要Token足够，也能一次处理，所以令牌桶算法的特点是*允许突发流量*。
|
||||
|
||||
- **漏桶**
|
||||
|
||||
水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出（访问频率超过接口响应速率),然后就拒绝请求,可以看出漏桶算法能强行限制数据的传输速率。
|
||||
|
||||
|
||||
|
||||
可见这里有两个变量,一个是桶的大小,支持流量突发增多时可以存多少的水(burst),另一个是水桶漏洞的大小(rate)。
|
||||
|
||||
因为漏桶的漏出速率是固定的参数,所以,即使网络中不存在资源冲突(没有发生拥塞),漏桶算法也不能使流突发(burst)到端口速率.因此,漏桶算法对于存在突发特性的流量来说缺乏效率.
|
||||
|
||||
- 计数器
|
||||
|
||||
|
||||
|
||||
计数器限流算法也是比较常用的，主要用来限制总并发数，比如数据库连接池大小、线程池大小、程序访问并发数等都是使用计数器算法。也是最简单粗暴的算法。
|
||||
|
||||
- 采用AtomicInteger
|
||||
- 使用AomicInteger来进行统计当前正在并发执行的次数，如果超过域值就简单粗暴的直接响应给用户，说明系统繁忙，请稍后再试或其它跟业务相关的信息。
|
||||
- 弊端：使用 AomicInteger 简单粗暴超过域值就拒绝请求，可能只是瞬时的请求量高，也会拒绝请求。
|
||||
- 采用令牌Semaphore:
|
||||
- 使用Semaphore信号量来控制并发执行的次数，如果超过域值信号量，则进入阻塞队列中排队等待获取信号量进行执行。如果阻塞队列中排队的请求过多超出系统处理能力，则可以在拒绝请求。
|
||||
- 相对Atomic优点：如果是瞬时的高并发，可以使请求在阻塞队列中排队，而不是马上拒绝请求，从而达到一个流量削峰的目的。
|
||||
- 采用ThreadPoolExecutor java线程池:
|
||||
- 固定线程池大小,超出固定先线程池和最大的线程数,拒绝线程请求;
|
||||
|
||||
#### 限流令牌桶和漏桶对比？
|
||||
|
||||
- 令牌桶是按照固定速率往桶中添加令牌，请求是否被处理需要看桶中令牌是否足够，当令牌数减为零时则拒绝新的请求；
|
||||
- 漏桶则是按照常量固定速率流出请求，流入请求速率任意，当流入的请求数累积到漏桶容量时，则新流入的请求被拒绝；
|
||||
- 令牌桶限制的是平均流入速率（允许突发请求，只要有令牌就可以处理，支持一次拿3个令牌，4个令牌），并允许一定程度突发流量；
|
||||
- 漏桶限制的是常量流出速率（即流出速率是一个固定常量值，比如都是1的速率流出，而不能一次是1，下次又是2），从而平滑突发流入速率；
|
||||
- 令牌桶允许一定程度的突发，而漏桶主要目的是平滑流入速率；
|
||||
- 两个算法实现可以一样，但是方向是相反的，对于相同的参数得到的限流效果是一样的。
|
||||
|
||||
#### 在分布式环境下如何实现限流？
|
||||
|
||||
我们需要分布式限流和接入层限流来进行全局限流。
|
||||
|
||||
1. redis+lua实现中的lua脚本
|
||||
2. 使用Nginx+Lua实现的Lua脚本
|
||||
|
||||
### 12.4 降级和熔断
|
||||
|
||||
#### 为什么会有容错？一般有哪些方式解决容错相关问题？
|
||||
|
||||
服务之间的依赖关系，如果有被依赖的服务挂了以后，造成其它服务也会出现请求堆积、资源占用，慢慢扩散到所有服务，引发雪崩效应。
|
||||
|
||||
而容错就是要解决这类问题，常见的方式：
|
||||
|
||||
- **主动超时**：Http请求主动设置一个超时时间，超时就直接返回，不会造成服务堆积
|
||||
- **限流**：限制最大并发数
|
||||
- **熔断**：当错误数超过阈值时快速失败，不调用后端服务，同时隔一定时间放几个请求去重试后端服务是否能正常调用，如果成功则关闭熔断状态，失败则继续快速失败，直接返回。（此处有个重试，重试就是弹性恢复的能力）
|
||||
- **隔离**：把每个依赖或调用的服务都隔离开来，防止级联失败引起整体服务不可用
|
||||
- **降级**：服务失败或异常后，返回指定的默认信息
|
||||
|
||||
|
||||
|
||||
#### 谈谈你对服务降级的理解？
|
||||
|
||||
由于爆炸性的流量冲击，对一些服务进行有策略的放弃，以此缓解系统压力，保证目前主要业务的正常运行。它主要是针对非正常情况下的应急服务措施：当此时一些业务服务无法执行时，给出一个统一的返回结果。
|
||||
|
||||
- **降级服务的特征**
|
||||
- 原因：整体负荷超出整体负载承受能力。
|
||||
- 目的：保证重要或基本服务正常运行，非重要服务延迟使用或暂停使用
|
||||
- 大小：降低服务粒度，要考虑整体模块粒度的大小，将粒度控制在合适的范围内
|
||||
- 可控性：在服务粒度大小的基础上增加服务的可控性，后台服务开关的功能是一项必要配置（单机可配置文件，其他可领用数据库和缓存），可分为手动控制和自动控制。
|
||||
- 次序：一般从外围延伸服务开始降级，需要有一定的配置项，重要性低的优先降级，比如可以分组设置等级1-10，当服务需要降级到某一个级别时，进行相关配置
|
||||
- **降级方式**
|
||||
- 延迟服务：比如发表了评论，重要服务，比如在文章中显示正常，但是延迟给用户增加积分，只是放到一个缓存中，等服务平稳之后再执行。
|
||||
- 在粒度范围内关闭服务（片段降级或服务功能降级）：比如关闭相关文章的推荐，直接关闭推荐区
|
||||
- 页面异步请求降级：比如商品详情页上有推荐信息/配送至等异步加载的请求，如果这些信息响应慢或者后端服务有问题，可以进行降级；
|
||||
- 页面跳转（页面降级）：比如可以有相关文章推荐，但是更多的页面则直接跳转到某一个地址
|
||||
- 写降级：比如秒杀抢购，我们可以只进行Cache的更新，然后异步同步扣减库存到DB，保证最终一致性即可，此时可以将DB降级为Cache。
|
||||
- 读降级：比如多级缓存模式，如果后端服务有问题，可以降级为只读缓存，这种方式适用于对读一致性要求不高的场景。
|
||||
- **降级预案** 在进行降级之前要对系统进行梳理，看看系统是不是可以丢卒保帅；从而梳理出哪些必须誓死保护，哪些可降级；比如可以参考日志级别设置预案：
|
||||
- 一般：比如有些服务偶尔因为网络抖动或者服务正在上线而超时，可以自动降级；
|
||||
- 警告：有些服务在一段时间内成功率有波动（如在95~100%之间），可以自动降级或人工降级，并发送告警；
|
||||
- 错误：比如可用率低于90%，或者数据库连接池被打爆了，或者访问量突然猛增到系统能承受的最大阀值，此时可以根据情况自动降级或者人工降级；
|
||||
- 严重错误：比如因为特殊原因数据错误了，此时需要紧急人工降级。
|
||||
- **服务降级分类**
|
||||
- 降级按照是否自动化可分为：自动开关降级（超时、失败次数、故障、限流）和人工开关降级（秒杀、电商大促等）。
|
||||
- 降级按照功能可分为：读服务降级、写服务降级。
|
||||
- 降级按照处于的系统层次可分为：多级降级。
|
||||
- **自动降级分类**
|
||||
- 超时降级：主要配置好超时时间和超时重试次数和机制，并使用异步机制探测回复情况
|
||||
- 失败次数降级：主要是一些不稳定的api，当失败调用次数达到一定阀值自动降级，同样要使用异步机制探测回复情况
|
||||
- 故障降级：比如要调用的远程服务挂掉了（网络故障、DNS故障、http服务返回错误的状态码、rpc服务抛出异常），则可以直接降级。降级后的处理方案有：默认值（比如库存服务挂了，返回默认现货）、兜底数据（比如广告挂了，返回提前准备好的一些静态页面）、缓存（之前暂存的一些缓存数据）
|
||||
- 限流降级: 当我们去秒杀或者抢购一些限购商品时，此时可能会因为访问量太大而导致系统崩溃，此时开发者会使用限流来进行限制访问量，当达到限流阀值，后续请求会被降级；降级后的处理方案可以是：排队页面（将用户导流到排队页面等一会重试）、无货（直接告知用户没货了）、错误页（如活动太火爆了，稍后重试）
|
||||
|
||||
#### 什么是服务熔断？和服务降级有什么区别？
|
||||
|
||||
熔断机制是应对雪崩效应的一种微服务链路保护机制，当扇出链路的某个微服务不可用或者响应时间太长时，会进行服务的降级，进而熔断该节点微服务的调用，快速返回”错误”的响应信息。
|
||||
|
||||
**和服务降级有什么区别**？
|
||||
|
||||
服务熔断对服务提供了proxy，防止服务不可能时，出现串联故障（cascading failure），导致雪崩效应。
|
||||
|
||||
服务熔断一般是某个服务（下游服务）故障引起，而服务降级一般是从整体负荷考虑。
|
||||
|
||||
- 共性：
|
||||
- 目的 -> 都是从可用性、可靠性出发，提高系统的容错能力。
|
||||
- 最终表现->使某一些应用不可达或不可用，来保证整体系统稳定。
|
||||
- 粒度 -> 一般都是服务级别，但也有细粒度的层面：如做到数据持久层、只许查询不许增删改等。
|
||||
- 自治 -> 对其自治性要求很高。都要求具有较高的自动处理机制。
|
||||
- 区别：
|
||||
- 触发原因 -> 服务熔断通常是下级服务故障引起；服务降级通常为整体系统而考虑。
|
||||
- 管理目标 -> 熔断是每个微服务都需要的，是一个框架级的处理；而服务降级一般是关注业务，对业务进行考虑，抓住业务的层级，从而决定在哪一层上进行处理：比如在IO层，业务逻辑层，还是在外围进行处理。
|
||||
- 实现方式 -> 代码实现中的差异。
|
||||
|
||||
#### 如何设计服务的熔断？
|
||||
|
||||
- **异常处理**：调用受熔断器保护的服务的时候，我们必须要处理当服务不可用时的异常情况。这些异常处理通常需要视具体的业务情况而定。比如，如果应用程序只是暂时的功能降级，可能需要切换到其它的可替换的服务上来执行相同的任务或者获取相同的数据，或者给用户报告错误然后提示他们稍后重试。
|
||||
- **异常的类型**：请求失败的原因可能有很多种。一些原因可能会比其它原因更严重。比如，请求会失败可能是由于远程的服务崩溃，这可能需要花费数分钟来恢复；也可能是由于服务器暂时负载过重导致超时。熔断器应该能够检查错误的类型，从而根据具体的错误情况来调整策略。比如，可能需要很多次超时异常才可以断定需要切换到断开状态，而只需要几次错误提示就可以判断服务不可用而快速切换到断开状态。
|
||||
- **日志**：熔断器应该能够记录所有失败的请求，以及一些可能会尝试成功的请求，使得的管理员能够监控使用熔断器保护的服务的执行情况。 测试服务是否可用：在断开状态下，熔断器可以采用定期的ping远程的服务或者资源，来判断是否服务是否恢复，而不是使用计时器来自动切换到半断开状态。这种ping操作可以模拟之前那些失败的请求，或者可以使用通过调用远程服务提供的检查服务是否可用的方法来判断。
|
||||
- **手动重置**：在系统中对于失败操作的恢复时间是很难确定的，提供一个手动重置功能能够使得管理员可以手动的强制将熔断器切换到闭合状态。同样的，如果受熔断器保护的服务暂时不可用的话，管理员能够强制的将熔断器设置为断开状态。 并发问题：相同的熔断器有可能被大量并发请求同时访问。熔断器的实现不应该阻塞并发的请求或者增加每次请求调用的负担。 资源的差异性：使用单个熔断器时，一个资源如果有分布在多个地方就需要小心。比如，一个数据可能存储在多个磁盘分区上(shard)，某个分区可以正常访问，而另一个可能存在暂时性的问题。在这种情况下，不同的错误响应如果混为一谈，那么应用程序访问的这些存在问题的分区的失败的可能性就会高，而那些被认为是正常的分区，就有可能被阻塞。
|
||||
- **加快熔断器的熔断操作**:有时候，服务返回的错误信息足够让熔断器立即执行熔断操作并且保持一段时间。比如，如果从一个分布式资源返回的响应提示负载超重，那么应该等待几分钟后再重试。（HTTP协议定义了”HTTP 503 Service Unavailable”来表示请求的服务当前不可用，他可以包含其他信息比如，超时等）
|
||||
- **重复失败请求**：当熔断器在断开状态的时候，熔断器可以记录每一次请求的细节，而不是仅仅返回失败信息，这样当远程服务恢复的时候，可以将这些失败的请求再重新请求一次。
|
||||
|
||||
#### 服务熔断有哪些实现方案？
|
||||
|
||||
- **Hystrix**
|
||||
|
||||
Spring Cloud Netflix Hystrix就是隔离措施的一种实现,可以设置在某种超时或者失败情形下断开依赖调用或者返回指定逻辑,从而提高分布式系统的稳定性. 流程图如下：
|
||||
|
||||
|
||||
|
||||
- **Sentinel**
|
||||
|
||||
Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。分为两个部分:
|
||||
|
||||
1. 核心库（Java 客户端）不依赖任何框架/库，能够运行于所有 Java 运行时环境，同时对 Dubbo / Spring Cloud 等框架也有较好的支持。
|
||||
2. 控制台（Dashboard）基于 Spring Boot 开发，打包后可以直接运行，不需要额外的 Tomcat 等应用容器。
|
||||
|
||||
主要特性：
|
||||
|
||||
|
||||
|
||||
### 12.5 负载均衡
|
||||
|
||||
#### 什么是负载均衡？原理是什么？
|
||||
|
||||
负载均衡（Load Balance），意思是将负载（工作任务，访问请求）进行平衡、分摊到多个操作单元（服务器，组件）上进行执行。是解决高性能，单点故障（高可用），扩展性（水平伸缩）的终极解决方案。
|
||||
|
||||
- **负载均衡原理**
|
||||
|
||||
采用横向扩展的方式，通过添加机器来满足大型网站服务的处理能力。比如：一台机器不能满足，则增加两台或者多台机器，共同承担访问压力。这就是典型的集群和负载均衡架构：如下图：
|
||||
|
||||
|
||||
|
||||
1. 应用集群：将同一应用部署到多台机器上，组成处理集群，接收负载均衡设备分发的请求，进行处理，并返回相应数据。
|
||||
2. 负载均衡设备：将用户访问的请求，根据负载均衡算法，分发到集群中的一台处理服务器。（一种把网络请求分散到一个服务器集群中的可用服务器上去的设备）
|
||||
|
||||
- **负载均衡的作用**（解决的问题）：
|
||||
|
||||
1.解决并发压力，提高应用处理性能（增加吞吐量，加强网络处理能力）；
|
||||
|
||||
2.提供故障转移，实现高可用；
|
||||
|
||||
3.通过添加或减少服务器数量，提供网站伸缩性（扩展性）；
|
||||
|
||||
4.安全防护；（负载均衡设备上做一些过滤，黑白名单等处理）
|
||||
|
||||
#### 负载均衡有哪些分类？
|
||||
|
||||
根据实现技术不同，可分为DNS负载均衡，HTTP负载均衡，IP负载均衡，链路层负载均衡等。
|
||||
|
||||
- **DNS负载均衡**
|
||||
|
||||
最早的负载均衡技术，利用域名解析实现负载均衡，在DNS服务器，配置多个A记录，这些A记录对应的服务器构成集群。大型网站总是部分使用DNS解析，作为第一级负载均衡。如下图：
|
||||
|
||||
|
||||
|
||||
**实践建议**
|
||||
|
||||
将DNS作为第一级负载均衡，A记录对应着内部负载均衡的IP地址，通过内部负载均衡将请求分发到真实的Web服务器上。一般用于互联网公司，复杂的业务系统不合适使用。如下图：
|
||||
|
||||
|
||||
|
||||
- **IP负载均衡**
|
||||
|
||||
在网络层通过修改请求目标地址进行负载均衡。
|
||||
|
||||
用户请求数据包，到达负载均衡服务器后，负载均衡服务器在操作系统内核进程获取网络数据包，根据负载均衡算法得到一台真实服务器地址，然后将请求目的地址修改为，获得的真实ip地址，不需要经过用户进程处理。
|
||||
|
||||
真实服务器处理完成后，响应数据包回到负载均衡服务器，负载均衡服务器，再将数据包源地址修改为自身的ip地址，发送给用户浏览器。如下图：
|
||||
|
||||
|
||||
|
||||
IP负载均衡，真实物理服务器返回给负载均衡服务器，存在两种方式：（1）负载均衡服务器在修改目的ip地址的同时修改源地址。将数据包源地址设为自身盘，即源地址转换（snat）。（2）将负载均衡服务器同时作为真实物理服务器集群的网关服务器。
|
||||
|
||||
- **链路层负载均衡**
|
||||
|
||||
在通信协议的数据链路层修改mac地址，进行负载均衡。
|
||||
|
||||
数据分发时，不修改ip地址，指修改目标mac地址，配置真实物理服务器集群所有机器虚拟ip和负载均衡服务器ip地址一致，达到不修改数据包的源地址和目标地址，进行数据分发的目的。
|
||||
|
||||
实际处理服务器ip和数据请求目的ip一致，不需要经过负载均衡服务器进行地址转换，可将响应数据包直接返回给用户浏览器，避免负载均衡服务器网卡带宽成为瓶颈。也称为直接路由模式（DR模式）。如下图：
|
||||
|
||||
|
||||
|
||||
实践建议：DR模式是目前使用最广泛的一种负载均衡方式。
|
||||
|
||||
- **混合型负载均衡**
|
||||
|
||||
由于多个服务器群内硬件设备、各自的规模、提供的服务等的差异，可以考虑给每个服务器群采用最合适的负载均衡方式，然后又在这多个服务器群间再一次负载均衡或群集起来以一个整体向外界提供服务（即把这多个服务器群当做一个新的服务器群），从而达到最佳的性能。将这种方式称之为混合型负载均衡。
|
||||
|
||||
此种方式有时也用于单台均衡设备的性能不能满足大量连接请求的情况下。是目前大型互联网公司，普遍使用的方式。
|
||||
|
||||
方式一，如下图：
|
||||
|
||||
|
||||
|
||||
以上模式适合有动静分离的场景，反向代理服务器（集群）可以起到缓存和动态请求分发的作用，当时静态资源缓存在代理服务器时，则直接返回到浏览器。如果动态页面则请求后面的应用负载均衡（应用集群）。
|
||||
|
||||
方式二，如下图：
|
||||
|
||||
|
||||
|
||||
以上模式，适合动态请求场景。
|
||||
|
||||
因混合模式，可以根据具体场景，灵活搭配各种方式，以上两种方式仅供参考。
|
||||
|
||||
#### 常见的负载均衡服务器有哪些？
|
||||
|
||||
平时我们常用的有四层负载均衡和七层负载均衡，四层的负载均衡是基于IP和端口实现的，七层的负载均衡是在四层的基础上，基于URL等信息实现。
|
||||
|
||||
- **四层负载均衡**
|
||||
|
||||
LVS：重量级软件，本身不支持正则表达式，部署起来比较麻烦，但是性能高，应用范围广，一般的大型互联网公司都有用到。
|
||||
|
||||
HAProxy：轻量级软件，支持的负载均衡策略非常多，较灵活。
|
||||
|
||||
Nginx：轻量级软件，支持的协议少（HTTP、HTTPS和Email协议），对于Session支持不友好。
|
||||
|
||||
- **七层负载均衡**
|
||||
|
||||
HAProxy：全面支持七层代理，灵活性高，支持Session会话保持。
|
||||
|
||||
Nginx：可以针对HTTP应用进行分流，正则规则灵活，支持高并发，部署简单。
|
||||
|
||||
Apache：性能较差，一般不考虑。
|
||||
|
||||
MySQL Proxy：官方的数据库中间件，可以实现读写分离，负载均衡等功能，但是对分表分库支持不完善（可选替代品：Atlas，Cobar，TDDL）。
|
||||
|
||||
#### 常见的负载均衡的算法？
|
||||
|
||||
常见的负载均衡算法包含:
|
||||
|
||||
**第一类，轮询法**
|
||||
|
||||
- 轮询法(Round Robin)
|
||||
- 将请求按顺序轮流地分配到后端服务器上，它均衡地对待后端的每一台服务器，而不关心服务器实际的连接数和当前的系统负载。
|
||||
- 加权轮询法(Weight Round Robin)
|
||||
- 不同的后端服务器可能机器的配置和当前系统的负载并不相同，因此它们的抗压能力也不相同。给配置高、负载低的机器配置更高的权重，让其处理更多的请；而配置低、负载高的机器，给其分配较低的权重，降低其系统负载，加权轮询能很好地处理这一问题，并将请求顺序且按照权重分配到后端。
|
||||
- 平滑加权轮询法(Smooth Weight Round Robin)
|
||||
|
||||
**第二类，随机法**
|
||||
|
||||
- 随机法(Random)
|
||||
- 通过系统的随机算法，根据后端服务器的列表大小值来随机选取其中的一台服务器进行访问。由概率统计理论可以得知，随着客户端调用服务端的次数增多， 其实际效果越来越接近于平均分配调用量到后端的每一台服务器，也就是轮询的结果。
|
||||
- 加权随机法(Weight Random)
|
||||
- 与加权轮询法一样，加权随机法也根据后端机器的配置，系统的负载分配不同的权重。不同的是，它是按照权重随机请求后端服务器，而非顺序。
|
||||
|
||||
**第三类，哈希**
|
||||
|
||||
- 源地址哈希法(Hash)
|
||||
- 源地址哈希的思想是根据获取客户端的IP地址，通过哈希函数计算得到的一个数值，用该数值对服务器列表的大小进行取模运算，得到的结果便是客服端要访问服务器的序号。采用源地址哈希法进行负载均衡，同一IP地址的客户端，当后端服务器列表不变时，它每次都会映射到同一台后端服务器进行访问。
|
||||
|
||||
**第四类，连接数法**
|
||||
|
||||
- 最小连接数法(Least Connections)
|
||||
- 最小连接数算法比较灵活和智能，由于后端服务器的配置不尽相同，对于请求的处理有快有慢，它是根据后端服务器当前的连接情况，动态地选取其中当前积压连接数最少的一台服务器来处理当前的请求，尽可能地提高后端服务的利用效率，将负责合理地分流到每一台服务器。
|
||||
|
||||
### 12.6 灾备和故障转移
|
||||
|
||||
#### 什么是容灾？一般基于什么实现？
|
||||
|
||||
容灾是指为了保证关键业务和应用在经历各种灾难后，仍然能够最大限度的提供正常服务的所进行的一系列系统计划及建设和管理行为。
|
||||
|
||||
容灾能力**基于数据复制**和**故障转移**。
|
||||
|
||||
#### 一般怎么实现灾备？
|
||||
|
||||
备份是对数据进行保护，容灾是在备份的基础上，保障企业的业务连续性，从这个层面，一般将容灾划分为数据容灾和应用容灾。
|
||||
|
||||
- **数据容灾**是指建立一个异地的数据系统，该系统是本地关键应用数据的一个实时复制。
|
||||
- **应用容灾**是指在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统，在灾难发生时，备端系统迅速接管业务继续运行。
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: 数据结构
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: ElasticSearch
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: MongoDB
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: Mysql
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: Redis
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: 开发基础
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: 开发框架和中间件
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
72
src/interview/DevelopmentTools/Git.md
Normal file
72
src/interview/DevelopmentTools/Git.md
Normal file
@@ -0,0 +1,72 @@
|
||||
---
|
||||
# dir:
|
||||
# text: Java全栈面试
|
||||
# icon: laptop-code
|
||||
# collapsible: true
|
||||
# expanded: true
|
||||
# link: true
|
||||
# index: true
|
||||
title: Git
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
# editLink: false
|
||||
|
||||
---
|
||||
|
||||
## 11 开发工具
|
||||
|
||||
> 开发工具问题汇总。
|
||||
|
||||
### 11.1 Git
|
||||
|
||||
#### Git中5个区，和具体操作？
|
||||
|
||||
- 代码提交和同步代码
|
||||
|
||||
|
||||
|
||||
- 代码撤销和撤销同步
|
||||
|
||||
|
||||
|
||||
#### 平时是怎么提交代码的？
|
||||
|
||||
- 第零步: 工作区与仓库保持一致
|
||||
- 第一步: 文件增删改，变为已修改状态
|
||||
- 第二步: git add ，变为已暂存状态
|
||||
|
||||
```bash
|
||||
$ git status
|
||||
$ git add --all # 当前项目下的所有更改
|
||||
$ git add . # 当前目录下的所有更改
|
||||
$ git add xx/xx.py xx/xx2.py # 添加某几个文件
|
||||
```
|
||||
|
||||
- 第三步: git commit，变为已提交状态
|
||||
|
||||
```bash
|
||||
$ git commit -m "<这里写commit的描述>"
|
||||
```
|
||||
|
||||
- 第四步: git push，变为已推送状态
|
||||
|
||||
```bash
|
||||
$ git push -u origin master # 第一次需要关联上
|
||||
$ git push # 之后再推送就不用指明应该推送的远程分支了
|
||||
$ git branch # 可以查看本地仓库的分支
|
||||
$ git branch -a # 可以查看本地仓库和本地远程仓库(远程仓库的本地镜像)的所有分支
|
||||
```
|
||||
|
||||
在某个分支下，我最常用的操作如下
|
||||
|
||||
```bash
|
||||
$ git status
|
||||
$ git add -a
|
||||
$ git status
|
||||
$ git commit -m 'xxx'
|
||||
$ git pull --rebase
|
||||
$ git push origin xxbranch
|
||||
```
|
||||
60
src/interview/DevelopmentTools/Maven.md
Normal file
60
src/interview/DevelopmentTools/Maven.md
Normal file
@@ -0,0 +1,60 @@
|
||||
---
|
||||
# dir:
|
||||
# text: Java全栈面试
|
||||
# icon: laptop-code
|
||||
# collapsible: true
|
||||
# expanded: true
|
||||
# link: true
|
||||
# index: true
|
||||
title: Maven
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
# editLink: false
|
||||
|
||||
---
|
||||
|
||||
### 11.2 Maven
|
||||
|
||||
#### Maven中包的依赖原则？如何解决冲突？
|
||||
|
||||
- **依赖原则**？
|
||||
|
||||
1. 依赖路径最短优先原则
|
||||
|
||||
```html
|
||||
A -> B -> C -> X(1.0)
|
||||
A -> D -> X(2.0)
|
||||
```
|
||||
|
||||
由于 X(2.0) 路径最短，所以使用 X(2.0)。
|
||||
|
||||
1. 声明顺序优先原则
|
||||
|
||||
```html
|
||||
A -> B -> X(1.0)
|
||||
A -> C -> X(2.0)
|
||||
```
|
||||
|
||||
在 POM 中最先声明的优先，上面的两个依赖如果先声明 B，那么最后使用 X(1.0)。
|
||||
|
||||
1. 覆写优先原则
|
||||
|
||||
子 POM 内声明的依赖优先于父 POM 中声明的依赖。
|
||||
|
||||
- **如何解决冲突**？
|
||||
|
||||
1. 找到 Maven 加载的 Jar 包版本，使用 `mvn dependency:tree` 查看依赖树，根据依赖原则来调整依赖在 POM 文件的声明顺序。
|
||||
2. 发现了冲突的包之后，剩下的就是选择一个合适版本的包留下，如果是传递依赖的包正确，那么把显示依赖的包exclude掉。如果是某一个传递依赖的包有问题，那么我们需要手动把这个传递依赖execlude掉
|
||||
|
||||
#### Maven 项目生命周期与构建原理？
|
||||
|
||||
Maven从项目的三个不同的角度，定义了单套生命周期，三套生命周期是相互独立的，它们之间不会相互影响。
|
||||
|
||||
- 默认构建生命周期(Default Lifeclyle): 该生命周期表示这项目的构建过程，定义了一个项目的构建要经过的不同的阶段。
|
||||
- 清理生命周期(Clean Lifecycle): 该生命周期负责清理项目中的多余信息，保持项目资源和代码的整洁性。一般拿来清空directory(即一般的target)目录下的文件。
|
||||
- 站点管理生命周期(Site Lifecycle) :向我们创建一个项目时，我们有时候需要提供一个站点，来介绍这个项目的信息，如项目介绍，项目进度状态、项目组成成员，版本控制信息，项目javadoc索引信息等等。站点管理生命周期定义了站点管理过程的各个阶段。
|
||||
|
||||
|
||||
930
src/interview/Distributed/Distributed.md
Normal file
930
src/interview/Distributed/Distributed.md
Normal file
@@ -0,0 +1,930 @@
|
||||
---
|
||||
# dir:
|
||||
# text: Java全栈面试
|
||||
# icon: laptop-code
|
||||
# collapsible: true
|
||||
# expanded: true
|
||||
# link: true
|
||||
# index: true
|
||||
title: 分布式
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
# editLink: false
|
||||
---
|
||||
|
||||
## 13 分布式
|
||||
|
||||
> 分布式相关。
|
||||
|
||||
### 13.1 一致性算法
|
||||
|
||||
#### 什么是分布式系统的副本一致性？有哪些？
|
||||
|
||||
分布式系统通过副本控制协议，使得从系统外部读取系统内部各个副本的数据在一定的约束条件下相同，称之为副本一致性(consistency)。副本一致性是针对分布式系统而言的，不是针对某一个副本而言。
|
||||
|
||||
**强一致性(strong consistency)**：任何时刻任何用户或节点都可以读到最近一次成功更新的副本数据。强一致性是程度最高的一致性要求，也是实践中最难以实现的一致性。
|
||||
|
||||
**单调一致性(monotonic consistency)**：任何时刻，任何用户一旦读到某个数据在某次更新后的值，这个用户不会再读到比这个值更旧的值。单调一致性是弱于强一致性却非常实用的一种一致性级别。因为通常来说，用户只关心从己方视角观察到的一致性，而不会关注其他用户的一致性情况。
|
||||
|
||||
**会话一致性(session consistency)**：任何用户在某一次会话内一旦读到某个数据在某次更新后的值，这个用户在这次会话过程中不会再读到比这个值更旧的值。会话一致性通过引入会话的概念，在单调一致性的基础上进一步放松约束，会话一致性只保证单个用户单次会话内数据的单调修改，对于不同用户间的一致性和同一用户不同会话间的一致性没有保障。实践中有许多机制正好对应会话的概念，例如php 中的session 概念。
|
||||
|
||||
**最终一致性(eventual consistency)**：最终一致性要求一旦更新成功，各个副本上的数据最终将达 到完全一致的状态，但达到完全一致状态所需要的时间不能保障。对于最终一致性系统而言，一个用户只要始终读取某一个副本的数据，则可以实现类似单调一致性的效果，但一旦用户更换读取的副本，则无法保障任何一致性。
|
||||
|
||||
**弱一致性(week consistency)**：一旦某个更新成功，用户无法在一个确定时间内读到这次更新的值，且即使在某个副本上读到了新的值，也不能保证在其他副本上可以读到新的值。弱一致性系统一般很难在实际中使用，使用弱一致性系统需要应用方做更多的工作从而使得系统可用。
|
||||
|
||||
#### 在分布式系统中有哪些常见的一致性算法？
|
||||
|
||||
- 分布式算法 - 一致性Hash算法
|
||||
- 一致性Hash算法是个经典算法，Hash环的引入是为解决`单调性(Monotonicity)`的问题；虚拟节点的引入是为了解决`平衡性(Balance)`问题
|
||||
- 分布式算法 - Paxos算法
|
||||
- Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性算法，使其获得2013年图灵奖。自Paxos问世以来就持续垄断了分布式一致性算法，Paxos这个名词几乎等同于分布式一致性, 很多分布式一致性算法都由Paxos演变而来
|
||||
- 分布式算法 - Raft算法
|
||||
- Paxos是出了名的难懂，而Raft正是为了探索一种更易于理解的一致性算法而产生的。它的首要设计目的就是易于理解，所以在选主的冲突处理等方式上它都选择了非常简单明了的解决方案
|
||||
- 分布式算法 - ZAB算法
|
||||
- ZAB 协议全称：Zookeeper Atomic Broadcast（Zookeeper 原子广播协议）, 它应该是所有一致性协议中生产环境中应用最多的了。为什么呢？因为他是为 Zookeeper 设计的分布式一致性协议！
|
||||
|
||||
#### 谈谈你对一致性hash算法的理解？
|
||||
|
||||
判定哈希算法好坏的四个定义:
|
||||
|
||||
- `平衡性(Balance)`: 平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。
|
||||
- `单调性(Monotonicity)`: 单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中，又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到原有的或者新的缓冲中去，而不会被映射到旧的缓冲集合中的其他缓冲区。
|
||||
- `分散性(Spread)`: 在分布式环境中，终端有可能看不到所有的缓冲，而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时，由于不同终端所见的缓冲范围有可能不同，从而导致哈希的结果不一致，最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的，因为它导致相同内容被存储到不同缓冲中去，降低了系统存储的效率。分散性的定义就是上述情况发生的严重程度。好的哈希算法应能够尽量避免不一致的情况发生，也就是尽量降低分散性。
|
||||
- `负载(Load)`: 负载问题实际上是从另一个角度看待分散性问题。既然不同的终端可能将相同的内容映射到不同的缓冲区中，那么对于一个特定的缓冲区而言，也可能被不同的用户映射为不同 的内容。与分散性一样，这种情况也是应当避免的，因此好的哈希算法应能够尽量降低缓冲的负荷。
|
||||
|
||||
|
||||
|
||||
#### 什么是Paxos算法？ 如何实现的？
|
||||
|
||||
Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性算法，使其获得2013年图灵奖。
|
||||
|
||||
- **三个角色**？ 可以理解为人大代表(Proposer)在人大向其它代表(Acceptors)提案，通过后让老百姓(Learner)落实
|
||||
|
||||
Paxos将系统中的角色分为`提议者 (Proposer)`，`决策者 (Acceptor)`，和`最终决策学习者 (Learner)`:
|
||||
|
||||
1. `Proposer`: 提出提案 (Proposal)。Proposal信息包括提案编号 (Proposal ID) 和提议的值 (Value)。
|
||||
2. `Acceptor`: 参与决策，回应Proposers的提案。收到Proposal后可以接受提案，若Proposal获得多数Acceptors的接受，则称该Proposal被批准。
|
||||
3. `Learner`: 不参与决策，从Proposers/Acceptors学习最新达成一致的提案(Value)。
|
||||
|
||||
在多副本状态机中，每个副本同时具有Proposer、Acceptor、Learner三种角色。
|
||||
|
||||
|
||||
|
||||
- **基于消息传递的3个阶段**
|
||||
|
||||
|
||||
|
||||
1. 第一阶段: Prepare阶段
|
||||
|
||||
；Proposer向Acceptors发出Prepare请求，Acceptors针对收到的Prepare请求进行Promise承诺。
|
||||
|
||||
1. `Prepare`: Proposer生成全局唯一且递增的Proposal ID (可使用时间戳加Server ID)，向所有Acceptors发送Prepare请求，这里无需携带提案内容，只携带Proposal ID即可。
|
||||
|
||||
2. ```
|
||||
Promise
|
||||
```
|
||||
|
||||
: Acceptors收到Prepare请求后，做出“两个承诺，一个应答”。
|
||||
|
||||
1. 承诺1: 不再接受Proposal ID小于等于(注意: 这里是<= )当前请求的Prepare请求;
|
||||
2. 承诺2: 不再接受Proposal ID小于(注意: 这里是< )当前请求的Propose请求;
|
||||
3. 应答: 不违背以前作出的承诺下，回复已经Accept过的提案中Proposal ID最大的那个提案的Value和Proposal ID，没有则返回空值。
|
||||
|
||||
2. 第二阶段: Accept阶段
|
||||
|
||||
; Proposer收到多数Acceptors承诺的Promise后，向Acceptors发出Propose请求，Acceptors针对收到的Propose请求进行Accept处理。
|
||||
|
||||
1. `Propose`: Proposer 收到多数Acceptors的Promise应答后，从应答中选择Proposal ID最大的提案的Value，作为本次要发起的提案。如果所有应答的提案Value均为空值，则可以自己随意决定提案Value。然后携带当前Proposal ID，向所有Acceptors发送Propose请求。
|
||||
2. `Accept`: Acceptor收到Propose请求后，在不违背自己之前作出的承诺下，接受并持久化当前Proposal ID和提案Value。
|
||||
|
||||
3. **第三阶段: Learn阶段**; Proposer在收到多数Acceptors的Accept之后，标志着本次Accept成功，决议形成，将形成的决议发送给所有Learners。
|
||||
|
||||
#### 什么是Raft算法？
|
||||
|
||||
**不同于Paxos算法直接从分布式一致性问题出发推导出来，Raft算法则是从多副本状态机的角度提出**。Raft实现了和Paxos相同的功能，它将一致性分解为多个子问题: Leader选举(Leader election)、日志同步(Log replication)、安全性(Safety)、日志压缩(Log compaction)、成员变更(Membership change)等。同时，**Raft算法使用了更强的假设来减少了需要考虑的状态，使之变的易于理解和实现**。
|
||||
|
||||
- **三个角色**
|
||||
|
||||
Raft将系统中的角色分为`领导者(Leader)`、`跟从者(Follower)`和`候选人(Candidate)`:
|
||||
|
||||
1. `Leader`: 接受客户端请求，并向Follower同步请求日志，当日志同步到大多数节点上后告诉Follower提交日志。
|
||||
2. `Follower`: 接受并持久化Leader同步的日志，在Leader告之日志可以提交之后，提交日志。
|
||||
3. `Candidate`: Leader选举过程中的临时角色。
|
||||
|
||||
|
||||
|
||||
Raft要求系统在任意时刻最多只有一个Leader，正常工作期间只有Leader和Followers。
|
||||
|
||||
- **以子问题Leader选举为例**?
|
||||
|
||||
Raft 使用心跳(heartbeat)触发Leader选举。当服务器启动时，初始化为Follower。Leader向所有Followers周期性发送heartbeat。如果Follower在选举超时时间内没有收到Leader的heartbeat，就会等待一段随机的时间后发起一次Leader选举。
|
||||
|
||||
Follower将其当前term加一然后转换为Candidate。它首先给自己投票并且给集群中的其他服务器发送 RequestVote RPC (RPC细节参见八、Raft算法总结)。结果有以下三种情况:
|
||||
|
||||
- 赢得了多数的选票，成功选举为Leader；
|
||||
- 收到了Leader的消息，表示有其它服务器已经抢先当选了Leader；
|
||||
- 没有服务器赢得多数的选票，Leader选举失败，等待选举时间超时后发起下一次选举。
|
||||
|
||||
|
||||
|
||||
选举出Leader后，Leader通过定期向所有Followers发送心跳信息维持其统治。若Follower一段时间未收到Leader的心跳则认为Leader可能已经挂了，再次发起Leader选举过程。
|
||||
|
||||
### 13.2 全局唯一ID
|
||||
|
||||
#### 全局唯一ID有哪些实现方案？
|
||||
|
||||
常见的分布式ID生成方式，大致分类的话可以分为两类：
|
||||
|
||||
1. **一种是类DB型的**，根据设置不同起始值和步长来实现趋势递增，需要考虑服务的容错性和可用性;
|
||||
2. **另一种是类snowflake型**，这种就是将64位划分为不同的段，每段代表不同的涵义，基本就是时间戳、机器ID和序列数。这种方案就是需要考虑时钟回拨的问题以及做一些 buffer的缓冲设计提高性能。
|
||||
|
||||
#### 数据库方式实现方案？有什么缺陷？
|
||||
|
||||
- **MySQL为例**
|
||||
|
||||
我们将分布式系统中数据库的同一个业务表的自增ID设计成不一样的起始值，然后设置固定的步长，步长的值即为分库的数量或分表的数量。
|
||||
|
||||
以MySQL举例，利用给字段设置`auto_increment_increment`和`auto_increment_offset`来保证ID自增。
|
||||
|
||||
1. `auto_increment_offset`：表示自增长字段从那个数开始，他的取值范围是1 .. 65535。
|
||||
2. `auto_increment_increment`：表示自增长字段每次递增的量，其默认值是1，取值范围是1 .. 65535。
|
||||
|
||||
缺点也很明显，首先它**强依赖DB**，当DB异常时整个系统不可用。虽然配置主从复制可以尽可能的增加可用性，但是**数据一致性在特殊情况下难以保证**。主从切换时的不一致可能会导致重复发号。还有就是**ID发号性能瓶颈限制在单台MySQL的读写性能**。
|
||||
|
||||
- **使用redis实现**
|
||||
|
||||
Redis实现分布式唯一ID主要是通过提供像 `INCR` 和 `INCRBY` 这样的自增原子命令，由于Redis自身的单线程的特点所以能保证生成的 ID 肯定是唯一有序的。
|
||||
|
||||
但是单机存在性能瓶颈，无法满足高并发的业务需求，所以可以采用集群的方式来实现。集群的方式又会涉及到和数据库集群同样的问题，所以也需要设置分段和步长来实现。
|
||||
|
||||
为了避免长期自增后数字过大可以通过与当前时间戳组合起来使用，另外为了保证并发和业务多线程的问题可以采用 Redis + Lua的方式进行编码，保证安全。
|
||||
|
||||
Redis 实现分布式全局唯一ID，它的性能比较高，生成的数据是有序的，对排序业务有利，但是同样它依赖于redis，**需要系统引进redis组件，增加了系统的配置复杂性**。
|
||||
|
||||
当然现在Redis的使用性很普遍，所以如果其他业务已经引进了Redis集群，则可以资源利用考虑使用Redis来实现。
|
||||
|
||||
#### 雪花算法如何实现的？
|
||||
|
||||
Snowflake，雪花算法是由Twitter开源的分布式ID生成算法，以划分命名空间的方式将 64-bit位分割成多个部分，每个部分代表不同的含义。而 Java中64bit的整数是Long类型，所以在 Java 中 SnowFlake 算法生成的 ID 就是 long 来存储的。
|
||||
|
||||
- **第1位**占用1bit，其值始终是0，可看做是符号位不使用。
|
||||
- **第2位**开始的41位是时间戳，41-bit位可表示2^41个数，每个数代表毫秒，那么雪花算法可用的时间年限是`(1L<<41)/(1000L360024*365)`=69 年的时间。
|
||||
- **中间的10-bit位**可表示机器数，即2^10 = 1024台机器，但是一般情况下我们不会部署这么台机器。如果我们对IDC（互联网数据中心）有需求，还可以将 10-bit 分 5-bit 给 IDC，分5-bit给工作机器。这样就可以表示32个IDC，每个IDC下可以有32台机器，具体的划分可以根据自身需求定义。
|
||||
- **最后12-bit位**是自增序列，可表示2^12 = 4096个数。
|
||||
|
||||
这样的划分之后相当于**在一毫秒一个数据中心的一台机器上可产生4096个有序的不重复的ID**。但是我们 IDC 和机器数肯定不止一个，所以毫秒内能生成的有序ID数是翻倍的。
|
||||
|
||||
|
||||
|
||||
#### 雪花算法有什么问题？有哪些解决思路？
|
||||
|
||||
- **有哪些问题**？
|
||||
|
||||
1. 时钟回拨问题；
|
||||
2. 趋势递增，而不是绝对递增；
|
||||
3. 不能在一台服务器上部署多个分布式ID服务；
|
||||
|
||||
- **如何解决时钟回拨**？
|
||||
|
||||
以百度的UidGenerator为例，CachedUidGenerator方式主要通过采取如下一些措施和方案规避了时钟回拨问题和增强唯一性：
|
||||
|
||||
1. **自增列**：UidGenerator的workerId在实例每次重启时初始化，且就是数据库的自增ID，从而完美的实现每个实例获取到的workerId不会有任何冲突。
|
||||
2. **RingBuffer**：UidGenerator不再在每次取ID时都实时计算分布式ID，而是利用RingBuffer数据结构预先生成若干个分布式ID并保存。
|
||||
3. **时间递增**：传统的雪花算法实现都是通过System.currentTimeMillis()来获取时间并与上一次时间进行比较，这样的实现严重依赖服务器的时间。而UidGenerator的时间类型是AtomicLong，且通过incrementAndGet()方法获取下一次的时间，从而脱离了对服务器时间的依赖，也就不会有时钟回拨的问题
|
||||
|
||||
（这种做法也有一个小问题，即分布式ID中的时间信息可能并不是这个ID真正产生的时间点，例如：获取的某分布式ID的值为3200169789968523265，它的反解析结果为{"timestamp":"2019-05-02 23:26:39","workerId":"21","sequence":"1"}，但是这个ID可能并不是在"2019-05-02 23:26:39"这个时间产生的）。
|
||||
|
||||
### 13.3 分布式锁
|
||||
|
||||
#### 有哪些方案实现分布式锁？
|
||||
|
||||
综合讲讲方案：
|
||||
|
||||
- 使用场景
|
||||
- 需要保证一个方法在同一时间内只能被同一个线程执行
|
||||
- 实现方式:
|
||||
- 加锁和解锁
|
||||
- 方案,考虑因素(性能,稳定,实现难度,死锁)
|
||||
- 基于数据库做分布式锁--乐观锁(基于版本号)和悲观锁(基于排它锁)
|
||||
- 基于 redis 做分布式锁:setnx(key,当前时间+过期时间)和Redlock机制
|
||||
- 基于 zookeeper 做分布式锁:临时有序节点来实现的分布式锁,Curator
|
||||
- 基于 Consul 做分布式锁
|
||||
|
||||
#### 基于数据库如何实现分布式锁？有什么缺陷？
|
||||
|
||||
- **基于数据库表**（锁表，很少使用）
|
||||
|
||||
最简单的方式可能就是直接创建一张锁表，然后通过操作该表中的数据来实现了。当我们想要获得锁的时候，就可以在该表中增加一条记录，想要释放锁的时候就删除这条记录。
|
||||
|
||||
为了更好的演示，我们先创建一张数据库表，参考如下：
|
||||
|
||||
```sql
|
||||
CREATE TABLE database_lock (
|
||||
`id` BIGINT NOT NULL AUTO_INCREMENT,
|
||||
`resource` int NOT NULL COMMENT '锁定的资源',
|
||||
`description` varchar(1024) NOT NULL DEFAULT "" COMMENT '描述',
|
||||
PRIMARY KEY (id),
|
||||
UNIQUE KEY uiq_idx_resource (resource)
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='数据库分布式锁表';
|
||||
```
|
||||
|
||||
当我们想要获得锁时，可以插入一条数据：
|
||||
|
||||
```sql
|
||||
INSERT INTO database_lock(resource, description) VALUES (1, 'lock');
|
||||
```
|
||||
|
||||
当需要释放锁的时，可以删除这条数据：
|
||||
|
||||
```sql
|
||||
DELETE FROM database_lock WHERE resource=1;
|
||||
```
|
||||
|
||||
- **基于悲观锁**
|
||||
|
||||
**悲观锁实现思路**？
|
||||
|
||||
1. 在对任意记录进行修改前，先尝试为该记录加上排他锁（exclusive locking）。
|
||||
2. 如果加锁失败，说明该记录正在被修改，那么当前查询可能要等待或者抛出异常。 具体响应方式由开发者根据实际需要决定。
|
||||
3. 如果成功加锁，那么就可以对记录做修改，事务完成后就会解锁了。
|
||||
4. 其间如果有其他对该记录做修改或加排他锁的操作，都会等待我们解锁或直接抛出异常。
|
||||
|
||||
**以MySQL InnoDB中使用悲观锁为例**？
|
||||
|
||||
要使用悲观锁，我们必须关闭mysql数据库的自动提交属性，因为MySQL默认使用autocommit模式，也就是说，当你执行一个更新操作后，MySQL会立刻将结果进行提交。set autocommit=0;
|
||||
|
||||
```sql
|
||||
//0.开始事务
|
||||
begin;/begin work;/start transaction; (三者选一就可以)
|
||||
//1.查询出商品信息
|
||||
select status from t_goods where id=1 for update;
|
||||
//2.根据商品信息生成订单
|
||||
insert into t_orders (id,goods_id) values (null,1);
|
||||
//3.修改商品status为2
|
||||
update t_goods set status=2;
|
||||
//4.提交事务
|
||||
commit;/commit work;
|
||||
```
|
||||
|
||||
上面的查询语句中，我们使用了`select…for update`的方式，这样就通过开启排他锁的方式实现了悲观锁。此时在t_goods表中，id为1的 那条数据就被我们锁定了，其它的事务必须等本次事务提交之后才能执行。这样我们可以保证当前的数据不会被其它事务修改。
|
||||
|
||||
上面我们提到，使用`select…for update`会把数据给锁住，不过我们需要注意一些锁的级别，MySQL InnoDB默认行级锁。行级锁都是基于索引的，如果一条SQL语句用不到索引是不会使用行级锁的，会使用表级锁把整张表锁住，这点需要注意。
|
||||
|
||||
- **基于乐观锁**
|
||||
|
||||
乐观并发控制（又名“乐观锁”，Optimistic Concurrency Control，缩写“OCC”）是一种并发控制的方法。它假设多用户并发的事务在处理时不会彼此互相影响，各事务能够在不产生锁的情况下处理各自影响的那部分数据。在提交数据更新之前，每个事务会先检查在该事务读取数据后，有没有其他事务又修改了该数据。如果其他事务有更新的话，正在提交的事务会进行回滚。
|
||||
|
||||
**以使用版本号实现乐观锁为例？**
|
||||
|
||||
使用版本号时，可以在数据初始化时指定一个版本号，每次对数据的更新操作都对版本号执行+1操作。并判断当前版本号是不是该数据的最新的版本号。
|
||||
|
||||
```sql
|
||||
1.查询出商品信息
|
||||
select (status,status,version) from t_goods where id=#{id}
|
||||
2.根据商品信息生成订单
|
||||
3.修改商品status为2
|
||||
update t_goods
|
||||
set status=2,version=version+1
|
||||
where id=#{id} and version=#{version};
|
||||
```
|
||||
|
||||
需要注意的是，乐观锁机制往往基于系统中数据存储逻辑，因此也具备一定的局限性。由于乐观锁机制是在我们的系统中实现的，对于来自外部系统的用户数据更新操作不受我们系统的控制，因此可能会造成脏数据被更新到数据库中。在系统设计阶段，我们应该充分考虑到这些情况，并进行相应的调整（如将乐观锁策略在数据库存储过程中实现，对外只开放基于此存储过程的数据更新途径，而不是将数据库表直接对外公开）。
|
||||
|
||||
- **缺陷**
|
||||
|
||||
对数据库依赖，开销问题，行锁变表锁问题，无法解决数据库单点和可重入的问题。
|
||||
|
||||
#### 基于redis如何实现分布式锁？有什么缺陷？
|
||||
|
||||
- **最基本的Jedis方案**
|
||||
|
||||
**加锁**： set NX PX + 重试 + 重试间隔
|
||||
|
||||
向Redis发起如下命令: SET productId:lock 0xx9p03001 NX PX 30000 其中，"productId"由自己定义，可以是与本次业务有关的id，"0xx9p03001"是一串随机值，必须保证全局唯一(原因在后文中会提到)，“NX"指的是当且仅当key(也就是案例中的"productId:lock”)在Redis中不存在时，返回执行成功，否则执行失败。"PX 30000"指的是在30秒后，key将被自动删除。执行命令后返回成功，表明服务成功的获得了锁。
|
||||
|
||||
```java
|
||||
@Override
|
||||
public boolean lock(String key, long expire, int retryTimes, long retryDuration) {
|
||||
// use JedisCommands instead of setIfAbsense
|
||||
boolean result = setRedis(key, expire);
|
||||
|
||||
// retry if needed
|
||||
while ((!result) && retryTimes-- > 0) {
|
||||
try {
|
||||
log.debug("lock failed, retrying..." + retryTimes);
|
||||
Thread.sleep(retryDuration);
|
||||
} catch (Exception e) {
|
||||
return false;
|
||||
}
|
||||
|
||||
// use JedisCommands instead of setIfAbsense
|
||||
result = setRedis(key, expire);
|
||||
}
|
||||
return result;
|
||||
}
|
||||
|
||||
private boolean setRedis(String key, long expire) {
|
||||
try {
|
||||
RedisCallback<String> redisCallback = connection -> {
|
||||
JedisCommands commands = (JedisCommands) connection.getNativeConnection();
|
||||
String uuid = SnowIDUtil.uniqueStr();
|
||||
lockFlag.set(uuid);
|
||||
return commands.set(key, uuid, NX, PX, expire); // 看这里
|
||||
};
|
||||
String result = redisTemplate.execute(redisCallback);
|
||||
return !StringUtil.isEmpty(result);
|
||||
} catch (Exception e) {
|
||||
log.error("set redis occurred an exception", e);
|
||||
}
|
||||
return false;
|
||||
}
|
||||
```
|
||||
|
||||
**解锁**： 采用lua脚本： 在删除key之前，一定要判断服务A持有的value与Redis内存储的value是否一致。如果贸然使用服务A持有的key来删除锁，则会误将服务B的锁释放掉。
|
||||
|
||||
```lua
|
||||
if redis.call("get", KEYS[1])==ARGV[1] then
|
||||
return redis.call("del", KEYS[1])
|
||||
else
|
||||
return 0
|
||||
end
|
||||
```
|
||||
|
||||
- **基于RedLock实现分布式锁**
|
||||
|
||||
假设有两个服务A、B都希望获得锁，有一个包含了5个redis master的Redis Cluster，执行过程大致如下:
|
||||
|
||||
1. 客户端获取当前时间戳，单位: 毫秒
|
||||
2. 服务A轮寻每个master节点，尝试创建锁。(这里锁的过期时间比较短，一般就几十毫秒) RedLock算法会尝试在大多数节点上分别创建锁，假如节点总数为n，那么大多数节点指的是n/2+1。
|
||||
3. 客户端计算成功建立完锁的时间，如果建锁时间小于超时时间，就可以判定锁创建成功。如果锁创建失败，则依次(遍历master节点)删除锁。
|
||||
4. 只要有其它服务创建过分布式锁，那么当前服务就必须轮寻尝试获取锁。
|
||||
|
||||
- **基于Redisson实现分布式锁**？
|
||||
|
||||
**过程**？
|
||||
|
||||
1. 线程去获取锁，获取成功: 执行lua脚本，保存数据到redis数据库。
|
||||
2. 线程去获取锁，获取失败: 订阅了解锁消息，然后再尝试获取锁，获取成功后，执行lua脚本，保存数据到redis数据库。
|
||||
|
||||
**互斥**？
|
||||
|
||||
如果这个时候客户端B来尝试加锁，执行了同样的一段lua脚本。第一个if判断会执行“exists myLock”，发现myLock这个锁key已经存在。接着第二个if判断，判断myLock锁key的hash数据结构中，是否包含客户端B的ID，但明显没有，那么客户端B会获取到pttl myLock返回的一个数字，代表myLock这个锁key的剩余生存时间。此时客户端B会进入一个while循环，不听的尝试加锁。
|
||||
|
||||
**watch dog自动延时机制**？
|
||||
|
||||
客户端A加锁的锁key默认生存时间只有30秒，如果超过了30秒，客户端A还想一直持有这把锁，怎么办？其实只要客户端A一旦加锁成功，就会启动一个watch dog看门狗，它是一个后台线程，会每隔10秒检查一下，如果客户端A还持有锁key，那么就会不断的延长锁key的生存时间。
|
||||
|
||||
**可重入**？
|
||||
|
||||
每次lock会调用incrby，每次unlock会减一。
|
||||
|
||||
- **方案比较**
|
||||
|
||||
1. 借助Redis实现分布式锁时，有一个共同的缺陷: 当获取锁被决绝后，需要不断的循环，重新发送获取锁(创建key)的请求，直到请求成功。这就造成空转，浪费宝贵的CPU资源。
|
||||
2. RedLock算法本身有争议，并不能保证健壮性。
|
||||
3. Redisson实现分布式锁时，除了将key新增到某个指定的master节点外，还需要由master自动异步的将key和value等数据同步至绑定的slave节点上。那么问题来了，如果master没来得及同步数据，突然发生宕机，那么通过故障转移和主备切换，slave节点被迅速升级为master节点，新的客户端加锁成功，旧的客户端的watch dog发现key存在，误以为旧客户端仍然持有这把锁，这就导致同时存在多个客户端持有同名锁的问题了。
|
||||
|
||||
#### 基于zookeeper如何实现分布式锁？
|
||||
|
||||
说几个核心点：
|
||||
|
||||
- **顺序节点**
|
||||
|
||||
创建一个用于发号的节点“/test/lock”，然后以它为父亲节点的前缀为“/test/lock/seq-”依次发号：
|
||||
|
||||
|
||||
|
||||
- **获得最小号得锁**
|
||||
|
||||
由于序号的递增性，可以规定排号最小的那个获得锁。所以，每个线程在尝试占用锁之前，首先判断自己是排号是不是当前最小，如果是，则获取锁。
|
||||
|
||||
- **节点监听机制**
|
||||
|
||||
每个线程抢占锁之前，先抢号创建自己的ZNode。同样，释放锁的时候，就需要删除抢号的Znode。抢号成功后，如果不是排号最小的节点，就处于等待通知的状态。等谁的通知呢？不需要其他人，只需要等前一个Znode 的通知就可以了。当前一个Znode 删除的时候，就是轮到了自己占有锁的时候。第一个通知第二个、第二个通知第三个，击鼓传花似的依次向后。
|
||||
|
||||
### 13.4 分布式事务
|
||||
|
||||
#### 什么是ACID？
|
||||
|
||||
一个事务有四个基本特性，也就是我们常说的（ACID）：
|
||||
|
||||
1. **Atomicity（原子性）**：事务是一个不可分割的整体，事务内所有操作要么全做成功，要么全失败。
|
||||
2. **Consistency（一致性）**：事务执行前后，数据从一个状态到另一个状态必须是一致的（A向B转账，不能出现A扣了钱，B却没收到）。
|
||||
3. **Isolation（隔离性）**： 多个并发事务之间相互隔离，不能互相干扰。
|
||||
4. **Durability（持久性）**：事务完成后，对数据库的更改是永久保存的，不能回滚。
|
||||
|
||||
#### 分布式事务有哪些解决方案？
|
||||
|
||||
#### 什么是分布式的XA协议？
|
||||
|
||||
XA协议是一个基于**数据库**的**分布式事务协议**，其分为两部分：**事务管理器**和**本地资源管理器**。事务管理器作为一个全局的调度者，负责对各个本地资源管理器统一号令提交或者回滚。`二阶提交协议（2PC）`和`三阶提交协议（3PC）`就是根据此协议衍生出来而来。主流的诸如Oracle、MySQL等数据库均已实现了XA接口。
|
||||
|
||||
XA接口是双向的系统接口，在事务管理器（Transaction Manager）以及一个或多个资源管理器（Resource Manager）之间形成通信桥梁。也就是说，在基于XA的一个事务中，我们可以针对多个资源进行事务管理，例如一个系统访问多个数据库，或即访问数据库、又访问像消息中间件这样的资源。这样我们就能够实现在多个数据库和消息中间件直接实现全部提交、或全部取消的事务。**XA规范不是java的规范，而是一种通用的规范**。
|
||||
|
||||
#### 什么是2PC？
|
||||
|
||||
两段提交顾名思义就是要进行两个阶段的提交：
|
||||
|
||||
- 第一阶段，准备阶段（投票阶段）；
|
||||
- 第二阶段，提交阶段（执行阶段）。
|
||||
|
||||
|
||||
|
||||
下面还拿下单扣库存举例子，简单描述一下两段提交（2PC）的原理：
|
||||
|
||||
之前说过业务服务化（SOA）以后，一个下单流程就会用到多个服务，各个服务都无法保证调用的其他服务的成功与否，这个时候就需要一个全局的角色（**协调者**）对各个服务（**参与者**）进行协调。
|
||||
|
||||
|
||||
|
||||
一个下单请求过来通过协调者，给每一个参与者发送Prepare消息，执行本地数据脚本但不提交事务。
|
||||
|
||||
如果协调者收到了参与者的失败消息或者超时，直接给每个参与者发送回滚(Rollback)消息；否则，发送提交（Commit）消息；参与者根据协调者的指令执行提交或者回滚操作，释放所有事务处理过程中被占用的资源，显然2PC做到了所有操作要么全部成功、要么全部失败。
|
||||
|
||||
**两段提交（2PC）的缺点**：
|
||||
|
||||
二阶段提交看似能够提供原子性的操作，但它存在着严重的缺陷：
|
||||
|
||||
- **网络抖动导致的数据不一致**：第二阶段中协调者向参与者发送commit命令之后，一旦此时发生网络抖动，导致一部分参与者接收到了commit请求并执行，可其他未接到commit请求的参与者无法执行事务提交。进而导致整个分布式系统出现了数据不一致。
|
||||
- **超时导致的同步阻塞问题**：2PC中的所有的参与者节点都为事务阻塞型，当某一个参与者节点出现通信超时，其余参与者都会被动阻塞占用资源不能释放。
|
||||
- **单点故障的风险**：由于严重的依赖协调者，一旦协调者发生故障，而此时参与者还都处于锁定资源的状态，无法完成事务commit操作。虽然协调者出现故障后，会重新选举一个协调者，可无法解决因前一个协调者宕机导致的参与者处于阻塞状态的问题。
|
||||
|
||||
#### 什么是3PC?
|
||||
|
||||
三段提交（3PC）是对两段提交（2PC）的一种升级优化，**3PC在2PC的第一阶段和第二阶段中插入一个准备阶段**。保证了在最后提交阶段之前，各参与者节点的状态都一致。同时在协调者和参与者中都引入超时机制，当参与者各种原因未收到协调者的commit请求后，会对本地事务进行commit，不会一直阻塞等待，解决了2PC的单点故障问题，但3PC还是没能从根本上解决数据一致性的问题。
|
||||
|
||||
|
||||
|
||||
**3PC的三个阶段分别是CanCommit、PreCommit、DoCommit**：
|
||||
|
||||
- **CanCommit**：协调者向所有参与者发送CanCommit命令，询问是否可以执行事务提交操作。如果全部响应YES则进入下一个阶段。
|
||||
- **PreCommit**：协调者向所有参与者发送PreCommit命令，询问是否可以进行事务的预提交操作，参与者接收到PreCommit请求后，如参与者成功的执行了事务操作，则返回Yes响应，进入最终commit阶段。一旦参与者中有向协调者发送了No响应，或因网络造成超时，协调者没有接到参与者的响应，协调者向所有参与者发送abort请求，参与者接受abort命令执行事务的中断。
|
||||
- **DoCommit**：在前两个阶段中所有参与者的响应反馈均是YES后，协调者向参与者发送DoCommit命令正式提交事务，如协调者没有接收到参与者发送的ACK响应，会向所有参与者发送abort请求命令，执行事务的中断。
|
||||
|
||||
#### 什么是TCC？
|
||||
|
||||
TCC（Try-Confirm-Cancel）又被称补偿事务，TCC与2PC的思想很相似，事务处理流程也很相似，但**2PC是应用于在DB层面，TCC则可以理解为在应用层面的2PC，是需要我们编写业务逻辑来实现**。
|
||||
|
||||
TCC它的核心思想是："针对每个操作都要注册一个与其对应的确认（Try）和补偿（Cancel）"。
|
||||
|
||||
还拿下单扣库存解释下它的三个操作：
|
||||
|
||||
- **Try阶段**：下单时通过Try操作去扣除库存预留资源。
|
||||
- **Confirm阶段**：确认执行业务操作，在只预留的资源基础上，发起购买请求。
|
||||
- **Cancel阶段**：只要涉及到的相关业务中，有一个业务方预留资源未成功，则取消所有业务资源的预留请求。
|
||||
|
||||
|
||||
|
||||
**TCC的缺点**：
|
||||
|
||||
- 应用侵入性强：TCC由于基于在业务层面，至使每个操作都需要有try、confirm、cancel三个接口。
|
||||
- 开发难度大：代码开发量很大，要保证数据一致性confirm和cancel接口还必须实现幂等性。
|
||||
|
||||
#### 什么是SAGA方案？
|
||||
|
||||
### 13.5 分布式缓存
|
||||
|
||||
#### 分布式系统中常用的缓存方案有哪些？
|
||||
|
||||
- 客户端缓存：页面和浏览器缓存，APP缓存，H5缓存，localStorage和sessionStorage
|
||||
- CDN缓存：
|
||||
- 内存存储：数据的缓存
|
||||
- 内容分发：负载均衡
|
||||
- nginx缓存：本地缓存，外部缓存
|
||||
- 数据库缓存：持久层缓存（mybatis，hibernate多级缓存），Mysql查询缓存
|
||||
- 操作系统缓存：Page Cache，Buffer Cache
|
||||
|
||||
#### 分布式系统缓存的更新模式？
|
||||
|
||||
- **Cache Aside模式**
|
||||
|
||||
1. 读取失效：cache数据没有命中，查询DB，成功后把数据写入缓存
|
||||
2. 读取命中：读取cache数据
|
||||
3. 更新：把数据更新到DB，失效缓存
|
||||
|
||||
|
||||
|
||||
```java
|
||||
// Read
|
||||
data = cache.get(id);
|
||||
if (data == null) {
|
||||
data = db.get(id);
|
||||
cache.put(id, data);
|
||||
}
|
||||
|
||||
// Write
|
||||
db.save(data);
|
||||
cache.invalid(data.id);
|
||||
```
|
||||
|
||||
- **Read/Write Through模式**
|
||||
|
||||
缓存代理了DB读取、写入的逻辑，可以把缓存看成唯一的存储。
|
||||
|
||||
|
||||
|
||||
- Write Back模式
|
||||
|
||||
这种模式下所有的操作都走缓存，缓存里的数据再通过**异步的方式同步**到数据库里面。所以系统的写性能能够大大提升了。
|
||||
|
||||
|
||||
|
||||
#### 分布式系统缓存淘汰策略
|
||||
|
||||
缓存淘汰，又称为缓存逐出(cache replacement algorithms或者cache replacement policies)，是指在存储空间不足的情况下，缓存系统主动释放一些缓存对象获取更多的存储空间。一般LRU用的比较多，可以重点了解一下。
|
||||
|
||||
- **FIFO** 先进先出（First In First Out）是一种简单的淘汰策略，缓存对象以队列的形式存在，如果空间不足，就释放队列头部的（先缓存）对象。一般用链表实现。
|
||||
- **LRU** 最近最久未使用（Least Recently Used），这种策略是根据访问的时间先后来进行淘汰的，如果空间不足，会释放最久没有访问的对象（上次访问时间最早的对象）。比较常见的是通过优先队列来实现。
|
||||
- **LFU** 最近最少使用（Least Frequently Used），这种策略根据最近访问的频率来进行淘汰，如果空间不足，会释放最近访问频率最低的对象。这个算法也是用优先队列实现的比较常见。
|
||||
|
||||
更进一步的谈谈Redis缓存淘汰的8个模式，可以参考上文Redis问答部分。
|
||||
|
||||
### 13.6 分布式任务
|
||||
|
||||
#### Java中定时任务是有些？如何演化的？
|
||||
|
||||
这里主要讲讲Java的定时任务是如何一步步发展而来的：
|
||||
|
||||
- **Timer**
|
||||
|
||||
```java
|
||||
new Timer("testTimer").schedule(new TimerTask() {
|
||||
@Override
|
||||
public void run() {
|
||||
System.out.println("TimerTask");
|
||||
}
|
||||
}, 1000,2000);
|
||||
```
|
||||
|
||||
解释：1000ms是延迟启动时间，2000ms是定时任务周期，每2s执行一次
|
||||
|
||||
- **ScheduledExecutorService**
|
||||
|
||||
```java
|
||||
ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(10);
|
||||
scheduledExecutorService.scheduleAtFixedRate(new Runnable() {
|
||||
@Override
|
||||
public void run() {
|
||||
System.out.println("ScheduledTask");
|
||||
}
|
||||
}, 1, 1, TimeUnit.SECONDS);
|
||||
```
|
||||
|
||||
解释：延迟1s启动，每隔1s执行一次，是前一个任务开始时就开始计算时间间隔，但是会等上一个任务结束在开始下一个
|
||||
|
||||
- **SpringTask**
|
||||
|
||||
```java
|
||||
@Service
|
||||
public class SpringTask {
|
||||
private static final Logger log = LoggerFactory.getLogger(SpringTask.class);
|
||||
|
||||
@Scheduled(cron = "1/5 * * * * *")
|
||||
public void task1(){
|
||||
log.info("springtask 定时任务！");
|
||||
}
|
||||
|
||||
@Scheduled(initialDelay = 1000,fixedRate = 1*1000)
|
||||
public void task2(){
|
||||
log.info("springtask 定时任务！");
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
解释：
|
||||
|
||||
1. task1是每隔5s执行一次，{秒} {分} {时} {日期}
|
||||
2. task2是延迟1s,每隔1S执行一次
|
||||
|
||||
- **Quartz**
|
||||
|
||||
quartz 是一个开源的分布式调度库，它基于java实现。
|
||||
|
||||
|
||||
|
||||
1. Job 表示一个任务，要执行的具体内容。
|
||||
2. JobDetail 表示一个具体的可执行的调度程序，Job 是这个可执行程调度程序所要执行的内容，另外 JobDetail 还包含了这个任务调度的方案和策略。
|
||||
3. Trigger 代表一个调度参数的配置，什么时候去调。
|
||||
4. Scheduler 代表一个调度容器，一个调度容器中可以注册多个 JobDetail 和 Trigger。当 Trigger 与 JobDetail 组合，就可以被 Scheduler 容器调度了。
|
||||
|
||||
```java
|
||||
//创建调度器Schedule
|
||||
SchedulerFactory schedulerFactory = new StdSchedulerFactory();
|
||||
Scheduler scheduler = schedulerFactory.getScheduler();
|
||||
//创建JobDetail实例，并与HelloWordlJob类绑定
|
||||
JobDetail jobDetail = JobBuilder.newJob(HelloWorldJob.class).withIdentity("job1", "jobGroup1")
|
||||
.build();
|
||||
//创建触发器Trigger实例(立即执行，每隔1S执行一次)
|
||||
Trigger trigger = TriggerBuilder.newTrigger()
|
||||
.withIdentity("trigger1", "triggerGroup1")
|
||||
.startNow()
|
||||
.withSchedule(SimpleScheduleBuilder.simpleSchedule().withIntervalInSeconds(1).repeatForever())
|
||||
.build();
|
||||
//开始执行
|
||||
scheduler.scheduleJob(jobDetail, trigger);
|
||||
scheduler.start();
|
||||
```
|
||||
|
||||
#### 常见的JOB实现方案？
|
||||
|
||||
基于上面Java任务演化出分布式Job方案：
|
||||
|
||||
- **quartz**
|
||||
|
||||
JDBCJobStore 支持集群所有触发器和job都存储在数据库中无论服务器停止和重启都可以恢复任务同时支持事务处理。
|
||||
|
||||
|
||||
|
||||
- **elastic-job**
|
||||
|
||||
elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 ， 由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 。
|
||||
|
||||
Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。
|
||||
|
||||
Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案，额外提供资源治理、应用分发以及进程隔离等服务
|
||||
|
||||
|
||||
|
||||
亮点：
|
||||
|
||||
1. 基于quartz 定时任务框架为基础的，因此具备quartz的大部分功能
|
||||
2. 使用zookeeper做协调，调度中心，更加轻量级
|
||||
3. 支持任务的分片
|
||||
4. 支持弹性扩容 ， 可以水平扩展 ， 当任务再次运行时，会检查当前的服务器数量，重新分片，分片结束之后才会继续执行任务
|
||||
5. 失效转移，容错处理，当一台调度服务器宕机或者跟zookeeper断开连接之后，会立即停止作业，然后再去寻找其他空闲的调度服务器，来运行剩余的任务
|
||||
6. 提供运维界面，可以管理作业和注册中心。
|
||||
|
||||
- **xxl-job**
|
||||
|
||||
个轻量级分布式任务调度框架 ，主要分为 调度中心和执行器两部分 ， 调度中心在启动初始化的时候，会默认生成执行器的RPC代理
|
||||
|
||||
对象(http协议调用)， 执行器项目启动之后， 调度中心在触发定时器之后通过jobHandle 来调用执行器项目里面的代码，核心功能和elastic-job差不多
|
||||
|
||||
|
||||
|
||||
### 13.7 分布式会话
|
||||
|
||||
#### Cookie和Session有什么区别？
|
||||
|
||||
cookie和session的方案虽然分别属于客户端和服务端，但是服务端的session的实现对客户端的cookie有依赖关系的，服务端执行session机制时候会生成session的id值，这个id值会发送给客户端，客户端每次请求都会把这个id值放到http请求的头部发送给服务端，而这个id值在客户端会保存下来，保存的容器就是cookie，因此当我们完全禁掉浏览器的cookie的时候，服务端的session也会不能正常使用。
|
||||
|
||||
#### 谈谈会话技术的发展？
|
||||
|
||||
- 单机 - Session + Cookie
|
||||
- 多机器
|
||||
- 在负载均衡侧 - Session 粘滞
|
||||
- Session数据同步
|
||||
- 多机器，集群 - session集中管理，比如redis；目前方案上用的最多的是SpringSession，早前也有用tomcat集成方式的。
|
||||
- 无状态token，比如JWT
|
||||
|
||||
#### 分布式会话有哪些解决方案？
|
||||
|
||||
- Session Stick
|
||||
- Session Replication
|
||||
- Session 数据集中存储
|
||||
- Cookie Based
|
||||
- JWT
|
||||
|
||||
#### 什么是Session Stick?
|
||||
|
||||
方案即将客户端的每次请求都转发至同一台服务器，这就需要负载均衡器能够根据每次请求的会话标识（SessionId）来进行请求转发，如下图所示。
|
||||
|
||||
|
||||
|
||||
这种方案实现比较简单，对于Web服务器来说和单机的情况一样。但是可能会带来如下问题：
|
||||
|
||||
- 如果有一台服务器宕机或者重启，那么这台机器上的会话数据会全部丢失。
|
||||
- 会话标识是应用层信息，那么负载均衡要将同一个会话的请求都保存到同一个Web服务器上的话，就需要进行应用层（第7层）的解析，这个开销比第4层大。
|
||||
- 负载均衡器将变成一个有状态的节点，要将会话保存到具体Web服务器的映射。和无状态节点相比，内存消耗更大，容灾方面也会更麻烦。
|
||||
|
||||
PS：为什么这种方案到目前还有很多项目使用呢？因为不需要在项目代码侧改动，而是只需要在负载均衡侧改动。
|
||||
|
||||
#### 什么是Session Replication？
|
||||
|
||||
Session Replication 的方案则不对负载均衡器做更改，而是在Web服务器之间增加了会话数据同步的功能，各个服务器之间通过同步保证不同Web服务器之间的Session数据的一致性，如下图所示。
|
||||
|
||||
|
||||
|
||||
Session Replication 方案对负载均衡器不再有要求，但是同样会带来以下问题：
|
||||
|
||||
- 同步Session数据会造成额外的网络带宽的开销，只要Session数据有变化，就需要将新产生的Session数据同步到其他服务器上，服务器数量越多，同步带来的网络带宽开销也就越大。
|
||||
- 每台Web服务器都需要保存全部的Session数据，如果整个集群的Session数量太多的话，则对于每台机器用于保存Session数据的占用会很严重。
|
||||
|
||||
#### 什么是Session 数据集中存储？
|
||||
|
||||
Session 数据集中存储方案则是将集群中的所有Session集中存储起来，Web服务器本身则并不存储Session数据，不同的Web服务器从同样的地方来获取Session，如下图所示。
|
||||
|
||||
|
||||
|
||||
相对于Session Replication方案，此方案的Session数据将不保存在本机，并且Web服务器之间也没有了Session数据的复制，但是该方案存在的问题在于：
|
||||
|
||||
- 读写Session数据引入了网络操作，这相对于本机的数据读取来说，问题就在于存在时延和不稳定性，但是通信发生在内网，则问题不大。
|
||||
- 如果集中存储Session的机器或集群出现问题，则会影响应用。
|
||||
|
||||
#### 什么是Cookie Based Session?
|
||||
|
||||
Cookie Based 方案是将**Session数据放在Cookie里**，访问Web服务器的时候，再由Web服务器生成对应的Session数据，如下图所示。
|
||||
|
||||
|
||||
|
||||
但是Cookie Based 方案依然存在不足：
|
||||
|
||||
- Cookie长度的限制。这会导致Session长度的限制。
|
||||
- 安全性。Seesion数据本来是服务端数据，却被保存在了客户端，即使可以加密，但是依然存在不安全性。
|
||||
- 带宽消耗。这里不是指内部Web服务器之间的宽带消耗，而是数据中心的整体外部带宽的消耗。
|
||||
- 性能影响。每次HTTP请求和响应都带有Seesion数据，对Web服务器来说，在同样的处理情况下，响应的结果输出越少，支持的并发就会越高。
|
||||
|
||||
#### 什么是JWT？使用JWT的流程？对比传统的会话有啥区别？
|
||||
|
||||
JSON Web Token，一般用它来替换掉Session实现数据共享。
|
||||
|
||||
使用基于 Token 的身份验证方法，在服务端不需要存储用户的登录记录。大概的流程是这样的：
|
||||
|
||||
- 1、客户端通过用户名和密码登录服务器；
|
||||
- 2、服务端对客户端身份进行验证；
|
||||
- 3、服务端对该用户生成Token，返回给客户端；
|
||||
- 4、客户端将Token保存到本地浏览器，一般保存到cookie中；
|
||||
- 5、客户端发起请求，需要携带该Token；
|
||||
- 6、服务端收到请求后，首先验证Token，之后返回数据。
|
||||
|
||||
#### 什么是JWT？使用JWT的流程？对比传统的会话有啥区别？
|
||||
|
||||
JSON Web Token，一般用它来替换掉Session实现数据共享。
|
||||
|
||||
使用基于 Token 的身份验证方法，在服务端不需要存储用户的登录记录。大概的流程是这样的：
|
||||
|
||||
- 1、客户端通过用户名和密码登录服务器；
|
||||
- 2、服务端对客户端身份进行验证；
|
||||
- 3、服务端对该用户生成Token，返回给客户端；
|
||||
- 4、客户端将Token保存到本地浏览器，一般保存到cookie中；
|
||||
- 5、客户端发起请求，需要携带该Token；
|
||||
- 6、服务端收到请求后，首先验证Token，之后返回数据。
|
||||
|
||||
|
||||
|
||||
如上图为Token实现方式，浏览器第一次访问服务器，根据传过来的唯一标识userId，服务端会通过一些算法，如常用的HMAC-SHA256算法，然后加一个密钥，生成一个token，然后通过BASE64编码一下之后将这个token发送给客户端；客户端将token保存起来，下次请求时，带着token，服务器收到请求后，然后会用相同的算法和密钥去验证token，如果通过，执行业务操作，不通过，返回不通过信息。
|
||||
|
||||
可以对比下图session实现方式，流程大致一致。
|
||||
|
||||
|
||||
|
||||
**优点**：
|
||||
|
||||
- 无状态、可扩展 ：在客户端存储的Token是无状态的，并且能够被扩展。基于这种无状态和不存储Session信息，负载均衡器能够将用户信息从一个服务传到其他服务器上。
|
||||
- 安全：请求中发送token而不再是发送cookie能够防止CSRF(跨站请求伪造)。
|
||||
- 可提供接口给第三方服务：使用token时，可以提供可选的权限给第三方应用程序。
|
||||
- 多平台跨域
|
||||
|
||||
对应用程序和服务进行扩展的时候，需要介入各种各种的设备和应用程序。 假如我们的后端api服务器a.com只提供数据，而静态资源则存放在cdn 服务器b.com上。当我们从a.com请求b.com下面的资源时，由于触发浏览器的同源策略限制而被阻止。
|
||||
|
||||
**我们通过CORS（跨域资源共享）标准和token来解决资源共享和安全问题**。
|
||||
|
||||
举个例子，我们可以设置b.com的响应首部字段为：
|
||||
|
||||
```bash
|
||||
// 第一行指定了允许访问该资源的外域 URI。
|
||||
Access-Control-Allow-Origin: http://a.com
|
||||
|
||||
// 第二行指明了实际请求中允许携带的首部字段，这里加入了Authorization，用来存放token。
|
||||
Access-Control-Allow-Headers: Authorization, X-Requested-With, Content-Type, Accept
|
||||
|
||||
// 第三行用于预检请求的响应。其指明了实际请求所允许使用的 HTTP 方法。
|
||||
Access-Control-Allow-Methods: GET, POST, PUT,DELETE
|
||||
|
||||
// 然后用户从a.com携带有一个通过了验证的token访问B域名，数据和资源就能够在任何域上被请求到。
|
||||
```
|
||||
|
||||
### 13.8 常见系统设计
|
||||
|
||||
#### 如何设计一个秒杀系统？
|
||||
|
||||
- **秒杀特点及思路？**
|
||||
|
||||
短时间内，大量用户涌入，集中读和写有限的库存。
|
||||
|
||||
1. 尽量将请求拦截在系统上游（越上游越好）；
|
||||
2. 读多写少的多使用缓存（缓存抗读压力）；
|
||||
|
||||
- **从分层角度理解？**
|
||||
|
||||
层层拦截，将请求尽量拦截在系统上游，避免将锁冲落到数据库上。
|
||||
|
||||
- 第一层：客户端优化
|
||||
|
||||
产品层面，用户点击“查询”或者“购票”后，按钮置灰，禁止用户重复提交请求； JS层面，限制用户在x秒之内只能提交一次请求，比如微信摇一摇抢红包。 基本可以拦截80%的请求。
|
||||
|
||||
- 第二层：站点层面的请求拦截（nginx层，写流控模块）
|
||||
|
||||
怎么防止程序员写for循环调用，有去重依据么? IP? cookie-id? …想复杂了，这类业务都需要登录，用uid即可。在站点层面，对uid进行请求计数和去重，甚至不需要统一存储计数，直接站点层内存存储（这样计数会不准，但最简单，比如guava本地缓存）。一个uid，5秒只准透过1个请求，这样又能拦住99%的for循环请求。 对于5s内的无效请求，统一返回错误提示或错误页面。
|
||||
|
||||
这个方式拦住了写for循环发HTTP请求的程序员，有些高端程序员（黑客）控制了10w个肉鸡，手里有10w个uid，同时发请求（先不考虑实名制的问题，小米抢手机不需要实名制），这下怎么办，站点层按照uid限流拦不住了。
|
||||
|
||||
- 第三层：服务层拦截
|
||||
|
||||
方案一：写请求放到队列中，每次只透有限的写请求到数据层，如果成功了再放下一批，直到库存不够，队列里的写请求全部返回“已售完”。
|
||||
|
||||
方案二：或采用漏斗机制，只放一倍的流量进来，多余的返回“已售完”，把写压力转换成读压力。 读请求，用cache，redis单机可以抗10W QPS,用异步线程定时更新缓存里的库存值。
|
||||
|
||||
还有提示“模糊化”，比如火车余票查询，票剩了58张，还是26张，你真的关注么，其实我们只关心有票和无票。
|
||||
|
||||
- 第四层：数据库层
|
||||
|
||||
浏览器拦截了80%，站点层拦截了99.9%并做了页面缓存，服务层又做了写请求队列与数据缓存，每次透到数据库层的请求都是可控的。 db基本就没什么压力了，通过自身锁机制来控制，避免出现超卖。
|
||||
|
||||
- **从架构角度理解？**
|
||||
|
||||
1. 高性能
|
||||
|
||||
1. 动静分离
|
||||
|
||||
|
||||
|
||||
秒杀过程中你是不需要刷新整个页面的，只有时间在不停跳动。这是因为一般都会对大流量的秒杀系统做系统的静态化改造，即数据意义上的动静分离。动静分离三步走：
|
||||
|
||||
1. 数据拆分；
|
||||
2. 静态缓存；
|
||||
3. 数据整合。
|
||||
|
||||
2. **热点优化** 数据的热点优化与动静分离是不一样的，热点优化是基于二八原则对数据进行了纵向拆分，以便进行针对性地处理。热点识别和隔离不仅对“秒杀”这个场景有意义，对其他的高性能分布式系统也非常有参考价值。
|
||||
|
||||
3. 系统优化
|
||||
|
||||
1. 减少序列化：减少 Java 中的序列化操作可以很好的提升系统性能。序列化大部分是在 RPC 阶段发生，因此应该尽量减少 RPC 调用，一种可行的方案是将多个关联性较强的应用进行 “合并部署”，从而减少不同应用之间的 RPC 调用（微服务设计规范）
|
||||
2. 直接输出流数据：只要涉及字符串的I/O操作，无论是磁盘 I/O 还是网络 I/O，都比较耗费 CPU 资源，因为字符需要转换成字节，而这个转换又必须查表编码。所以对于常用数据，比如静态字符串，推荐提前编码成字节并缓存，具体到代码层面就是通过 OutputStream() 类函数从而减少数据的编码转换；另外，热点方法toString()不要直接调用ReflectionToString实现，推荐直接硬编码，并且只打印DO的基础要素和核心要素
|
||||
3. 裁剪日志异常堆栈：无论是外部系统异常还是应用本身异常，都会有堆栈打出，超大流量下，频繁的输出完整堆栈，只会加剧系统当前负载。可以通过日志配置文件控制异常堆栈输出的深度
|
||||
4. 去组件框架：极致优化要求下，可以去掉一些组件框架，比如去掉传统的 MVC 框架，直接使用 Servlet 处理请求。这样可以绕过一大堆复杂且用处不大的处理逻辑，节省毫秒级的时间，当然，需要合理评估你对框架的依赖程度
|
||||
|
||||
2. 高可用
|
||||
|
||||
1. 流量削峰
|
||||
1. 答题：答题目前已经使用的非常普遍了，本质是通过在入口层削减流量，从而让系统更好地支撑瞬时峰值。
|
||||
2. MQ： 最为常见的削峰方案是使用消息队列，通过把同步的直接调用转换成异步的间接推送缓冲瞬时流量。
|
||||
3. 过滤
|
||||
2. **Plan B**： 为了保证系统的高可用，必须设计一个 Plan B 方案来进行兜底。
|
||||
|
||||
#### 接口设计要考虑哪些方面？
|
||||
|
||||
讲讲几个要点：
|
||||
|
||||
- 接口版本化
|
||||
- 命名规范
|
||||
- 请求参数的规范性及处理的统一性
|
||||
- 返回数据类型、返回码及信息提示的规范性
|
||||
- 接口安全验证及权限的控制
|
||||
- 请求接口日志的记录
|
||||
- 良好的接口说明文档和测试程序
|
||||
|
||||
#### 什么是接口幂等？如何保证接口的幂等性？
|
||||
|
||||
接口的幂等性实际上就是接口可重复调用，在调用方多次调用的情况下，接口最终得到的结果是一致的。有些接口可以天然的实现幂等性，比如查询接口，对于查询来说，你查询一次和两次，对于系统来说，没有任何影响，查出的结果也是一样。
|
||||
|
||||
除了查询功能具有天然的幂等性之外，增加、更新、删除都要保证幂等性。那么如何来保证幂等性呢？
|
||||
|
||||
- **全局唯一ID**
|
||||
|
||||
如果使用全局唯一ID，就是根据业务的操作和内容生成一个全局ID，在执行操作前先根据这个全局唯一ID是否存在，来判断这个操作是否已经执行。如果不存在则把全局ID，存储到存储系统中，比如数据库、redis等。如果存在则表示该方法已经执行。
|
||||
|
||||
从工程的角度来说，使用全局ID做幂等可以作为一个业务的基础的微服务存在，在很多的微服务中都会用到这样的服务，在每个微服务中都完成这样的功能，会存在工作量重复。另外打造一个高可靠的幂等服务还需要考虑很多问题，比如一台机器虽然把全局ID先写入了存储，但是在写入之后挂了，这就需要引入全局ID的超时机制。
|
||||
|
||||
使用全局唯一ID是一个通用方案，可以支持插入、更新、删除业务操作。但是这个方案看起来很美但是实现起来比较麻烦，下面的方案适用于特定的场景，但是实现起来比较简单。
|
||||
|
||||
- **去重表**
|
||||
|
||||
这种方法适用于在业务中有唯一标的插入场景中，比如在以上的支付场景中，如果一个订单只会支付一次，所以订单ID可以作为唯一标识。这时，我们就可以建一张去重表，并且把唯一标识作为唯一索引，在我们实现时，把创建支付单据和写入去去重表，放在一个事务中，如果重复创建，数据库会抛出唯一约束异常，操作就会回滚。
|
||||
|
||||
- **插入或更新**
|
||||
|
||||
这种方法插入并且有唯一索引的情况，比如我们要关联商品品类，其中商品的ID和品类的ID可以构成唯一索引，并且在数据表中也增加了唯一索引。这时就可以使用InsertOrUpdate操作。在mysql数据库中如下：
|
||||
|
||||
```sql
|
||||
insert into goods_category (goods_id,category_id,create_time,update_time)
|
||||
values(#{goodsId},#{categoryId},now(),now())
|
||||
on DUPLICATE KEY UPDATE
|
||||
update_time=now()
|
||||
```
|
||||
|
||||
- **多版本控制**
|
||||
|
||||
这种方法适合在更新的场景中，比如我们要更新商品的名字，这时我们就可以在更新的接口中增加一个版本号，来做幂等
|
||||
|
||||
```java
|
||||
boolean updateGoodsName(int id,String newName,int version);
|
||||
```
|
||||
|
||||
在实现时可以如下
|
||||
|
||||
```sql
|
||||
update goods set name=#{newName},version=#{version} where id=#{id} and version<${version}
|
||||
```
|
||||
|
||||
- **状态机控制**
|
||||
|
||||
这种方法适合在有状态机流转的情况下，比如就会订单的创建和付款，订单的付款肯定是在之前，这时我们可以通过在设计状态字段时，使用int类型，并且通过值类型的大小来做幂等，比如订单的创建为0，付款成功为100。付款失败为99
|
||||
|
||||
在做状态机更新时，我们就这可以这样控制
|
||||
|
||||
```sql
|
||||
update `order` set status=#{status} where id=#{id} and status<#{status}
|
||||
```
|
||||
@@ -8,6 +8,7 @@
|
||||
# index: true
|
||||
title: Java全栈面试
|
||||
index: true
|
||||
headerDepth: 3
|
||||
# icon: laptop-code
|
||||
# sidebar: true
|
||||
# toc: true
|
||||
|
||||
Reference in New Issue
Block a user