4 服务熔断与降级 Hystrix

Hystrix概述

分布式系统面临的问题

复杂分布式体系结构中的应用程序有数十个依赖关系，每个依赖关系在某些时候将不可避免地失败

服务雪崩

多个微服务之间调用地时候，假设微服务A调用微服务B和微服务C，微服务B和微服务C又调用其他地微服务，称为扇出

如果扇出地链路上某个微服务的调用响应时间过长或者不可用，对微服务A的调用就会占用越来越多的系统资源，进而引起系统崩溃，即“雪崩效应”

对于高流量的应用来说，单一的后端依赖可能会导致所有服务器上的所有资源都在几秒内出现饱和。

比失败更糟糕的是，这些应用程序可能导致服务之间的延迟增加，备份队列、线程和其他系统资源紧张，导致整个系统发生更多的级联故障需要对故障和延迟进行隔离和管理，以便单个依赖关系的失败，不能取消整个应用程序或系统

当发现一个模块下的某个实例失败后，该模块仍然接受流量，然后有问题的模块调用其他的模块，就会发生级联故障（雪崩）

Hystrix

Hystrix是一个用于处理分布式系统的延迟和容错的开源库，在分布式系统中，许多依赖不可避免地调用失败（超时、异常）。Hystrix能保证在一个依赖出问题的情况下，不会导致整体服务失败，避免级联故障，以提高分布式系统的弹性

“断路器”本身是一种开关装置，当某个服务单元发生故障后，通过断路器的故障监控（类似熔断保险丝），向调用方法返回一个符合预期的、可处理的备选响应（FallBack），而不是长时间的等待或抛出调用方无法处理的异常，这样保证服务调用方的线程不会被长时间、不必要的占用，从而避免故障在分布式系统中的蔓延，乃至雪崩

Hystrix作用

• 服务降级
• 服务熔断
• 接近实时的监控

使用教程7.2

How-To-Use

服务降级/熔断/限流

服务降级

服务降级一般是指在服务器压力剧增的时候，根据实际业务使用情况以及流量，对一些服务和页面有策略的不处理或者用一种简单的方式进行处理，从而释放服务器资源的资源以保证核心业务的正常高效运行。

通常原因为服务器的资源是有限的，而请求是无限的。在用户使用即并发高峰期，会影响整体服务的性能，严重的话会导致宕机，以至于某些重要服务不可用。故高峰期为了保证核心功能服务的可用性，就需要对某些服务降级处理。可以理解为舍小保大，通常处理为不让客户端等待而是立即返回一个友好的提示。

服务降级是从整个系统的负荷情况出发和考虑的，对某些负荷会比较高的情况，为了预防某些功能（业务场景）出现负荷过载或者响应慢的情况，在其内部暂时舍弃对一些非核心的接口和数据的请求，而直接返回一个提前准备好的fallback（兜底处理）错误处理信息。这样，虽然提供的是一个有损的服务，但却保证了整个系统的稳定性和可用性。

服务降级场景

• 程序运行异常
• 超时
• 服务熔断触发服务降级
• 线程池/信号量打满也会导致服务降级

服务熔断

熔断机制是应对雪崩效应的一种微服务链路保护机制。 高压电路中，如果某个地方的电压过高，熔断器就会熔断，对电路进行保护。股票交易中，如果股票指数过高，也会采用熔断机制，暂停股票的交易。同样，在微服务架构中，熔断机制也是起着类似的作用。当扇出链路的某个微服务不可用或者响应时间太长时，会进行服务的降级，进而熔断该节点微服务的调用，快速返回错误的响应信息。当检测到该节点微服务调用响应正常后，恢复调用链路。

服务限流

有些场景并不能用熔断和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）、频繁的复杂查询（评论的最后几页），因此需有一种手段来限制这些场景的并发/请求量，即限流。

限流的目的是通过对并发请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务（定向到错误页或告知资源没有了）、排队或等待（比如秒杀、评论、下单）、降级（返回兜底数据或默认数据，如商品详情页库存默认有货）

Hystrix支付服务构建

1.新建cloud-provider-hystrix-payment-8001

2.引入pom

• spring-cloud-starter-netflix-hystrix
• spring-cloud-starter-netflix-eureka-client
• spring-boot-starter-web

• spring-boot-starter-actuator

• spring-boot-starter-test

3.配置YML

server:
  port: 8001

spring:
  application:
    name: cloud-provider-hystrix-payment

eureka:
  client:
    register-with-eureka: true
    fetch-registry: true
    service-url:
      #defaultZone: http://eureka7001.com:7001/eureka,http://eureka7002.com:7002/eureka
      defaultZone: http://eureka7001.com:7001/eureka

4.添加主启动

@SpringBootApplication
@EnableEurekaClient
public class PaymentHystrixMain8001 {

    public static void main(String[] args) {
        SpringApplication.run(PaymentHystrixMain8001.class, args);
    }
}

5.处理业务

业务

public class PaymentServiceImpl implements PaymentService {

    @Override
    public String paymentInfo_Success(Integer id) {
        return "ThreadPool: " + Thread.currentThread().getName() + "  paymentInfo_Success, id: " + id + "Success!";
    }

    @Override
    public String paymentInfo_TimeOut(Integer id) {
        int time = 3;
        try {
            TimeUnit.SECONDS.sleep(time);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return "ThreadPool: " + Thread.currentThread().getName() + "  paymentInfo_TimeOut, id: " + id + "Success!";
    }
}

控制器

@Slf4j
@RestController
@RequestMapping("/payment")
public class PaymentController {

    @Resource
    private PaymentService paymentService;

    @Value("${server.port}")
    private String serverPort;

    @GetMapping("/hystrix/success/{id}")
    public String paymentInfo_Success(@PathVariable("id") Integer id) {
        String result = paymentService.paymentInfo_Success(id);
        log.info("result = " + result);
        return result;
    }

    @GetMapping("/hystrix/timeout/{id}")
    public String paymentInfo_TimeOut(@PathVariable("id") Integer id)
    {
        String result = paymentService.paymentInfo_TimeOut(id);
        log.info("*result = " + result);
        return result;
    }
}

6.测试

1. 启动eurak7001
2. 启动cloud-provider-hystrix-payment-8001
3. 访问
   • success：http://localhost:8001/payment/hystrix/success/1
   • timeout：http://localhost:8001/payment/hystrix/timeout/1

Hystrix订单服务构建

1.新建cloud-consumer-feign-hystrix-order-80

2.引入pom

• spring-cloud-starter-openfeign
• spring-cloud-starter-netflix-hystrix
• spring-cloud-starter-netflix-eureka-client
• spring-boot-starter-web
• spring-boot-starter-actuator
• spring-boot-starter-test

3.配置yml

server:
  port: 80

eureka:
  client:
    register-with-eureka: false
    service-url:
      defaultZone: http://eureka7001.com:7001/eureka/

4.添加主启动

@SpringBootApplication
@EnableFeignClients
public class OrderHystrixMain80 {

    public static void main(String[] args) {
        SpringApplication.run(OrderHystrixMain80.class, args);
    }
}

5.处理业务

@FeignClient(value = "CLOUD-PROVIDER-HYSTRIX-PAYMENT")
public interface PaymentHystrixService {

    @GetMapping("/payment/hystrix/success/{id}")
    String paymentInfo_Success(@PathVariable("id") Integer id);

    @GetMapping("/payment/hystrix/timeout/{id}")
    String paymentInfo_TimeOut(@PathVariable("id") Integer id);
}

@Slf4j
@RestController
@RequestMapping("/consumer")
public class OrderHystrixController {

    @Resource
    private PaymentHystrixService paymentHystrixService;

    @GetMapping("/payment/hystrix/success/{id}")
    public String paymentInfo_Success(@PathVariable("id") Integer id) {
        String result = paymentHystrixService.paymentInfo_Success(id);
        return result;
    }

    @GetMapping("/payment/hystrix/timeout/{id}")
    public String paymentInfo_TimeOut(@PathVariable("id") Integer id) {
        String result = paymentHystrixService.paymentInfo_TimeOut(id);
        return result;
    }
}

6.测试

1. 正常访问测试

   • http://localhost:8001/payment/hystrix/timeout/1
   • http://localhost:8001/payment/hystrix/success/1

2. 高并发测试

   • 用两万线程去访问8001
   • 消费端80服务再去访问正常的Success微服务8001地址

结论 出现故障

原因

• Tomcat线程池的工作现场被挤占完毕，8001同一层次的其他接口服务被困死
• 80此时调用8001，客户端访问响应缓慢

降级容错解决的维护要求

超时导致服务器变慢（转圈）

超时不再等待

出错（宕机或程序运行出错）

出错有兜底

解决方案

• 对方服务（8001）超时，调用者（80）不能一直卡死等待，必须有服务降级
• 对方服务（8001）宕机，调用者（80）不能一直卡死等待，必须有服务降级
• 对方服务（8001）Success，调用者（80）自己出故障或者有自我要求（自己的等待事件小于服务提供者），自己处理降级

服务降级

支付降级

降级配置

@HystrixCommand

服务提供者8001从自身找出问题

设置自身调用超时时间的峰值，峰值内可以正常运行，超过需要有兜底的方法处理，做服务降级fallback

服务提供者8001fallback

业务类启用

@Service
public class PaymentServiceImpl implements PaymentService {

    @Override
    public String paymentInfo_Success(Integer id) {
        return "ThreadPool: " + Thread.currentThread().getName() + "  paymentInfo_Success, id: " + id + "Success!";
    }

    @Override
    @HystrixCommand(fallbackMethod = "paymentInfo_TimeOutHandler", commandProperties = {
            @HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "3000") // 3s内正常业务逻辑
    })
    public String paymentInfo_TimeOut(Integer id) {
        // time超过峰值
        int time = 5;
        try {
            TimeUnit.SECONDS.sleep(time);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return "ThreadPool: " + Thread.currentThread().getName() + "  paymentInfo_TimeOut, id: " + id + "TimeOut!";
    }

    public String paymentInfo_TimeOutHandler(Integer id) {
        return "ThreadPool: " + Thread.currentThread().getName() + "  系统繁忙，请稍后再试, id: " + id + "TimeOutHandler!";
    }
}

HystrixCommand报异常后如何处理

• 一旦调用服务方法失败并抛出错误信息后，会自动调用@HystrixCommand标注好的fallbackMethod调用类中的指定方法

主启动激活

添加新注解@EnableCircuitBreaker

@SpringBootApplication
@EnableEurekaClient
@EnableCircuitBreaker
public class PaymentHystrixMain8001 {

    public static void main(String[] args) {
        SpringApplication.run(PaymentHystrixMain8001.class, args);
    }
}

订单降级

1.YML

feign:
  hystrix:
    enabled: true

2.主启动

@SpringBootApplication
@EnableFeignClients
@EnableHystrix
public class OrderHystrixMain80 {

    public static void main(String[] args) {
        SpringApplication.run(OrderHystrixMain80.class, args);
    }
}

3.业务

@Slf4j
@RestController
@RequestMapping("/consumer")
public class OrderHystrixController {

    @Resource
    private PaymentHystrixService paymentHystrixService;

    @GetMapping("/payment/hystrix/success/{id}")
    public String paymentInfo_Success(@PathVariable("id") Integer id) {
        String result = paymentHystrixService.paymentInfo_Success(id);
        return result;
    }

    @GetMapping("/payment/hystrix/timeout/{id}")
    @HystrixCommand(fallbackMethod = "paymentTimeOutFallbackMethod", commandProperties = {
            @HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "1500")
    })
    public String paymentInfo_TimeOut(@PathVariable("id") Integer id) {
        String result = paymentHystrixService.paymentInfo_TimeOut(id);
        return result;
    }

    public String paymentTimeOutFallbackMethod(@PathVariable("id") Integer id) {
        return "消费者80：对方支付系统繁忙，请稍后再试(或者运行出错)";
    }
}

存在问题

上述解决方案：每个业务方法对应一个兜底方法，代码膨胀；

解决方案（全局服务降级）

目的：解决代码膨胀

@DefaultProperties(defaultFallback="")

• 普通业务通过该注解统一跳转到处理结果页面

1. 在OrderHystrixController中编码方法

public String paymentGlobalFallbackMethod() {
    return "Global Exception, please try again~";
}

1. 添加注解@DefaultProperties(defaultFallback = "paymentGlobalFallbackMethod")

@Slf4j
@RestController
@RequestMapping("/consumer")
@DefaultProperties(defaultFallback = "paymentGlobalFallbackMethod")
public class OrderHystrixController {

    @Resource
    private PaymentHystrixService paymentHystrixService;

    @GetMapping("/payment/hystrix/success/{id}")
    public String paymentInfo_Success(@PathVariable("id") Integer id) {
        String result = paymentHystrixService.paymentInfo_Success(id);
        return result;
    }

    @GetMapping("/payment/hystrix/timeout/{id}")
//    @HystrixCommand(fallbackMethod = "paymentTimeOutFallbackMethod", commandProperties = {
//            @HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "1500")
//    })
    @HystrixCommand
    public String paymentInfo_TimeOut(@PathVariable("id") Integer id) {
        String result = paymentHystrixService.paymentInfo_TimeOut(id);
        return result;
    }

    public String paymentTimeOutFallbackMethod(@PathVariable("id") Integer id) {
        return "消费者80：对方支付系统繁忙，请稍后再试(或者运行出错)";
    }

    public String paymentGlobalFallbackMethod() {
        return "Global Exception, please try again~";
    }
}

解决方案（通配服务降级）

目的：解决和业务逻辑混在一起，耦合度较高

服务降级，客户端去调用服务端，碰上服务端宕机或关闭

本次案例服务降级处理在客户端80实现，与服务端8001无关，只需要为Feign客户端定义的接口添加一个服务降级处理的实现类即可实现解耦

常见异常

• 运行
• 超时
• 宕机

根据cloud-consumer-feign-hystrix-order-80已有的PaymentHystrixService接口重新新建一个类PaymentFallbackService实现该接口，统一为接口的方法进行异常处理

public class PaymentFallbackService implements PaymentHystrixService{

    @Override
    public String paymentInfo_Success(Integer id) {
        return "PaymentFallbackService: paymentInfo_Success fallback";
    }

    @Override
    public String paymentInfo_TimeOut(Integer id) {
        return "PaymentFallbackService: paymentInfo_TimeOut fallback";
    }
}

@FeignClient(value = "CLOUD-PROVIDER-HYSTRIX-PAYMENT", fallback = PaymentFallbackService.class)
public interface PaymentHystrixService {

    @GetMapping("/payment/hystrix/success/{id}")
    String paymentInfo_Success(@PathVariable("id") Integer id);

    @GetMapping("/payment/hystrix/timeout/{id}")
    String paymentInfo_TimeOut(@PathVariable("id") Integer id);
}

测试

1. 启动7001和PaymentHystrixMain8001

2. 访问http://localhost/consumer/payment/hystrix/success/111

3. 故意关闭8001

4. 客户端自己调用提示

   此时服务端宕机，但我们做出服务降级处理，客户端在服务端不可用时会获得提示信息而不是挂起耗死服务器

服务熔断

服务熔断理论

熔断机制

熔断机制是应对雪崩效应的一种微服务链路保护机制。当扇出链路的某微服务出错不可用或响应事件太长时，会进行服务降级，进而熔断该节点微服务的调用，快速返回错误的响应信息。当监测到该节点微服务调用响应正常后，恢复调用链路

在SpringCloud框架中，熔断机制通过Hystrix实现。Hystrix会监控微服务间调用的状况，当失败的调用到一定阈值，缺省是5s内20次调用失败，就会启用熔断机制。熔断机制的注解是@HystrixCommand

服务熔断案例

修改cloud-provider-hystrix-payment-8001

@HystrixCommand(fallbackMethod = "paymentCircuitBreaker_fallback",commandProperties = {
        @HystrixProperty(name = "circuitBreaker.enabled",value = "true"),// 是否开启断路器
        @HystrixProperty(name = "circuitBreaker.requestVolumeThreshold",value = "10"),// 请求次数
        @HystrixProperty(name = "circuitBreaker.sleepWindowInMilliseconds",value = "10000"), // 时间窗口期
        @HystrixProperty(name = "circuitBreaker.errorThresholdPercentage",value = "60"),// 失败率达到多少后跳闸
})
@Override
public String paymentCircuitBreaker(@PathVariable("id") Integer id) {
    if(id < 0) {
        throw new RuntimeException("******id 不能负数");
    }
    String serialNumber = IdUtil.simpleUUID();

    return Thread.currentThread().getName()+"\t"+"调用成功，流水号: " + serialNumber;
}
public String paymentCircuitBreaker_fallback(@PathVariable("id") Integer id) {
    return "id 不能负数，请稍后再试，/(ㄒoㄒ)/~~   id: " +id;
}

@GetMapping("/circuit/{id}")
public String paymentCircuitBreaker(@PathVariable("id") Integer id) {
    String result = paymentService.paymentCircuitBreaker(id);
    log.info("result = " + result);
    return result;
}

服务熔断总结

熔断类型

• 熔断打开
  • 请求不再进行调用当前服务，内部设置时钟一般为MTTR（平均故障处理时间），当打开事件达到所设置时钟则进入半熔断状态
• 熔断关闭
  • 熔断关闭不会对服务进行熔断
• 熔断半开
  • 部分请求根据规则调用当前服务，如果请求成功且符合规则则认为当前服务恢复正常呢个，关闭熔断

断路器何时生效

@HystrixCommand(fallbackMethod = "paymentCircuitBreaker_fallback",commandProperties = {
           @HystrixProperty(name = "circuitBreaker.enabled",value = "true"),// 是否开启断路器
           @HystrixProperty(name = "circuitBreaker.requestVolumeThreshold",value = "10"),// 请求次数
           @HystrixProperty(name = "circuitBreaker.sleepWindowInMilliseconds",value = "10000"), // 时间窗口期
           @HystrixProperty(name = "circuitBreaker.errorThresholdPercentage",value = "60"),// 失败率达到多少后跳闸
   })

快照时间窗：断路器确定是否打开需要统计一些请求和错误数据，而统计的时间范围就是快照时间窗，默认为最近的10s

请求总数阈值：在快照时间窗内必须满足请求总数阈值才有资格熔断，默认20s，意味在10s，如果该hystrix命令的调用次数不足20次，即使所有的请求都超时或者其他原因失败，断路器都不会打开

错误百分比阈值：当请求总数在快照时间窗内超过阈值，断路器会打开

断路器开启或关闭条件

• 1.当满足一定阈值时（默认10s内超过20个请求次数）

• 2.当失败率达到一定时（默认10s内超过50%的请求失败）

• 3.到达以上阈值，断路器将会开启

• 4.当开启时，所有请求都不会进行转发
• 5.一段时间后（默认是5s），此时断路器是半开状态，会让其中一个请求进行转发。如果成功，断路器会关闭，如果失败，继续开启。重复4和5

断路器打开之后

再有请求调用时，将不会调用主逻辑，而是直接调用降级fallback。通过断路器，实现自动发现错误并将降级逻辑切换为主逻辑，减少响应延迟的效果

原来的主逻辑如何恢复

当断路器打开，对主逻辑进行熔断后，hystrix会启动一个休眠时间窗，在这个时间窗内，降级逻辑是临时的主要逻辑，当休眠时间窗到期，断路器将进入半开状态，释放一次请求到原来的主逻辑上，如果此请求正常返回，那么断路器将继续闭合，主逻辑恢复，如果这次请求依然有问题，断路器继续打开状态，休眠时间窗重新计时

图形化监控搭建

除了隔离依赖服务外，Hystrix提供准实时调用监控Hystrix Dashboard，SpringCloud提供了相关整合

1.新建cloud-consumer-hystrix-dashboard-9001

2.引入pom

• spring-cloud-starter-netflix-hystrix-dashboard

3.配置yml

server:
  port: 9001

4.添加主启动

@SpringBootApplication
@EnableHystrixDashboard
public class HystrixDashboardMain9001 {

    public static void main(String[] args) {
        SpringApplication.run(HystrixDashboardMain9001.class, args);
    }
}

备注：所有Provider微服务提供类都需要配置监控依赖配置

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>

监控8001.因此修改8001启动类

@SpringBootApplication
@EnableEurekaClient
@EnableCircuitBreaker
public class PaymentHystrixMain8001
{
    public static void main(String[] args) {
            SpringApplication.run(PaymentHystrixMain8001.class, args);
    }


    /**
     *此配置是为了服务监控而配置，与服务容错本身无关，springcloud升级后的坑
     *ServletRegistrationBean因为springboot的默认路径不是"/hystrix.stream"，
     *只要在自己的项目里配置上下面的servlet就可以了
     */
    @Bean
    public ServletRegistrationBean getServlet() {
        HystrixMetricsStreamServlet streamServlet = new HystrixMetricsStreamServlet();
        ServletRegistrationBean registrationBean = new ServletRegistrationBean(streamServlet);
        registrationBean.setLoadOnStartup(1);
        registrationBean.addUrlMappings("/hystrix.stream");
        registrationBean.setName("HystrixMetricsStreamServlet");
        return registrationBean;
    }
}