现象

测试环境SQL执行失败，有如下错误日志

Caused by: org.apache.ibatis.ognl.NoSuchPropertyException: com.xxx.entity.BusinessRequest.specialFlag
        at org.apache.ibatis.ognl.ObjectPropertyAccessor.getProperty(ObjectPropertyAccessor.java:151) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.OgnlRuntime.getProperty(OgnlRuntime.java:2420) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.ASTProperty.getValueBody(ASTProperty.java:114) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.SimpleNode.evaluateGetValueBody(SimpleNode.java:212) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.SimpleNode.getValue(SimpleNode.java:258) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.ASTChain.getValueBody(ASTChain.java:141) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.SimpleNode.evaluateGetValueBody(SimpleNode.java:212) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.SimpleNode.getValue(SimpleNode.java:258) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.ASTNotEq.getValueBody(ASTNotEq.java:50) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.SimpleNode.evaluateGetValueBody(SimpleNode.java:212) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.SimpleNode.getValue(SimpleNode.java:258) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.Ognl.getValue(Ognl.java:494) ~[mybatis-3.3.1.jar:3.3.1]
        at org.apache.ibatis.ognl.Ognl.getValue(Ognl.java:458) ~[mybatis-3.3.1.jar:3.3.1]

话不多说，先看代码

public static void main(String[] args) throws Exception {
    // 创建线程池，核心线程和最大线程数都为3，任务队列大小为1
    ThreadPoolExecutor taskPoolExecutor = new ThreadPoolExecutor(3, 3, 30, TimeUnit.SECONDS, new LinkedBlockingQueue<>(1));
    // 预先初始化3个核心线程
    taskPoolExecutor.prestartAllCoreThreads();

    // 提交2个任务，异常：RejectedExecutionException，理论上有可能不出现异常，但实际运行时，基本上是必现的
    for (int i = 0; i < 2; i++) {
        final int finalI = i;
        taskPoolExecutor.execute(() -> {
            System.out.println(Thread.currentThread().getName() + " : " + finalI);
        });
    }
}

现象

测试环境app报错，查看日志发现是Dubbo服务调用失败，错误日志大概是这样的

Failed to invoke method xxxService, cause: com.alibaba.dubbo.rpc.RpcException: 
Failed to invoke the method xxx in the service com.xxx.xxxService 
Tried 3 times of the providers [10.40.15.50:50007] (1/1) from the registry zk.xx.com:2181 on the consumer 10.40.11.171 using the dubbo version 2.4.9. 
Last error is: Failed to invoke remote method: xxx, provider: dubbo://10.40.15.50:50007/com.xxx.xxxService

现象

监控系统发现服务挂掉
登上机器 ps -ef|grep ** 发现进程还在，因为监控系统是通过心跳检测来监控服务的存活状态的，服务假死了。

排查过程

1、df、free、top 三连
磁盘空间正常、内存使用率正常、某个进程的CPU占用率达300%多

2、top -H-p pid
查看占用CPU最高的进程对应线程，得到线程ID tid

3、printf ‘%x’ tid
线程ID转为16进制