silen三流码农

Jaeger 链路追踪方案解析 背景 在大型的微服务架构中，一次请求下去可能会有多个rpc调用，而每个调用到的服务又会有其他的rpc调用，这个过程，会串联成一次完整的链路。一个完善的链路追踪监控，有助于我们还原每一次请求的链路，并还原其过程中的请求，返回，异常，耗时等等。。 市面上有zipkin,skyworking,Jaeger这些开源的链路追踪系统，他们各有各的优势和局限性，今天主要介绍下Jaeger OpenTracing 在介绍jaeger之前，必须要对OpenTracing有一定的了解，OpenTracing的出现源于Google 在内部部署了一套分布式追踪系统 Dapper，并发表...

开始 curator 是Zookeeper的客户端框架。curator在zookeeper原生API的基础上进行了封装，提供了注册，watch，以及recipe，分布式锁，Master选举等等。他帮助我们屏蔽了zookeeper复杂的原生api。 本文将介绍是如何基于curator的cache来实现对Zookeeper节点的watch。 Zookeeper的watch Zookeeper通常以远程服务的方式被调用。每次访问znode时候，客户端需要额外获取节点中的内容，这种代价是非常大的。因为这样会导致更高的延迟，而且Zookeeper需要更多的操作。 为了解决这个问题，Zookeeper采用...

背景 微服务架构，为了保证所有服务可用，当服务发生问题时能及时摘除有问题的服务需要定期检测服务可用性，即健康检查。通常健康健康检查包括TCP与HTTP两种。即定时发送TCP或HTTP请求，根据响应来确定服务是否可用。 总体架构 健康检查目标 a) 启动健康检查, 在发布过程中程序启动时候查看是否已满足启动检查需要,如果不满足, 使用b的方式暴露http接口提供给开发去检查 b) 运行时健康检查, 检查各个组件是否正常提供服务,可以分islive,readiness 健康状态检查方式 a) 暴露http、tcp端口,定期pull接口,通过http code、http body 查看服务状态,不同...

设计目的 保证系统不被请求压垮 在保证系统稳定的前提下，尽可能的提供高的吞吐 设计考虑因素 如何衡量系统负载 是否处于虚机或者容器里，需要读取cgroup的相关负载 用1000m表示100%的CPU，使用800m表示系统高负载 尽可能小的Overhead，不显著增加RT 不考虑服务本身所依赖的DB或者缓存系统问题，这类问题通过熔断机制来解决 衡量负载的计算方式 这儿拿容器中的衡量方式来举例 读取容器的cpu.cfs_quota_us，cpu.cfs_period_us cfs_quota_us/cfs_period_us 得到该容器可用的最多CPU核数 从/proc/stat 中拿到cpu的使...

对于我们java开发者来说，提到单元测试都会说Junit。确实，Junit是我们用的最多的测试库，但是Junit在面对某些情况的时候，会有点不好搞。比如，你的方法里有依赖外部服务，比如rpc的远程调用，api服务的返回等。而Junit我们更关注结果的返回，而mockito呢，则更多的是在mock数据方面。 今天我们下面简单介绍下mockito 首先我们在pom中引入mockito <!-- https://mvnrepository.com/artifact/org.mockito/mockito-core --> <dependency> <groupId>org.mockito</...

一.背景 1.公司的后端架构基于k8s的微服务体系，每个服务都拥有独立的Mysql库。而我们还有MongoDB集群，redis集群的数据分布，这样对于我们在做数据聚合的时候异常麻烦，数据抽象也不够具体。公司的平均日活大概在500W左右，最近在研发推荐系统，需要大量的数据来跑行为分析，所以搭建完善的数据聚合平台迫在眉睫。 2.每天会有百万次的查询请求，数据的查询粒度由上往下，愈发细，关键业务的数据需要穿插多个rpc，关联好几M的数据，维度的不同，导致查询的压力也极速上升 初始的时候，我们尝试将MySQL做Sharding，但数据量较大，成本还是比较高的。然后又尝试将热点扔到ES中，但是如果信息变...

事务 事务的概念以及用法这边就不赘述了，事务的ACID特性也不多说了，我们来聊一聊事务的隔离和多版本并发的一点知识 隔离级别 1.Read Uncommited (未提交读) 事务中的修改，即使没有提交，对其他事务也是可见的。事务可以读到未提交的数据，也就是脏读 2.Read Commited (提交读) 一个事务在开始的时候，只能看见已经提交的事务所做的修改。意思也就是，一个事务在正式提交前，所做的修改对其他事务都是不可见的。他所造成的问题是，当执行多个同样的查询时候，可能得到不一样的结果。 3.Repeatable Read (可重复读) 该级别保证了在同一个事务中多次读取同样的记录结果是...

关于kafka的一些基础知识我想大家都知道，今天抽空整理下这些年使用kafka的一些调优技巧 首先明确一点，kafka的配置的核心点 在于 磁盘的刷新率 ，这也是影响kafka吞吐量的最最重要的一点！ 而对于kafka的性能我们有两个指标，一个是延迟率，一个是吞吐量。所谓延迟率，就是处理一个事件需要多少事件。吞吐率则是说特定的时间内有多少事件到达。他们之间其实是相互平衡的。如果kafka有足够的broker去处理Topic，那么他一定是需要一定的延迟去处理这些消息的。 我们就从生产者和消费者两个方面来分析 生产者 kafka使用的是异步的发布-订阅模型。当我们send()一个消息的时候，结果是...

执行流程 我们从一个简单的启动线程开始看 public static void main(String[] args){   new Thread(){    @Override    public void run() {     super.run();    }   }.start(); } 这是一个最基础的线程启动方法，我们点进去看下 我们看下上面的这部分代码 第一步校验线程的状态，我们知道线程的状态从new->running，他这新的线程标识为0，也就是说非0的线程不启动，抛出异常 group.add 将线程加入到group组中，这个group组是呈递减的 在下面的核心方法 try...

在剖析ClassLoader源码之前我们先来了解下类加载器 类加载器 类加载机制 我们都知道，java代码编译完成后会先形成一个.class文件，.class文件再加载到虚拟机中才能运行和使用。 虚拟机把描述类的数据从class文件加载到内存，并对数据做校验，转换，解析，初始化，最终形成可以被虚拟机直接使用的JAVA类型，这是类加载机制。 类加载器 类加载器就是对类加载机制过程的封装。 在《深入理解JAVA虚拟机》这本书中是这么定义类加载器的 “通过一个类的全限定名来获取描述此类的二进制字节流”这个动作放到JAVA虚拟机外部去实现，以便让应用程序去获取所需要的类，实现这个动作的代码模块就是“类...