前言

项目地址：https://github.com/alibaba/pipcook

如果看到此文章之前，不知道 Boa 是啥，可以先看看 Yorkie 的分享 Boa: 在 Node.js 中使用 Python

描述

引用 nodejs.org 的描述

When called, the active Timeout object will not require the Node.js event loop to remain active. If there is no other activity keeping the event loop running, the process may exit before the Timeout object’s callback is invoked. Calling timeout.unref() multiple times will have no effect.

简单的可以理解为：timer.unref 标记句柄，当进程中再无存活的事件，此时的 timer 句柄不会阻止进程退出。

引言

上一篇文章我们讲到负载均衡算法的几种常规实现，今天我们来谈一下另一种实现，也是大多数组件用到的一致性哈希算法。

名词简写

• n ：节点数量
• m ：图片名称
• vn : 虚拟节点数量

描述

引用维基百科的介绍

一致哈希 是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对 K/n 个关键字重新映射，其中 K 是关键字的数量，n 是槽位数量。然而在传统的哈希表中，添加或删除一个槽位的几乎需要对所有关键字进行重新映射。

随机 （Random）

正如命名所知，是一种概率性的事件，从 N 个节点中同概率的选择一个节点进行转发请求，因为是概率性事件，每个节点被选择的概率相同，基数越大效果越等同于轮询法

轮询 （Round Robin）

从 N 个节点中，从中依次选择一个节点，相当于遍历的效果，新的节点加入到节点组末尾，该法强调的是绝对的公平

背景

一开始项目的业务需要比较简单，采取了 controller -> model 的形式进行开发。随着业务量的增加，以前的结构已经不适应于快速的迭代节奏，代码耦合度高，很难复用，维护也很困难。参考着以前写 android 的经验和社区的优秀案例，采取了 controller -> service -> model 的模式重构了项目结构。

问题现场

前后端部署在客户的一个内网的物理机，这个物理机有外网 IP 和 DNS 服务，后端部署了一部分到了阿里云的 ECS 上，现在的调用链路是这样的：

1
2

        1             2                3                4               5
浏览器 ----> 内网机器 ----> 内网DNS服务器 -----> 内网防火墙 -----> 阿里云SLB ----> 阿里云 ECS

回顾 2019

2018年定的目标

• 成为 Node.js Contributors
• 去一趟苏州
• 看完 4 本书

三个目标完成了俩，最关键的目标没有实现。这一年磕磕绊绊，比较浮躁，总算度过本命年。

苏州

4月份的时候朋友在苏州出差，就和几个朋友决定了去那边走两天。

在平常的业务中，很多情况下都会有大集合的场景，这批数据等活动结束后就需要删除掉。
一想到删除就用del啊，但是大家都知道，redis 的 del 删除复杂数据结构的时间复杂度是O(N), 其中N是集合的元素个数，
而且 redis 是单线程的，N要是巨大的话是会阻塞其他命令执行的。

准备数据

首先用 lua 构造了 1千万 元素的集合

1
2
3
4
5
6
7
8
9
10
11
12
13

local i = 0
local key = KEYS[1]
local sadd_result = nil

while (true) do
  i = i + 1
  sadd_result = redis.call('sadd', key, i)
  if (i >= 10000000) then
    break
  end
end

return 1

唠叨几句

又到了年尾写总结的时候，时间过得可真快，2018年是奔波的一年，其实是打算阳历1号写的，但是那时候还比较忙。。。。所以懒的拖到了现在，回家了才空下来回忆回忆这一年发生的事。

关于杭州

作为一个不怎么踏出家门的广东人，起初只是对杭州有几点比较好的印象。白娘子啊雷峰塔啊断桥啊，这些唯美的故事，还有就是有阿里在，杭州市一个科技和人文结合密切的城市，感觉挺合我心意。最后是看到了【杭州映像诗】这部纪录片，我也忘了已经看了多少遍，记得第一次看完后就决定去杭州了，我看到了不同于之前生活这么多年的另外一个世界。所以我来了杭州 ╮(￣▽￣)╭ 。杭州还有很多很多漂亮的景点我还没去过，打算争取明年去多几个，好好领略下杭州的美。

前提

Node.js是天才屌丝程序员Ryan Dahl于2009年发布，经过几年的发展，Node.js已经是成熟的JavaScript运行时了。用Node.js开发的应用被分发到世界各地的云主机上，随着公司的发展和壮大、应用PV和UV的剧增，如何保障Node.js应用的高性能是如今作为一个Node.js开发者必须面对的问题。

通过V8/Node自带的profiler能力

通过v8/Node的profiler能力，能够列出各函数的执行占比。

我们通过对一段经典简单的http服务的示例代码进行分析：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

// index.js
'use strict'

const Koa = require('koa');
const Router = require('koa-router');
const { etagger, timestamp, fetch } = require('./util')();
const server = new Koa();
const router = new Router();

router.get('/test', async function (ctx, next) {
  const content = await fetch(ctx.request.url);
  ctx.body = {data: content, url: ctx.request.url, ts: timestamp()};
  server.emit('after', ctx.body);
});

server.use(etagger().bind(server))
      .use(router.routes())
      .use(router.allowedMethods())

server.listen(3000);