Node中的stream「流」-猿码集

1. 什么是Node中的Stream「流」

在Node.js中，Stream是一种处理流数据的抽象接口，它并不需要将所有数据都读取到内存中才能开始处理，而是采用“流式传输”的方式，边读边处理。

Stream可以看作是由一系列有序的、连续的数据组成的抽象概念，它可以被分成多个数据块或分片，每个数据块在时间上都是连续的，且可以独立地传输、处理和存储。

Node中的Stream主要有四种类型：可读流（Readable）、可写流（Writable）、双工流（Duplex）和转换流（Transform），其中可读流和可写流是数据的生产者和消费者，双工流是同时具有生产和消费功能的数据流，而转换流则是在生产者和消费者之间进行数据转换的流。

1.1 可读流（Readable）

可读流是一种在数据源产生数据的时候从中读取数据的数据流，它可以用于从文件系统、网络、stdin等数据源中读取数据。


const fs = require('fs');
const readStream = fs.createReadStream('/path/to/file');
readStream.on('data', function(chunk) {
  console.log(chunk.toString());
});
readStream.on('end', function() {
  console.log('文件读取完毕');
});
readStream.on('error', function(err) {
  console.log(err.stack);
});

代码中，我们使用了Node的fs模块创建了一个可读流，然后通过监听data、end和error事件来读取文件中的数据、判断文件是否读取完毕以及是否出错。

1.2 可写流（Writable）

可写流是一种向目标写入数据的数据流，它可以用于向文件系统、网络、stdout等目标中写入数据。


const fs = require('fs');
const writeStream = fs.createWriteStream('/path/to/file');
writeStream.write('Hello, world!', 'utf-8');
writeStream.end();

代码中，我们使用了Node的fs模块创建了一个可写流，然后通过write方法向目标中写入数据，最后调用end方法显示告知流数据完成。

1.3 双工流（Duplex）

双工流是一种同时具有读取和写入功能的数据流，它可以用于向网络、stdin/stdout等数据双向传输数据。

以下是一个简单的例子：


const net = require('net');
const client = net.connect({ port: 8080 }, function() {
  console.log('连接到服务器！');
});
client.on('data', function(data) {
  console.log(data.toString());
});
client.on('end', function() {
  console.log('断开与服务器的连接');
});
client.write('Hello, server!');

代码中，我们使用了Node的net模块建立了一个双工流，通过连接服务器、监听data和end事件来读取从服务器发送过来的数据，并向服务器发送数据。

1.4 转换流（Transform）

转换流是一种在数据传输过程中进行数据转换的数据流，它可以用于向网络、文件系统等数据源中进行数据格式转换。

以下是一个简单的例子：


const fs = require('fs');
const zlib = require('zlib');
const gzip = zlib.createGzip();
const readStream = fs.createReadStream('/path/to/file');
const writeStream = fs.createWriteStream('/path/to/file.gz');
readStream.pipe(gzip).pipe(writeStream);

代码中，我们使用了Node的zlib模块建立了一个转换流，通过将文件中的数据经过gzip格式的压缩，然后将压缩过的数据写入到文件中。

2. Stream的优势

Node中的Stream具有以下几个优势：

2.1 低内存消耗

Stream的数据是分块处理，每次读取一块数据进行处理，不需要将所有数据一次性读入内存中，因此可以大大减少内存的消耗，避免因内存不足而崩溃的问题。

2.2 高性能

Stream的数据是分块处理，每次读取和处理一块数据，可以同时进行其他操作，从而提高性能。

2.3 可读性高

Stream的数据是分块处理，由于只处理一部分数据，因此可以更容易地阅读代码和调试程序。

2.4 可塑性强

Stream的数据是分块处理，可以像管道一样将不同类型的Stream拼接在一起，形成数据处理的链条，可以灵活地组合使用，实现更复杂的数据处理。

3. 实战应用

Stream在Node中被广泛应用，包括以下场景：

3.1 文件读写

Stream可以用于读取和写入大文件，以避免因文件大小超过内存限制导致的崩溃问题。

3.2 数据流处理

Stream可以用于处理大量的数据流，例如，在网络传输中，通过将数据转换为流，可以实现更高效的数据传输。

3.3 数据压缩

Stream可以用于对数据进行压缩和解压缩，例如在数据传输过程中，通过使用zlib模块的createGzip方法将数据经过gzip格式的压缩，可以减少传输的数据量。

3.4 数据加密

Stream可以用于对数据进行加密和解密，例如在数据传输过程中，通过使用crypto模块的createCipheriv方法将明文数据进行AES加密，可以保证数据的安全性。

3.5 日志处理

Stream可以用于处理应用程序的日志，例如在日志输出中，通过使用fs.createWriteStream方法将日志信息写入到文件中，实现日志的记录和读取。

4. 总结

Stream是一种处理流数据的抽象接口，它可以使Node应用程序更高效地处理数据，避免因过大的内存占用而导致的崩溃，并且可以通过不同类型的Stream灵活地组合，实现更复杂的数据处理。

Node中的stream「流」