Node中的可读流-猿码集

Node中的可读流

在Node中，可读流是一种非常常见的数据读取方式，它可以将数据从源头不间断地传输到消费者。可读流非常适合处理大型数据集或缓慢的数据源，如网络连接或本地文件。本文将介绍什么是可读流，如何创建它，以及如何将可读流用于读取数据。

1. 什么是可读流？

可读流的基本原理是，当有更多的数据可供读取时，流会通知消费者。这个过程是自动进行的，无需手动干预。因此，可读流非常适合用于异步编程，因为它们可以在后台进行数据读取，不会阻塞主线程。

1.1 可读流的种类

在Node.js中，有许多不同类型的可读流，这些流基于不同的数据源。以下是常见的可读流类型：

文件流（File Streams） - 从文件读取数据

HTTP响应流（HTTP Response Streams） - 从HTTP响应读取数据

HTTP请求流（HTTP Request Streams） - 从HTTP请求读取数据

TCP套接字流（TCP Socket Streams） - 从TCP套接字读取数据

stdin流（Standard Input Streams） - 从标准输入读取数据

1.2 可读流的流程

可读流的流程是由生产者和消费者组成的。生产者生成数据，并将其推送到可读流中。消费者会从可读流中获取数据，并对数据进行处理。在这个过程中，可以使用一些重要的事件和方法：

Event: 'data' - 当新的数据可用时触发。使用一个回调函数来处理数据。

Event: 'end' - 当数据传输完成时触发。通知消费者不会再有数据传输。

Event: 'error' - 当发生错误时触发。这可以帮助消费者了解何时出现了错误。

Method: read() - 从可读流中读取数据。

2. 如何创建可读流？

要创建一个可读流，需要引入fs模块。可以通过使用fs.createReadStream()方法来创建一个可读流。下面是一个例子：


const fs = require('fs');
const readStream = fs.createReadStream('example.txt');

上面的代码会创建一个读取example.txt文件的可读流。我们可以通过将事件侦听器附加到可读流上来监听数据可用事件。在可读流接收到新数据时，回调函数将被触发。


readStream.on('data', (chunk) => {
  console.log(chunk);
});

上面的代码将输出文件中的每个块。如果想要读取完整文件，可以使用以下代码：


readStream.on('data', (chunk) => {
  console.log(chunk.toString());
});
readStream.on('end', () => {
  console.log('文件读取完毕');
});
readStream.on('error', (error) => {
  console.log(`发生错误：${error}`);
});

上面的代码确保了在文件读取完毕时关闭流，并在发生错误时报告错误。

3. 如何使用可读流读取数据？

使用可读流读取数据非常简单。首先，通过使用.pipe()方法将可读流连接到可写流，可以将数据从一个流传输到另一个流：


const fs = require('fs');
const readStream = fs.createReadStream('example.txt');
const writeStream = fs.createWriteStream('output.txt');
readStream.pipe(writeStream);

上面的代码将读取example.txt文件，并将其内容写入output.txt文件。

另一种处理可读流的方式是，使用.on('data')方法暴露数据块：


const fs = require('fs');
const readStream = fs.createReadStream('example.txt');
readStream.on('data', (chunk) => {
  console.log(chunk.toString());
});
readStream.on('end', () => {
  console.log('文件读取完毕');
});
readStream.on('error', (error) => {
  console.log(`发生错误：${error}`);
});

上面的代码会输出文件内容中的每个块，并在读取完整个文件后触发end事件。

3.1 可读流的缓冲区和高水位标记

可读流中的缓冲区是保存待读取数据的内部缓存区。当消费者通过调用read()方法读取数据时，可读流会从缓冲区中移除并返回数据块。

可读流的高水位标记是允许的最大缓存区大小。当缓存区达到高水位标记大小时，流将停止从父级数据源读取数据。

默认情况下，可读流的缓冲区大小为16KB，并且高水位标记大小为16KB的2倍，即32KB。这意味着，在读取32KB数据并消耗所有可用内存之前，流将暂停读取数据。

3.2 可读流的暂停和恢复

当消费者准备好处理数据时，可以通过调用read()方法从可读流中读取数据。如果消费者还没有准备好处理数据，可以调用pause()方法暂停数据流，等到消费者准备好处理数据时恢复数据流，使用resume()方法：


const fs = require('fs');
const readStream = fs.createReadStream('example.txt');
readStream.on('data', (chunk) => {
  console.log(chunk.toString());
  // 暂停流，等100毫秒后再继续读取
  readStream.pause();
  setTimeout(() => readStream.resume(), 100);
});
readStream.on('end', () => {
  console.log('文件读取完毕');
});
readStream.on('error', (error) => {
  console.log(`发生错误：${error}`);
});

上面的代码将暂停数据流100毫秒，以便消费者有时间处理数据。

3.3 将可读流转换为字符串

在使用可读流时，有时需要将数据转换为字符串形式。可以通过创建一个空的Buffer对象并将数据块附加到缓冲区中，最后将输出作为字符串返回来完成这个过程：


const fs = require('fs');
function readStreamToString(readStream) {
  let data = '';
  // 当有数据可用时将数据加到缓冲区中
  readStream.on('data', (chunk) => {
    data += chunk;
  });
  // 不要忘记处理错误
  readStream.on('error', (err) => {
    console.error(err);
  });
  // 将缓冲区的内容作为字符串返回
  readStream.on('end', () => {
    const str = data.toString();
    console.log(str.length);
    console.log(str);
  });
}
readStreamToString(fs.createReadStream('example.txt'));

上面的代码将读取example.txt文件，并将其内容作为字符串输出。

4. 可读流的示例

4.1 使用可读流读取大型文件

可读流是读取大型文件的理想方式，因为它可以有效地管理内存。使用可读流读取大型文件的基本示例如下：


const fs = require('fs');
// 创建可读流
const readStream = fs.createReadStream('largefile.bin');
let bytesCount = 0;
// 数据可用时，累加读取的字节数
readStream.on('data', (chunk) => {
  bytesCount += chunk.length;
  console.log(`已读取${bytesCount}字节...`);
});
// 在数据读取完毕后，报告总字节数
readStream.on('end', () => {
  console.log(`读取完成，共计${bytesCount}字节。`);
});
// 在读取文件时，处理错误
readStream.on('error', (err) => {
  console.error(err);
});

上面的代码可以读取largefile.bin文件，并输出读取到的字节数。可以通过调整缓冲区大小和高水位标记来测试该示例。

4.2 用可读流下载远程文件

使用可读流读取远程资源时，可以通过HTTP请求流将其下载到本地。以下代码展示了如何使用Node.js将远程文件下载到本地。


const fs = require('fs');
const http = require('http');
// URL
const url = 'http://example.com';
// HTTP请求
const request = http.request(url, (response) => {
  // 创建可读流
  const readStream = response.pipe(fs.createWriteStream('output.txt'));
  // 监听数据可读事件，并打印日志
  readStream.on('data', (chunk) => {
    console.log(`已下载${chunk.length}字节...`);
  });
  // 监听流结束事件，并打印日志
  readStream.on('end', () => {
    console.log('下载完成。');
  });
  // 监听任何错误，并在发生错误时打印日志
  readStream.on('error', (err) => {
    console.error(err);
  });
});
// 发起请求
request.on('error', (err) => {
  console.error(err);
});

上面的代码将下载example.com网站的主页，并保存为output.txt文件。同样，可以根据需要修改该示例代码。

结论

在Node.js中，可读流是非常常用的数据读取方式。它们适用于处理大型数据集或缓慢的数据源，如网络连接或本地文件。通过使用可读流，可以防止在读取数据时阻塞Node.js的主事件循环。在本文中，我们介绍了什么是可读流，如何创建它，以及如何将可读流用于读取数据。我们还提供了一些可读流的示例，供读者参考。

Node中的可读流