M

MLOG

한국어

Node.js 스트림이 대규모 데이터 세트를 효율적으로 처리하여 확장성과 응답성을 향상시키는 방법을 알아보세요.

Node.js 스트림: 대용량 데이터 효율적으로 처리하기

데이터 중심 애플리케이션 시대에는 대규모 데이터 세트를 효율적으로 처리하는 것이 가장 중요합니다. Node.js는 논블로킹, 이벤트 기반 아키텍처를 통해 데이터를 관리 가능한 청크로 처리하는 강력한 메커니즘인 스트림을 제공합니다. 이 기사에서는 Node.js 스트림의 세계를 탐구하여 이점, 유형, 방대한 양의 데이터를 리소스를 소모하지 않고 처리할 수 있는 확장 가능하고 반응성이 뛰어난 애플리케이션을 구축하기 위한 실제 응용 프로그램을 살펴봅니다.

스트림을 사용하는 이유

전통적으로 전체 파일을 읽거나 네트워크 요청에서 모든 데이터를 수신한 후 처리하는 것은 특히 대용량 파일 또는 지속적인 데이터 피드를 처리할 때 심각한 성능 병목 현상을 초래할 수 있습니다. 버퍼링이라고 하는 이 접근 방식은 상당한 메모리를 소비하고 애플리케이션의 전반적인 응답 속도를 늦출 수 있습니다. 스트림은 작은 독립적인 청크로 데이터를 처리하여 전체 데이터 세트가 로드될 때까지 기다리지 않고 사용 가능해지는 즉시 데이터 작업을 시작할 수 있도록 하여 더욱 효율적인 대안을 제공합니다. 이 접근 방식은 특히 다음과 같은 경우에 유용합니다.

스트림 유형 이해

Node.js는 각각 특정 목적을 위해 설계된 네 가지 기본 스트림 유형을 제공합니다.

  1. 읽기 스트림: 읽기 스트림은 파일, 네트워크 연결 또는 데이터 생성기와 같은 소스에서 데이터를 읽는 데 사용됩니다. 새 데이터가 사용 가능할 때 'data' 이벤트를 내보내고 데이터 소스가 완전히 소모되었을 때 'end' 이벤트를 내보냅니다.
  2. 쓰기 스트림: 쓰기 스트림은 파일, 네트워크 연결 또는 데이터베이스와 같은 대상에 데이터를 쓰는 데 사용됩니다. 데이터를 쓰고 오류를 처리하는 방법을 제공합니다.
  3. 이중 스트림: 이중 스트림은 읽기 및 쓰기가 모두 가능하여 데이터를 양방향으로 동시에 흐르게 합니다. 소켓과 같은 네트워크 연결에 일반적으로 사용됩니다.
  4. 변환 스트림: 변환 스트림은 데이터를 통과하면서 데이터를 수정하거나 변환할 수 있는 특수한 유형의 이중 스트림입니다. 압축, 암호화 또는 데이터 변환과 같은 작업에 이상적입니다.

읽기 스트림으로 작업하기

읽기 스트림은 다양한 소스에서 데이터를 읽기 위한 기반입니다. 다음은 읽기 스트림을 사용하여 대용량 텍스트 파일을 읽는 기본 예입니다.

const fs = require('fs');

const readableStream = fs.createReadStream('large-file.txt', { encoding: 'utf8', highWaterMark: 16384 });

readableStream.on('data', (chunk) => {
  console.log(`Received ${chunk.length} bytes of data`);
  // Process the data chunk here
});

readableStream.on('end', () => {
  console.log('Finished reading the file');
});

readableStream.on('error', (err) => {
  console.error('An error occurred:', err);
});

이 예에서:

쓰기 스트림으로 작업하기

쓰기 스트림은 다양한 대상에 데이터를 쓰는 데 사용됩니다. 다음은 쓰기 스트림을 사용하여 파일에 데이터를 쓰는 예입니다.

const fs = require('fs');

const writableStream = fs.createWriteStream('output.txt', { encoding: 'utf8' });

writableStream.write('This is the first line of data.\n');
writableStream.write('This is the second line of data.\n');
writableStream.write('This is the third line of data.\n');

writableStream.end(() => {
  console.log('Finished writing to the file');
});

writableStream.on('error', (err) => {
  console.error('An error occurred:', err);
});

이 예에서:

스트림 파이핑

파이핑은 읽기 및 쓰기 스트림을 연결하는 강력한 메커니즘으로, 데이터를 한 스트림에서 다른 스트림으로 원활하게 전송할 수 있습니다. pipe() 메서드는 스트림을 연결하는 프로세스를 단순화하여 데이터 흐름과 오류 전파를 자동으로 처리합니다. 스트리밍 방식으로 데이터를 처리하는 매우 효율적인 방법입니다.

const fs = require('fs');
const zlib = require('zlib'); // For gzip compression

const readableStream = fs.createReadStream('large-file.txt');
const gzipStream = zlib.createGzip();
const writableStream = fs.createWriteStream('large-file.txt.gz');

readableStream.pipe(gzipStream).pipe(writableStream);

writableStream.on('finish', () => {
  console.log('File compressed successfully!');
});

이 예제는 파이핑을 사용하여 대용량 파일을 압축하는 방법을 보여줍니다.

파이핑은 백프레셔를 자동으로 처리합니다. 읽기 스트림이 쓰기 스트림이 사용할 수 있는 것보다 더 빠르게 데이터를 생성할 때 백프레셔가 발생합니다. 파이핑은 쓰기 가능한 스트림이 더 많은 데이터를 받을 준비가 될 때까지 데이터 흐름을 일시 중지하여 읽기 가능한 스트림이 쓰기 가능한 스트림을 압도하는 것을 방지합니다. 이를 통해 효율적인 리소스 활용을 보장하고 메모리 오버플로를 방지합니다.

변환 스트림: 실행 중인 데이터 수정

변환 스트림은 데이터를 읽기 스트림에서 쓰기 스트림으로 흐를 때 데이터를 수정하거나 변환하는 방법을 제공합니다. 데이터 변환, 필터링 또는 암호화와 같은 작업에 특히 유용합니다. 변환 스트림은 Duplex 스트림에서 상속되며 데이터 변환을 수행하는 _transform() 메서드를 구현합니다.

다음은 텍스트를 대문자로 변환하는 변환 스트림의 예입니다.

const { Transform } = require('stream');

class UppercaseTransform extends Transform {
  constructor() {
    super();
  }

  _transform(chunk, encoding, callback) {
    const transformedChunk = chunk.toString().toUpperCase();
    callback(null, transformedChunk);
  }
}

const uppercaseTransform = new UppercaseTransform();

const readableStream = process.stdin; // Read from standard input
const writableStream = process.stdout; // Write to standard output

readableStream.pipe(uppercaseTransform).pipe(writableStream);

이 예에서:

백프레셔 처리

백프레셔는 한 스트림이 다른 스트림을 압도하는 것을 방지하는 스트림 처리의 중요한 개념입니다. 읽기 스트림이 쓰기 스트림이 사용할 수 있는 것보다 더 빠르게 데이터를 생성하면 백프레셔가 발생합니다. 적절하게 처리하지 않으면 백프레셔로 인해 메모리 오버플로 및 애플리케이션 불안정성이 발생할 수 있습니다. Node.js 스트림은 백프레셔를 효과적으로 관리하기 위한 메커니즘을 제공합니다.

pipe() 메서드는 백프레셔를 자동으로 처리합니다. 쓰기 스트림이 더 많은 데이터를 받을 준비가 되지 않으면 읽기 스트림이 쓰기 스트림이 준비되었다는 신호를 보낼 때까지 일시 중지됩니다. 그러나 pipe()를 사용하지 않고 프로그래밍 방식으로 스트림으로 작업할 때 readable.pause() 및 readable.resume() 메서드를 사용하여 백프레셔를 수동으로 처리해야 합니다.

다음은 백프레셔를 수동으로 처리하는 방법의 예입니다.

const fs = require('fs');

const readableStream = fs.createReadStream('large-file.txt');
const writableStream = fs.createWriteStream('output.txt');

readableStream.on('data', (chunk) => {
  if (!writableStream.write(chunk)) {
    readableStream.pause();
  }
});

writableStream.on('drain', () => {
  readableStream.resume();
});

readableStream.on('end', () => {
  writableStream.end();
});

이 예에서:

Node.js 스트림의 실제 응용 프로그램

Node.js 스트림은 대규모 데이터를 처리하는 것이 중요한 다양한 시나리오에서 응용 프로그램을 찾습니다. 다음은 몇 가지 예입니다.

Node.js 스트림 사용을 위한 모범 사례

Node.js 스트림을 효과적으로 활용하고 이점을 극대화하려면 다음 모범 사례를 고려하십시오.

결론

Node.js 스트림은 대규모 데이터를 효율적으로 처리하기 위한 강력한 도구입니다. 데이터를 관리 가능한 청크로 처리하여 스트림은 메모리 소비를 크게 줄이고 성능을 개선하며 확장성을 향상시킵니다. 다양한 스트림 유형을 이해하고, 파이핑을 마스터하고, 백프레셔를 처리하는 것은 방대한 양의 데이터를 쉽게 처리할 수 있는 강력하고 효율적인 Node.js 애플리케이션을 구축하는 데 필수적입니다. 이 기사에서 설명한 모범 사례를 따르면 Node.js 스트림의 모든 잠재력을 활용하고 광범위한 데이터 집약적 작업에 대한 고성능, 확장 가능한 애플리케이션을 구축할 수 있습니다.

Node.js 개발에서 스트림을 수용하고 애플리케이션에서 새로운 수준의 효율성과 확장성을 열어보세요. 데이터 볼륨이 계속 증가함에 따라 데이터를 효율적으로 처리하는 기능이 점점 더 중요해질 것이며 Node.js 스트림은 이러한 과제를 해결하기 위한 견고한 기반을 제공합니다.