数据压缩管道：zlib 与 Transform 组合流水线

// 运行环境：Node.js 14+（用内置 zlib，无需联网/装包）
// 保存为 buf-l6.js，执行：node buf-l6.js
const fs = require('fs')
const path = require('path')
const zlib = require('zlib')
const { Transform } = require('stream')
const { pipeline } = require('stream/promises')

const src = path.join(__dirname, 'big.json')
// 造一份可压缩的"大"文本（重复内容越多，压缩比越高）
const payload = JSON.stringify({
  ts: Date.now(),
  items: Array.from({ length: 50000 }, (_, i) => ({ id: i, name: 'item-' + i, note: '重复句子用于提升压缩率' }))
})
fs.writeFileSync(src, payload)

// 自定义转换流：XOR 流式加密（演示"在压缩前插入一段变换"）
class Xor extends Transform {
  constructor(key) { super(); this.key = Buffer.from(key); this.i = 0 }
  _transform(chunk, enc, cb) {
    const out = Buffer.alloc(chunk.length)
    for (let j = 0; j < chunk.length; j++) out[j] = chunk[j] ^ this.key[this.i++ % this.key.length]
    cb(null, out)
  }
}

async function main() {
  // 1) 基础：源 → gzip 压缩 → .gz
  const gz = path.join(__dirname, 'big.json.gz')
  await pipeline(fs.createReadStream(src), zlib.createGzip(), fs.createWriteStream(gz))

  // 2) 组合流水线：源 → XOR 加密 → gzip 压缩 → .enc.gz
  const enc2 = path.join(__dirname, 'big-enc.gz')
  await pipeline(
    fs.createReadStream(src),
    new Xor('secret'),   // 先加密（自定义 Transform）
    zlib.createGzip(),   // 再压缩（内置 Transform）
    fs.createWriteStream(enc2)
  )

  // 3) 还原：注意顺序必须"反着来"——先 gunzip 再 xor
  const back = path.join(__dirname, 'big-back.json')
  await pipeline(
    fs.createReadStream(enc2),
    zlib.createGunzip(),
    new Xor('secret'),
    fs.createWriteStream(back)
  )

  const original = fs.readFileSync(src, 'utf8')
  const restored = fs.readFileSync(back, 'utf8')
  console.log('原始大小   :', (original.length / 1024).toFixed(1), 'KB')
  console.log('gzip 压缩  :', (fs.statSync(gz).size / 1024).toFixed(1), 'KB  (压缩比 ' + (fs.statSync(gz).size / original.length * 100).toFixed(1) + '%)')
  console.log('加密+压缩  :', (fs.statSync(enc2).size / 1024).toFixed(1), 'KB')
  console.log('解压还原一致:', original === restored)
}
main().catch((e) => { console.error(e); process.exit(1) })
     .finally(() => {
       const clean = ['big.json', 'big.json.gz', 'big-enc.gz', 'big-back.json']
       clean.forEach((f) => { try { fs.unlinkSync(path.join(__dirname, f)) } catch {} })
     })