Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch

  • 时间:
  • 浏览:1
  • 来源:uu快3漏洞_uu快3链接_公式

在Blink-SQL中,通常会使用无限流的GroupBy来完成去重机会聚合计算,4个简单的例子如下

从上图可知,开启MiniBatch之后要求State能支持Batch读写,目前默认的RocksDBStateBackend暂时不支持,Batch的读写实际是

SELECT a, count(b) FROM dual GROUP BY a

在Blink的流式任务中,State相关的操作通常都要成为整个任务的性能瓶颈。实时计算部-查询和优化团队开发了MiniBatch功能,大幅降低了State操作的开销,在今年的双11中,几乎所有适用的任务都启用了MiniBatch功能。