想找个人做网站今日军事新闻最新消息新闻报道

官网旁路输出
Flink拆分流和复制流

我们在处理数据的时候，有时候想对不同情况的数据进行不同的处理，那么就需要把流进行拆分或者复制。
如果是使用filter来进行拆分，也能满足我们的需求，但每次筛选都要保留整个流，然后遍历整个流，显然很浪费性能，假如能够在一个流了多次输出就好了，flink的旁路输出则提供了这样的功能。

1 使用filter分流

其实根据条件筛选数据的需求，本身非常容易实现：只要针对同一条流多次独立调用.filter()方法进行筛选，就可以得到拆分之后的流。
情景一
{“name”: “A1”, “dtime”: “2024-06-21 15:11:17.961”}
{“name”: “A2”, “dtime”: “2024-06-21 15:11:22.961”}
{“name”: “A3”, “dtime”: “2024-06-21 15:11:22.961”}

{“rule1”:[“A1”,“A2”],“rule2”:[“A2”,“A3”],“rule3”:[“A3”]}

1.1 不指定时间戳分配器【自身时间戳】

将使用kafka记录自身的时间戳。