博客
关于我
flink读取hive表数据的一些现象
阅读量:763 次
发布时间:2019-03-23

本文共 384 字,大约阅读时间需要 1 分钟。

一个可能的解释是,配置文件中的executionplanner设置直接影响了Flink如何处理数据。默认的execution设置为streaming,这适用于处理实时数据流,但在某些情况下,批量处理可能提供了更好的性能或数据一致性。与此同时,planner设置到batch说明Flink使用批量处理模式。

用户提到的现象显示,无论是创建Hive表还是Flink流表,由于type: streamingbatch都能正常工作,说明它们在不同的数据量和处理需求下都可以有效使用。特别是在处理外部日志文件时,批量处理能完全读取数据,而流处理则可能遇到读取逻辑上的问题。这可能是因为批处理模式更适合处理完整的、离散的数据集,而流处理则需要数据持续生成。

通过这些分析,可以得出配置文件中的execution设置直接反映了Flink处理数据的方式,从而影响了查询和处理性能。

转载地址:http://eykkk.baihongyu.com/

你可能感兴趣的文章
python cos,Python cos(90)和cos(270)不是0
查看>>
python进阶(4):Python 脚本文件重启自身进程
查看>>
python ctypes库中动态链接库加载方式
查看>>
python cv2 图像( np array )转 HObject
查看>>
python进阶(3):文件操作
查看>>
python cv2截取不规则区域图片
查看>>
python CV2裁剪图片并保存
查看>>
python进阶(2):pyecharts使用
查看>>
python cv2读取rtsp实时码流按时生成连续视频文件
查看>>
Python Dataframe Groupby Mean和Std
查看>>
python datetime
查看>>
python datetime笔记
查看>>
python day01
查看>>
python day10
查看>>
Python Day17 Django 03
查看>>
python day21
查看>>
python decode和encode
查看>>
Python del 语句
查看>>
Python Dict 理解创建和更新字典
查看>>
Python Discord Bot - python clear_reaction() 清除所有反应而不是特定反应
查看>>