实时即未来，大数据项目车联网之原始数据实时ELT流式任务流程总结【七】
admin
2024-02-23 17:30:04
文章目录
- 1 原始数据实时ETL任务分析结果落地
- 1 Json解析hdfs数据映射hive表（建议）
- 2 自定义Sink数据写入hive表（不建议）
- 总结
1 原始数据实时ETL任务分析结果落地
1 Json解析hdfs数据映射hive表（建议）
l 用StreamingFileSink方法将正确数据和错误数据写入到对应的HDFS目录中后，需要创建对应的hive表，并关联hdfs数据到hive表中，以实现原始数据实时ETL结果数据落地Hive需求。
l 实现步骤:
- 启动 Hive 并启动 Hive 对应的服务
n hive脚本：分别创建外部分区表：正常数据分区表和错误数据分区表。
外部表：删除表时，不会删除表对应的原始数据
分区表: 便于后期使用分区进行数据查询；便于hdfs分目录存放数据与hive分区数据对应，便于数据存放管理
相关内容
热门资讯
原创 餐...
2026年9月8日晚，南京浦口区泰冯路29号，墨语江南·阿婆菜餐厅户外帐篷里，灯火温润，其间还天降喜...
原创 它...
人到中年肝肾精血慢慢耗损，容易腰膝酸软、头晕眼花、精神疲惫。黄精性平，擅长补肝肾、益精血，搭配不同食...
同样卖奶茶，为何古茗赚了15亿...
出品/联商专栏 撰文/老刀 编辑/蔡建桢 今年上半年，蜜雪、古茗、霸王茶姬、茶百道、沪上阿姨全部盈利...
现烤散装走俏、新口味亮相、健康...
中秋佳节临近，成都月饼市场已全面开启“上新季”。记者连日来走访成都多家商超看到，月饼专区占据卖场核心...
散装月饼靠性价比当上“人气王”
华润超市货架上的散装月饼。 深圳报业集团记者 欧阳莹 摄 深圳晚报讯 （深圳报业集团记者 欧阳莹） ...