实时即未来，大数据项目车联网之原始数据实时ELT流式任务流程总结【七】
admin
2024-02-23 17:30:04

文章目录

      • 1 原始数据实时ETL任务分析结果落地
        • 1 Json解析hdfs数据映射hive表（建议）
        • 2 自定义Sink数据写入hive表（不建议）
    • 总结

1 原始数据实时ETL任务分析结果落地

1 Json解析hdfs数据映射hive表（建议）

l 用StreamingFileSink方法将正确数据和错误数据写入到对应的HDFS目录中后，需要创建对应的hive表，并关联hdfs数据到hive表中，以实现原始数据实时ETL结果数据落地Hive需求。

l 实现步骤:

  • 启动 Hive 并启动 Hive 对应的服务

n hive脚本：分别创建外部分区表：正常数据分区表和错误数据分区表。

外部表：删除表时，不会删除表对应的原始数据

分区表: 便于后期使用分区进行数据查询；便于hdfs分目录存放数据与hive分区数据对应，便于数据存放管理

上一篇：Java APIObject类的常用API文档

下一篇：R语言VLOOKUP数据匹配

相关内容

热门资讯

山水皆有情！丽江两山一江的千年... 去过丽江、走过虎跳峡的人，大概率都听过哈巴雪山和金沙江的传说。很多人站在峡谷之下，望着奔腾不息的金沙...
活力中国调研行丨“殷”你而来 ... 9月12日，游客在殷墟博物馆“甲骨文展厅”内参观。位于河南省安阳市的殷墟博物馆新馆是首个全景式展现商...
浦江之夜赴美好相逢，第37届上... 9月12日晚，黄浦江畔灯火璀璨，第37届上海旅游节大巡游在外滩中山东一路上演。不少观众早早便来到外滩...
美丽中国丨秋韵紫鹊界 梯田入画... 这是9月11日拍摄的紫鹊界梯田（无人机照片）。 金秋九月，湖南省娄底市新化县紫鹊界梯田稻谷渐次成熟。...
中国之巅奏响《共同的节日》，千... 千吨阻尼器，“迎世赛、游上海旅游节”。9月13日，由上海市文化和旅游局指导推出上海旅游·会客│巅峰之...