实时即未来，大数据项目车联网之原始数据实时ELT流式任务流程总结【七】
admin
2024-02-23 17:30:04
文章目录
- 1 原始数据实时ETL任务分析结果落地
- 1 Json解析hdfs数据映射hive表（建议）
- 2 自定义Sink数据写入hive表（不建议）
- 总结
1 原始数据实时ETL任务分析结果落地
1 Json解析hdfs数据映射hive表（建议）
l 用StreamingFileSink方法将正确数据和错误数据写入到对应的HDFS目录中后，需要创建对应的hive表，并关联hdfs数据到hive表中，以实现原始数据实时ETL结果数据落地Hive需求。
l 实现步骤:
- 启动 Hive 并启动 Hive 对应的服务
n hive脚本：分别创建外部分区表：正常数据分区表和错误数据分区表。
外部表：删除表时，不会删除表对应的原始数据
分区表: 便于后期使用分区进行数据查询；便于hdfs分目录存放数据与hive分区数据对应，便于数据存放管理
相关内容
热门资讯
复刻贵州馆子味！家常泡椒炒牛肉...
贵州泡椒炒牛肉是一道充满地方特色的家常菜，它以鲜嫩的牛肉和酸辣开胃的泡椒为主要食材，成菜香气扑鼻，口...
黔寨风味“黄金派”：外酥内糯，...
在贵州连绵的群山与缭绕的云雾间，散落着许多古老村寨。这里不仅保留着深厚的民族传统，更隐藏着无数令人惊...
大妈教你东北芥菜疙瘩的腌制方法...
眼下正是腌菜的好时节，每年这个时候，我总会想起东北大娘腌的芥菜疙瘩，那味道堪称一绝。她的做法特别简单...
原创 一...
家人们谁懂啊！黑椒牛肉配杏鲍菇真的是神仙组合！软嫩多汁的牛肉裹着浓郁的黑椒酱汁，杏鲍菇吸饱了肉香变得...