网站建设分金手指专业四网站建设选亿企网络

当前位置： 首页 > news >正文

网站建设分金手指专业四,网站建设选亿企网络,设计师网址导航官网,襄阳网站seo方法1、什么是Hive Hive是基于Hadoop的一个数据仓库工具#xff0c;可以将结构化的数据文件映射为一张数据库表#xff0c;并提供类SQL查询功能#xff08;HQL#xff09; 2、Hive的意义#xff08;最初研发的原因#xff09; 避免了去写MapReduce#xff0c;提供快速开发的…1、什么是Hive Hive是基于Hadoop的一个数据仓库工具可以将结构化的数据文件映射为一张数据库表并提供类SQL查询功能HQL 2、Hive的意义最初研发的原因 避免了去写MapReduce提供快速开发的能力减少开发人员的学习成本。 3、Hive的内部组成模块作用分别是什么 1元数据Metastore 元数据包括表名、表所属的数据库默认是default、表的拥有者、列/分区字段、表的类型是否是外部表、表的数据所在目录等 默认存储在自带的derby数据库中推荐使用MySQL存储Metastore 元数据存储 1解析器SQL Parser解析HQL语义 2编译器Physical Plan将HQL根据语义转换成MR程序 3优化器Query Optimizer对逻辑执行计划进行优化。对MR程序进行优化 4执行器Execution把任务提交到hadoop集群 4、Hive支持的数据格式 可支持TextSequenceFileParquetFileORC格式RCFILE等 5、进入Hiveshell窗口的方式 1.hive 2. 启动服务 hiveserver2 beeline ! connect jdbc:hive2://主机名:10000 6、Hive数据库、表在HDFS上存储的路径是什么 /user/hive/warehouse 7、like与rlike的区别 like的内容不是正则而是通配符。 rlike的内容可以是正则正则写法与Java一样。 8、内部表与外部表的区别 删除内部表会直接删除元数据metadata及存储数据 删除外部表仅仅会删除元数据HDFS上的文件并不会被删除 9、分区表的优点是分区字段的要求是 1.提高特定指定分区查询分析的效率 2.分区字段的要求分区字段不能出现在表中已有的字段内 10、分桶表的优点是分桶字段的要求是 1.使取样sampling和join 更高效 2.分桶字段的要求分桶字段必须是表中已有的字段 11、数据导入表的方式 有5种方式 1、直接向分区表中插入数据 2、通过查询插入数据 3、多插入模式 4、查询语句中创建表并加载数据 5、创建表时通过location指定加载数据路径 12、数据导出表的方式 有7种方式 1 将查询的结果导出到本地 2 将查询的结果格式化导出到本地 4、Hadoop命令导出到本地 5、hive shell 命令导出 3、将查询的结果导出到HDFS上(没有local) 6、export导出到HDFS上 7、sqoop 导出数据后面单独学 13、order by与sort by的区别 order by 是全局排序一个MapReduce而 sort by 是局部分区内部进行排序 14、where 与 having的区别 1.where是作用在表的所有字段having是作用在查询的字段上。 2.在where子句中不能使用聚组函数在having语句中可以使用聚组函数 15、distribute by何时使用通常与哪个联合使用 按照指定的字段进行分区时对数据进行分区时使用 通常和sort by联合使用Hive要求distribute by语句要写在sort by语句之前 16、Cluster by何时使用 要根据某个字段进行分区并且以这个字段进行排序时使用Cluster by 17、distribute bysort by(相同字段) 与Cluster by的区别 cluster by 的结果有限制只能正序排列而 distribute bysort by 可根据需求进行排序 18、hive -e/-f/-hiveconf分别是什么意思 hive -e 后面的参数是‘命令行’ hive -f 后面的参数是文件 hive -hiveconf 设置hive运行时候的参数配置 19、hive声明参数有哪些方式优先级是什么 配置文件(配置文件参数) hive -hiveconf (命令行参数) 在hive的shell窗口set(参数声明) 优先级参数声明命令行参数配置文件参数 20、编写hiveUDF代码方法名称叫什么 evaluate 21、企业中hive常用的数据存储格式是什么常用的数据压缩格式是什么 在实际的项目开发当中hive表的数据存储格式一般选择orc或parquet。压缩方式一般选择snappy。 22、hive自定义函数的类型 1.UDF(User-Defined-Function) 一进一出 2.UDAF(User- Defined Aggregation Funcation) 聚集函数多进一出。Count/max/min 3.UDTF(User-Defined Table-Generating Functions) 一进多出如lateral view explore) 23、Fetch抓取中 设置more有什么效果 执行某些查询语句不会执行mapreduce程序 设置none有什么效果 执行查询语句所有的查询都会执行mapreduce程序 24、本地模式有什么好处 在数据量较小时提高查询效率 原因查询数据的程序运行在提交查询语句的节点上运行不提交到集群上运行 25、当一个key数据过大导致数据倾斜时如何处理 当发生数据倾斜时使用局部聚和可以起到性能调优的效果在Map端进行聚合 当发生倾斜时查询语句会转化成至少两个MR程序第一个程序进行局部聚和第二个MR程序进行最终聚和。 26、Count(distinct) 的替换语句如何编写 使用嵌套查询 例select count(distinct id) from score; 转|换 select count(id) from (select id from score group by id) a; 27、如何使用分区剪裁、列剪裁 什么是分区剪裁需要哪个分区就获取哪个分区的数据 什么是列剪裁需要哪个列就获取哪个列的数据 28、如何理解动态分区调整 以第一个表的分区规则来对应第二个表的分区规则将第一个表的所有分区全部拷贝到第二个表中来第二个表在加载数据的时候不需要指定分区了直接用第一个表的分区即可 29、数据倾斜时如何将众多数据写入10个文件 1.设置reduce数量10,使用id,对id进行分区distribute by 2.设置reduce数量10然后使用 distribute by rand() rand字段为随机数 从而随机的将数据写入到文件中 30、reduce数量的计算是什么 决定reduce数量的因素 参数1每个Reduce处理的最大数据量 参数2每个任务最大的reduce数 计算reducer数的公式 Nmin(参数2总输入数据量/参数1) 31、并行执行有什么好处 在没有依赖的前提下开启并行执行多任务多阶段同时执行从而起到优化执行效率的作用 32、严格模式不能执行哪些命令 1、用户不允许扫描所有分区 2、使用了order by语句的查询要求必须使用limit语句 3、限制笛卡尔积的查询 33、JVM重用有什么好处 重复利用JVM以减少JVM开启和关闭的次数减少任务开销提高效率 34、什么是MR本地计算 数据存储后计算这批数据的程序已经写完程序在进行分发时优先将程序分发到程序所用到数据所在的节点。 35、先join后过滤的优化方案 先过滤后关联join 例如SELECT a.id FROM bigtable a LEFT JOIN ori b ON a.id b.id WHERE b.id 10; 优化方案 1、SELECT a.id FROM ori LEFT JOIN bigtable b ON (b.id 10 AND a.id b.id); 2、SELECT a.id FROM bigtable a RIGHT JOIN (SELECT id FROM ori WHERE id 10 ) b ON a.id b.id; 36、影响Map数量的因素 当文件大小很小时影响map的数量的因素是文件的个数 当文件大小很大时影响map的数量的因素是数据块的数量 37、什么是MR本地模式 任务提交时运行在提交HQl 所在的节点不提交到集群。本地计算提交到集群。本地模式不提交到集群