Hue-华为云

MAPREDUCE服务 MRS-通过Hue管理HDFS文件:访问文件浏览器

访问文件浏览器访问Hue WebUI，请参考访问Hue WebUI界面。在左侧导航栏单击文件。进入“文件浏览器”页面。 “文件浏览器”的“主页”默认进入当前登录用户的主目录。界面将显示目录中的子目录或文件的以下信息：表1 HDFS文件属性介绍属性名描述名称表示目录或文件的名称。大小表示文件的大小。用户表示目录或文件的属主。组表示目录或文件的属组。权限表示目录或文件的权限设置。日期表示目录或文件创建时间。在搜索框输入关键字，系统会在当前目录自动搜索目录或文件。清空搜索框的内容，系统会重新显示所有目录和文件。

MAPREDUCE服务 MRS 创建Hue操作任务

MAPREDUCE服务 MRS-通过Hue管理HDFS文件:管理文件或目录

管理文件或目录在“文件浏览器”界面，勾选一个或多个目录或文件。单击“操作”，在弹出菜单选择一个操作。重命名：表示重新命名一个目录或文件。移动：表示移动文件，在“移至”页面选择新的目录并单击“移动”完成移动。复制：表示复制选中的文件或目录。更改权限：表示修改选中目录或文件的访问权限。可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。存储策略：表示设置目录或文件在HDFS中的存储策略。摘要：表示查看选中的文件或目录的HDFS存储信息。

MAPREDUCE服务 MRS 创建Hue操作任务

MAPREDUCE服务 MRS-Hue常用配置参数:参数说明

参数说明 Hue常用参数请参见表1。表1 Hue常用参数配置参数说明缺省值范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-使用Hue提交Oozie HDFS作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“Fs”按钮，将其拖到操作区中。在弹出的“Fs”窗口中单击“添加”。单击“CREATE DIRECTORY+”，添加待创建的HDFS目录。例如“/user/admin/examples/output-data/mkdir_workflow”和“/user/admin/examples/output-data/mkdir_workflow1”。如果单击了“DELETE PATH+”添加待删除的HDFS路径，该参数不能为空，否则会默认删除HDFS的“/user{提交用户名}”目录，可能会导致其他任务运行异常。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“HDFS-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-Hue日志介绍:日志级别

日志级别 Hue提供了如表2所示的日志级别。日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。表2 日志级别级别描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。如果您需要修改日志级别，请执行如下操作：参考修改集群服务配置参数进入Hue服务“全部配置”页面。在左侧导航栏选择需修改的角色所对应的“日志”菜单。在右侧选择所需修改的日志级别。保存配置，在弹出窗口中单击“确定”使配置生效。重新启动配置过期的服务或实例以使配置生效。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-Hue日志介绍:日志描述

日志描述日志路径：Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”（运行日志），“/var/log/Bigdata/audit/hue”（审计日志）。日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候，会自动压缩。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。表1 Hue日志列表日志类型日志文件名描述运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check.log gaussDB检查日志。 kt_renewer.log Kerberos认证日志。 kt_renewer.out.log Kerberos认证日志的异常输出日志。 runcpserver.log 操作记录日志。 runcpserver.out.log 进程运行异常日志。 supervisor.log 进程启动日志。 supervisor.out.log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。 prestartDetail.log Prestart日志。 statusDetail.log Hue服务健康状态日志。 startDetail.log 启动日志。 get-hue-ha.log Hue HA状态日志。 hue-ha-status.log Hue HA状态监控日志。 get-hue-health.log Hue健康状态日志。 hue-health-check.log Hue健康检查日志。 hue-refresh-config.log Hue配置刷新日志。 hue-script-log.log Manager界面的Hue操作日志。 hue-service-check.log Hue服务状态监控日志。 db_pwd.log Hue连接DBService数据库密码修改日志 modifyDBPwd_日期.log - watch_config_update.log 参数更新日志。审计日志 hue-audits.log 审计日志。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-配置Oozie节点间用户互信:操作步骤

操作步骤在外部节点上确保连接SSH时使用的用户存在，且该用户“~/.ssh”目录存在。使用omm用户登录Oozie所在节点，查看“~/.ssh/id_rsa.pub”文件是否存在。是，执行3。否，执行以下命令生成公私钥： ssh-keygen -t rsa 以omm用户登录oozie实例所在节点，执行以下命令配置互信： ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址执行该命令后需要输入运行SSH任务的用户的密码。 Shell所在节点（外部节点）的账户需要有权限执行Shell脚本并对于所有Shell脚本里涉及到的所有目录文件有足够权限。如果Oozie具有多个节点，需要在所有Oozie节点执行2~3。使用omm用户登录依次其他Oozie所在节点，重复执行2-3。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-通过Hue执行HetuEngine SQL:前提条件

前提条件需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabric实例的新增，删除，迁移和端口的修改，都需要重启Hue服务。已在集群中创建HetuEngine管理员“人机”用户，如hetu_user，可参考创建HetuEngine权限角色。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限，可参考添加HetuEngine的Ranger访问权限策略。已创建计算实例并运行正常，可参考创建HetuEngine计算实例。

MAPREDUCE服务 MRS 创建Hue操作任务

MAPREDUCE服务 MRS-使用Hue提交Oozie Sub workflow作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“子Workflow”按钮，将其拖到操作区中。在弹出的“Sub workflow”窗口中配置“Sub-workflow”的值，例如从下拉列表中选取“Java-Workflow”（这个值是已经创建好的工作流之一），然后单击“添加”。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-使用Hue提交Oozie Loader作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。在弹出的“Loader”窗口中配置“Job id”的值，例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值，可从Loader页面获取。创建需要调度的Loader作业，并获取该作业ID，具体操作请参见使用Loader相关章节。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Loader-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-通过Hue管理HBase表:操作场景

操作场景用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装，用户可在创建自定义类型的MRS集群时，选择HBase组件并通过调整集群自定义拓扑，添加Thrift1Server实例，详情请参考购买自定义拓扑集群。如果当前集群支持手动添加服务，也可以在首次添加HBase服务时，选择部署Thrift1Server实例，服务添加成功后，需重启Hue服务，详情请参考添加服务。

MAPREDUCE服务 MRS 创建Hue操作任务

MAPREDUCE服务 MRS-访问Hue的WebUI:操作步骤

操作步骤登录服务页面：单击集群名称，登录集群详情页面，选择“组件管理”。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。选择“Hue”，在“Hue WebUI”右侧，单击链接，打开Hue的WebUI，以创建的“hueuser”用户登录Hue WebUI。 Hue的WebUI支持以下功能：使用“Query Editors”执行Hive的查询语句。需要MRS集群已安装Hive。使用“Data Browsers”管理Hive中的表。需要MRS集群已安装Hive。使用查看HDFS中的目录和文件。需要MRS集群已安装HDFS。使用查看MRS集群中所有作业。需要MRS集群已安装YARN。使用创建的用户第一次登录Hue WebUI，需修改密码。用户获取Hue WebUI的访问地址后，可以给其他无法访问Manager的用户用于访问Hue WebUI。在Hue的WebUI操作但不操作Manager页面，重新访问Manager时需要输入已登录的账号密码。

MAPREDUCE服务 MRS 使用Hue（MRS 3.x之前版本）

MAPREDUCE服务 MRS-Hue与其他组件的关系:Hue与Hadoop集群的关系

Hue与Hadoop集群的关系 Hue与Hadoop集群的交互关系如图1所示。图1 Hue与Hadoop集群表1 Hue与其它组件的关系名称描述 HDFS HDFS提供REST接口与Hue交互，用于查询、操作HDFS文件。在Hue把用户请求从用户界面组装成接口数据，通过调用REST接口调用HDFS，通过浏览器返回结果呈现给用户。 Hive Hive提供THRIFT接口与Hue交互，用于执行Hive SQL、查询表元数据。在Hue界面编辑HQL语句，通THRIFT接口提交HQL语句到HiveServer执行，同时把执行通过浏览器呈现给用户。 Yarn/MapReduce MapReduce提供REST与Hue交互，用于查询Yarn作业信息。进入Hue页面，输入筛选条件参数，UI将参数发送到后台，Hue通过调用MapReduce（MR1/MR2-YARN）提供的REST接口，获取任务运行的状态，起始结束时间、运行日志等信息。 Oozie Oozie提供REST接口与Hue交互，用于创建工作流、Coordinator、Bundle，以及它们的任务管理和监控。在Hue前端提供图形化工作流、Coordinator、Bundle编辑器，Hue调用Oozie REST接口对工作流、Coordinator、Bundle进行创建、修改、删除、提交、监控。 ZooKeeper ZooKeeper提供REST接口与Hue交互，用于查询ZooKeeper节点信息。在Hue前端显示ZooKeeper节点信息，Hue调用ZooKeeper REST接口获取这些节点信息。 Impala Impala提供Hue beeswax接口与Hue交互，用于执行Hive SQL、查询表元数据。在Hue界面编辑HQL语句，通Hue beeswax接口提交HQL语句到HiveServer执行，同时把执行结果通过浏览器呈现给用户。

MAPREDUCE服务 MRS Hue

MapReduce服务 MRS-Hue常用参数:参数说明

参数说明 Hue常用参数请参见表1。表1 Hue常用参数配置参数说明缺省值范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。

MapReduce服务 MRS 使用Hue（MRS 3.x及之后版本）

MapReduce服务 MRS-在Hue WebUI使用文件浏览器:访问文件浏览器（File Browser）

访问文件浏览器（File Browser）访问Hue WebUI。单击，进入“File Browser”。默认进入当前登录用户的主目录。文件浏览器将显示目录中的子目录或文件以下信息：表1 HDFS文件属性介绍属性名描述 “Name” 表示目录或文件的名称。 “Size” 表示文件的大小。 “User” 表示目录或文件的属主。 “Group” 表示目录或文件的属组。 “Permissions” 表示目录或文件的权限设置。 “Date” 表示目录或文件创建时间。在搜索框输入关键字，系统会在当前目录自动搜索目录或文件。清空搜索框的内容，系统会重新显示所有目录和文件。

MapReduce服务 MRS 使用Hue（MRS 3.x之前版本）

云服务器内容精选

Hue

7*24

备案

专业服务

退订

建议反馈

售前咨询热线