使用Hue-华为云

MAPREDUCE服务 MRS-Hue常用配置参数:参数说明

参数说明 Hue常用参数请参见表1。表1 Hue常用参数配置参数说明缺省值范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-使用Hue提交Oozie HDFS作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“Fs”按钮，将其拖到操作区中。在弹出的“Fs”窗口中单击“添加”。单击“CREATE DIRECTORY+”，添加待创建的HDFS目录。例如“/user/admin/examples/output-data/mkdir_workflow”和“/user/admin/examples/output-data/mkdir_workflow1”。如果单击了“DELETE PATH+”添加待删除的HDFS路径，该参数不能为空，否则会默认删除HDFS的“/user{提交用户名}”目录，可能会导致其他任务运行异常。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“HDFS-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-Hue日志介绍:日志级别

日志级别 Hue提供了如表2所示的日志级别。日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。表2 日志级别级别描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。如果您需要修改日志级别，请执行如下操作：参考修改集群服务配置参数进入Hue服务“全部配置”页面。在左侧导航栏选择需修改的角色所对应的“日志”菜单。在右侧选择所需修改的日志级别。保存配置，在弹出窗口中单击“确定”使配置生效。重新启动配置过期的服务或实例以使配置生效。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-Hue日志介绍:日志描述

日志描述日志路径：Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”（运行日志），“/var/log/Bigdata/audit/hue”（审计日志）。日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候，会自动压缩。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。表1 Hue日志列表日志类型日志文件名描述运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check.log gaussDB检查日志。 kt_renewer.log Kerberos认证日志。 kt_renewer.out.log Kerberos认证日志的异常输出日志。 runcpserver.log 操作记录日志。 runcpserver.out.log 进程运行异常日志。 supervisor.log 进程启动日志。 supervisor.out.log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。 prestartDetail.log Prestart日志。 statusDetail.log Hue服务健康状态日志。 startDetail.log 启动日志。 get-hue-ha.log Hue HA状态日志。 hue-ha-status.log Hue HA状态监控日志。 get-hue-health.log Hue健康状态日志。 hue-health-check.log Hue健康检查日志。 hue-refresh-config.log Hue配置刷新日志。 hue-script-log.log Manager界面的Hue操作日志。 hue-service-check.log Hue服务状态监控日志。 db_pwd.log Hue连接DBService数据库密码修改日志 modifyDBPwd_日期.log - watch_config_update.log 参数更新日志。审计日志 hue-audits.log 审计日志。

MAPREDUCE服务 MRS 使用Hue

MAPREDUCE服务 MRS-配置Oozie节点间用户互信:操作步骤

操作步骤在外部节点上确保连接SSH时使用的用户存在，且该用户“~/.ssh”目录存在。使用omm用户登录Oozie所在节点，查看“~/.ssh/id_rsa.pub”文件是否存在。是，执行3。否，执行以下命令生成公私钥： ssh-keygen -t rsa 以omm用户登录oozie实例所在节点，执行以下命令配置互信： ssh-copy-id -i ~/.ssh/id_rsa.pub 运行SSH任务的用户@运行SSH任务的节点的IP地址执行该命令后需要输入运行SSH任务的用户的密码。 Shell所在节点（外部节点）的账户需要有权限执行Shell脚本并对于所有Shell脚本里涉及到的所有目录文件有足够权限。如果Oozie具有多个节点，需要在所有Oozie节点执行2~3。使用omm用户登录依次其他Oozie所在节点，重复执行2-3。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-使用Hue提交Oozie Sub workflow作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“子Workflow”按钮，将其拖到操作区中。在弹出的“Sub workflow”窗口中配置“Sub-workflow”的值，例如从下拉列表中选取“Java-Workflow”（这个值是已经创建好的工作流之一），然后单击“添加”。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-使用Hue提交Oozie Loader作业:操作步骤

操作步骤创建工作流，请参考使用Hue创建工作流。在工作流编辑页面，选择“Loader”按钮，将其拖到操作区中。在弹出的“Loader”窗口中配置“Job id”的值，例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值，可从Loader页面获取。创建需要调度的Loader作业，并获取该作业ID，具体操作请参见使用Loader相关章节。单击Oozie编辑器右上角的。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Loader-Workflow”。保存完成后，单击，提交该作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。

MAPREDUCE服务 MRS 使用Hue提交Oozie作业

MAPREDUCE服务 MRS-访问Hue的WebUI:操作步骤

操作步骤登录服务页面：单击集群名称，登录集群详情页面，选择“组件管理”。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。选择“Hue”，在“Hue WebUI”右侧，单击链接，打开Hue的WebUI，以创建的“hueuser”用户登录Hue WebUI。 Hue的WebUI支持以下功能：使用“Query Editors”执行Hive的查询语句。需要MRS集群已安装Hive。使用“Data Browsers”管理Hive中的表。需要MRS集群已安装Hive。使用查看HDFS中的目录和文件。需要MRS集群已安装HDFS。使用查看MRS集群中所有作业。需要MRS集群已安装YARN。使用创建的用户第一次登录Hue WebUI，需修改密码。用户获取Hue WebUI的访问地址后，可以给其他无法访问Manager的用户用于访问Hue WebUI。在Hue的WebUI操作但不操作Manager页面，重新访问Manager时需要输入已登录的账号密码。

MAPREDUCE服务 MRS 使用Hue（MRS 3.x之前版本）

MapReduce服务 MRS-Hue常用参数:参数说明

参数说明 Hue常用参数请参见表1。表1 Hue常用参数配置参数说明缺省值范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。

MapReduce服务 MRS 使用Hue（MRS 3.x及之后版本）

MapReduce服务 MRS-在Hue WebUI使用文件浏览器:访问文件浏览器（File Browser）

访问文件浏览器（File Browser）访问Hue WebUI。单击，进入“File Browser”。默认进入当前登录用户的主目录。文件浏览器将显示目录中的子目录或文件以下信息：表1 HDFS文件属性介绍属性名描述 “Name” 表示目录或文件的名称。 “Size” 表示文件的大小。 “User” 表示目录或文件的属主。 “Group” 表示目录或文件的属组。 “Permissions” 表示目录或文件的权限设置。 “Date” 表示目录或文件创建时间。在搜索框输入关键字，系统会在当前目录自动搜索目录或文件。清空搜索框的内容，系统会重新显示所有目录和文件。

MapReduce服务 MRS 使用Hue（MRS 3.x之前版本）

MapReduce服务 MRS-在Hue WebUI使用文件浏览器:执行动作

执行动作单击，选择一个或多个目录或文件。单击“Actions”，在弹出菜单选择一个操作。 “Rename”：表示重新命名一个目录或文件。 “Move”：表示移动文件，在“移至”选择新的目录并单击“移动”完成移动。 “Copy”：表示复制选中的文件或目录。 “Change permissions”：表示修改选中目录或文件的访问权限。可以为属主、属组和其他用户设置“Read”、“Write”和“Excute”权限。 “Sticky”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “Recursive”表示递归设置权限到子目录。 “Storage policies”：表示设置目录或文件在HDFS中的存储策略。 “Summary”：表示查看选中的文件或目录的HDFS存储信息。

MapReduce服务 MRS 使用Hue（MRS 3.x之前版本）

MapReduce服务 MRS-Hue WebUI访问失败:处理步骤

处理步骤登录Master节点。执行hostname -i获取本机IP。执行如下命令获取“HUE_FLOAT_IP”的地址： grep "HUE_FLOAT_IP" ${BIGDATA_HOME}/MRS_Current/1_*/etc*/ENV_VARS,其中MRS以实际文件名为准。比较本机IP和“HUE_FLOAT_IP”的值是否相同，若不相同，请修改“HUE_FLOAT_IP”的值为本机IP。重启Hue服务。

MapReduce服务 MRS 使用Hue

云服务器内容精选

使用Hue

7*24

备案

专业服务

退订

建议反馈

售前咨询热线