华为云用户手册

已冻结/冻结期满，配额被删除 当配额状态为“已冻结”时，或者冻结期满，配额被彻底删除后，HSS均不会再防护您的主机，您无法通过管理控制台清除SSH登录IP白名单。 清除配置的SSH登录IP白名单，操作步骤如下所示。 登录需要清除SSH登录IP白名单的云主机。 执行以下命令，查看“/etc/sshd.deny.hostguard”文件，如图1所示。 cat /etc/sshd.deny.hostguard 图1 查看文件内容 执行以下命令，打开“/etc/sshd.deny.hostguard”文件。 vim /etc/sshd.deny.hostguard 按“i”进入编辑模式，删除“ALL”。 按“Esc”退出编辑，输入“:wq”保存并退出。

什么是网页防篡改？ 网页防篡改可实时监控网站目录，并通过备份恢复被篡改的文件或目录，保障重要系统的网站信息不被恶意篡改，防止出现挂马、黑链、非法植入恐怖威胁、色情等内容。 网页防篡改功能可实时发现并拦截篡改指定目录下文件的行为，并快速获取备份的合法文件恢复被篡改的文件，从而保护网站的网页、电子文档、图片等文件不被黑客篡改和破坏。 网页防篡改的操作流程和主要功能概览。操作流程如图1所示，主要功能概览请参考表1。 图1 网页防篡改操作流程 表1 主机安全防篡改操作流程及功能说明 操作类型 操作 描述与参考 准备工作 -- 使用主机安全服务前，若无VDC业务员账号，需要运营管理员创建VDC和VDC管理员，VDC管理员创建VDC业务员。 开通网页防篡改防护 申请防护配额 您需要申请防护配额后，才能开启网页防篡改防护。 安装Agent Agent是HSS提供的客户端，用于执行检测任务，全量扫描主机；实时监测主机的安全状态，并将收集的主机信息上报给云端防护中心。 安装Agent后，您才能开启网页防篡改防护。 设置告警通知 设置告警通知功能后，您能接收到HSS发送的告警通知，及时了解主机/网页内的安全风险。 否则，无论是否有风险，您都只能登录管理控制台自行查看，无法收到告警信息。 开启主机防护 开启主机防护时，您需为指定的主机分配一个配额。 配置网页防篡改防护 添加防护目录 网页防篡改实时监控网站目录，开启网页防篡改前请添加防护目录。 添加远端备份 HSS默认将防护目录下的文件备份在“添加防护目录”时添加的本地备份路径下，为防止备份在本地的文件被攻击者破坏，请您启用远端备份功能。 添加特权进程 开启网页防篡改防护后，防护目录中的内容是只读状态，如果您需要修改防护目录中的文件或更新网站，可以添加特权进程。 定时开启网页防篡改 网页防篡改提供的定时开关功能，能够定时开启/关闭静态网页防篡改功能，您可以使用此功能定时更新需要发布的网页。 开启动态网页防篡改 动态网页防篡改提供tomcat应用运行时自我保护，能够检测针对数据库等动态数据的篡改行为。 查看网页防篡改报告 开启网页防篡改防护后，HSS将立即对您添加的防护目录执行全面的安全检测。您可以查看主机被非法篡改的详细记录。 父主题： 产品咨询

操作场景 用户首次进入 云审计 服务时，在追踪器页面单击“开通云审计服务”，系统会自动为您创建一个名为system的管理追踪器，之后您也可以在追踪器页面创建多个数据追踪器。管理追踪器会自动识别并关联当前租户所使用的所有云服务，并将当前租户的所有操作记录在该追踪器中。数据追踪器会记录租户对OBS桶中的数据操作的详细信息。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录，您必须配置转储到 对象存储服务 (OBS)，才可在OBS桶里面查看历史文件。否则，您将无法追溯7天以前的操作记录。

关联服务 对象存储服务（Object Storage Service，简称OBS）：存储事件文件。 由于云审计服务需要高频次的访问转储的OBS桶，因此必须选择使用标准存储类型的OBS桶。 数据加密 服务（Data Encryption Workshop，简称DEW）：为事件文件加密功能提供密钥。 云日志 服务（Log Tank Service，简称LTS）：提供日志存储功能。 消息通知 服务（Simple Message Notification，简称 SMN ）：检测到关键操作时，调用消息通知服务向用户发送邮件、短信通知。

修订记录 发布日期 修改记录 2024-3-19 第六十次正式发布。 新增取消委托管理员权限。 2024-03-08 第五十九次正式发布。 更新支持审计的服务及操作列表：新增“产品数字化协同平台云服务”、“工业仿真工具链云服务”。 2023-01-19 第五十八次正式发布。 新增组织追踪器：云审计服务支持组织云服务的多账号关系的管理能力。 2023-12-27 第五十七次正式发布。 更新支持审计的服务及操作列表：新增“成本中心服务”。 2023-12-15 第五十六次正式发布。 更新配置管理类事件追踪器和配置数据类事件追踪器，新增添加标签功能。 更新支持审计的服务及操作列表：新增“需求管理服务”、“云盘服务”、“应用平台服务”、“ 安全云脑 ”。 2023-11-01 第五十五次正式发布。 更新查询审计事件，新增“在新版事件列表查看审计事件”和“在旧版事件列表查看审计事件”说明。 2023-08-31 第五十四次正式发布。 更新支持审计的服务及操作列表：新增“板级EDA工具链云服务”、“智能数据洞察服务”。 2023-08-28 第五十三次正式发布。 更新查询审计事件。 更新查询转储事件：新增“查询OBS中转储事件”和“查询LTS中转储事件”操作说明。 更新追踪器资料，原“管理追踪器”章节，现分为管理类事件追踪器和数据类事件追踪器。 更新配置追踪器，新增“排除KMS事件”说明。 更新云审计服务应用示例，补充新版云审计控制台操作说明。 更新跨租户转储授权。 2023-08-15 第五十二次正式发布。 更新跨租户转储授权。 2023-07-17 第五十一次正式发布。 更新支持审计的服务及操作列表：新增“工业数字模型驱动引擎”、“企业路由器”、“ 媒体处理 ”、“ IAM 身份中心”、“流水线”、“编译构建”、“云性能测试服务”、“应用管理与运维平台”。 2023-02-28 第五十次正式发布。 修改支持审计的服务及操作列表。 2022-11-15 第四十九次正式发布。 修改审计操作列表。 更新数据类事件追踪器。 新增跨租户转储授权。 2022-07-15 第四十八次正式发布。 修改审计操作列表。 2020-11-27 第四十七次正式发布。 新增 知识图谱 审计操作列表。 2020-09-28 第四十六次正式发布。 新增分布式消息服务RabbitMQ审计操作列表。 2019-08-30 第四十五次正式发布。 新增 数据湖 治理中心审计操作列表。 2019-07-11 第四十四次正式发布。 新增企业管理服务审计操作列表。 新增云容器实例审计操作列表。 2019-06-30 第四十三次正式发布。 新增创建追踪器。 新增权限管理。 修改配置追踪器。 排查修改界面词，删除与LTS相关描述等。 修改分布式消息服务Kafka审计操作列表。 2019-05-25 第四十二次正式发布。 修改文档数据库服务审计操作列表。 修改应用管理与运维平台审计操作列表。 2019-05-30 第四十一次正式发布。 新增云数据库 GaussDB NoSQL审计操作列表。 修改分布式缓存服务审计操作列表。 2019-05-20 第四十次正式发布。 新增云连接审计操作列表。 2019-04-30 第三十九次正式发布。 新增慧眼HiLens审计操作列表。 新增 云存储 网关服务审计操作列表。 新增应用与 数据集成平台 ROMA Connect审计操作列表。 修改存储容灾服务审计操作列表。 修改ModelArts审计操作列表。 修改水智能体审计操作列表。 修改弹性云服务器审计操作列表。 修改 DDoS高防服务 审计操作列表。 修改弹性负载均衡审计操作列表。 2019-04-08 第三十八次正式发布。 新增流水线审计操作列表。 新增云备份服务审计操作列表。 新增水智能体审计操作列表。 修改代码托管审计操作列表。 修改 云监控 审计操作列表。 2019-02-14 第三十七次正式发布。 新增配额调整。 2019-01-30 第三十六次正式发布。 新增对接云手机服务。 新增对接云日志服务。 Web应用防火墙 服务更新事件。 配置追踪器，事件文件支持转储至其他用户OBS桶。 2018-12-29 第三十五次正式发布。 新增对接 代码托管服务 。 新增对接视频分析服务。 新增对接快速数据集成。 对话机器人服务 新增事件。 2018-12-07 第三十四次正式发布。 新增对接ROAM联接服务。 新增对接ModelArts服务。 新增关键操作，修改关键操作列表，涉及资料： 弹性云服务器的关键操作列表 应用管理与运维平台的关键操作列表 对话机器人 服务的关键操作列表 配置追踪器，新增创建OBS桶操作的日志记录说明。 2018-11-15 第三十三次正式发布。 新增对接存储容灾服务。 2018-10-30 第三十二次正式发布。 新增对接虚拟私有云终端节点服务 新增对接 容器安全服务 新增对接云运营中心 新增对接云速建站 更新专属企业存储服务的关键操作列表 2018-09-30 第三十一次正式发布。 新增对接基因检测服务 新增对接 图像搜索 2018-08-30 第三十次正式发布。 新增对接 云堡垒机 新增对接 语音识别 新增对接图像识别 支持对七天以内的操作记录以 CS V格式导出。 2018-07-30 第二十九次正式发布。 新增对接云文件服务 新增对接 内容审核 函数工作流 关键操作列表更新 对象存储服务的关键操作列表，按照“桶”和“对象”的资源类型，提供不同的查看方式。 2018-06-30 第二十八次正式发布。 新增对接 云数据迁移 新增对接安全专家服务 新增对接 主机迁移服务 2018-05-31 第二十七次正式发布。 支持对关键操作通知进行自定义配置，新增“配置关键操作通知”章节。 新增对接安全中心 新增对接数据湖工厂服务 2018-04-25 第二十六次正式发布，新增对接。 应用编排服务 。 函数服务 对话机器人服务 DDos高防服务 应用运维管理 区块链 服务 镜像容器服务 2018-03-09 第二十五次正式发布。 优化了支持审计的服务章节。 对接Elasticsearch服务 对接边缘计算服务 对接UPredict服务 2018-01-30 第二十四次正式发布。 “关键事件通知”触发条件新增“完整”场景，配置追踪器章节新增功能说明和配置说明。 对接专属企业存储服务 对接API网关 对接对象存储服务 2017-12-30 第二十三次正式发布。 对接文档数据库服务 对接弹性文件服务 对接深度学习服务 对接关系引擎服务 补充说明 CTS 转储的OBS桶类型只能选择标准存储类型的桶。 2017-11-25 第二十二次正式发布。 事件文件完整性校验功能，新增“事件文件完整性校验”和“校验云审计事件文件完整性”章节。 新增对接应用管理与运维平台ServiceStage。 “开通云审计服务”章节新增说明，支持一键为当前局点所有region创建追踪器。 关键事件通知新增“用户登录”功能。 2017-10-26 第二十一次正式发布。 新增对接 分布式数据库 中间件。 新增对接Web 漏洞扫描 。 新增对接机器学习服务。 2017-09-30 第二十次正式发布。 配置追踪器支持对待转储的事件文件进行KMS加密。 常见问题新增“对事件文件进行KMS加密是否收费？”章节。 新增对接函数工作流服务。 新增对接主机安全服务。 新增对接 数据接入服务 。 新增对接CloudTable服务。 新增对接 对象存储迁移 服务。 新增对接安全体检服务。 2017-08-30 第十九次正式发布。 新增对接 数据仓库 服务。 新增对接语音通话服务。 新增对接消息&短信服务。 配置追踪器支持在配置追踪器页面创建OBS桶。 2017-07-20 第十八次正式发布。 新增对接网络入侵检测服务。 新增对接数据查询服务。 新增对接内容分发网络服务。 配置追踪器增加关键事件通知功能描述。 2017-06-27 第十七次正式发布。 新增关系型数据库服务。 2017-06-14 第十六次正式发布。 新增对接证书管理服务。 新增对接数据库防火墙服务。 新增对接渗透测试服务。 新增对接关系型数据库服务。 2017-05-26 第十五次正式发布。 新增对接Web应用防火墙服务。 新增对接主机漏洞检测服务。 2017-04-28 第十四次正式发布。 新增对接程序运行认证服务。 新增对接网页防篡改服务。 2017-03-30 第十三次正式发布。 新增对接云目录服务 新增对接云报表服务。 2017-02-27 第十二次正式发布。 对应事件筛选功能的优化，在“查看追踪事件”中修改相应的描述。 在事件结构中修改了user字段的说明。 2017-02-08 第十一次正式发布。 优化对应事件筛选功能，在“查看追踪事件”中修改相应的描述。 在配置追踪器章节中增加关于事件周期转储的说明。 在云审计服务事件参考中增加关于本章节描述视角的说明，并优化部分事件字段的说明。 2017-02-03 第十次正式发布。 新增常见问题“为什么时间列表中的某些操作被记录了两次？”对异步操作场景进行说明。 增加说明：消息通知服务中的“删除主题”操作中删除订阅信息操作不被记录。 在“开通云审计服务中”修改描述：“追踪器记录创建追踪器的该租户的云服务资源的相关操作。” 在事件结构中修改“user”、“request”和“response”字段的说明。 2017-01-20 第九次正式发布。 对接服务：ELB、VBS、CCE、 MRS 增加VBS和IMS在trace list中，通过Resource ID跳转到对应的资源页面。 2016-12-30 第八次正式发布。 新增对接更多服务。 2016-12-15 第七次正式发布。 OBS桶转储区分服务类型。 2016-11-30 第六次正式发布。 优化界面显示。 2016-11-15 第五次正式发布。 新增对接更多服务。 2016-10-30 第四次正式发布： OBS桶转储区分服务类型。 2016-10-15 第三次正式发布。 增加事件级别。 2016-09-30 第二次正式发布。 支持运维查询所有接口trace。 2016-09-15 第一次正式发布。

适用场景 套餐包计费模式需要用户预先支付一定使用次数的费用，适用于长期、稳定的业务需求。以下是一些适用于套餐包计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，套餐包计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，套餐包计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测：如果能预测到业务高峰期，可提前购买套餐包资源以应对高峰期的需求，避免资源紧张。 数据安全要求高：对于对数据安全性要求较高的业务，套餐包计费模式可确保资源的持续使用，降低因资源欠费而导致的数据安全风险。

到期后影响 图1描述了套餐包OCR资源各个阶段的状态。购买后，在计费周期内资源正常运行，此阶段为有效期；资源到期而未续费时，将陆续进入宽限期和保留期。 图1 套餐包OCR资源生命周期 到期预警 套餐包OCR资源在到期前第7天内，系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的套餐包OCR资源到期未续费，首先会进入宽限期，资源状态变为“已过期”。宽限期内客户可正常访问及使用云服务，但以下操作将受到限制： 不可重置套餐包方式的API接口，例如“网络图片识别10万次套餐包”，在欠费后如果套餐包有剩余，可继续使用，但不可购买，也不可续期。 无法开通服务。 为了避免影响业务正常使用，请您在收到欠费通知后，及时前往华为云控制台费用中心进行充值。 如果您在宽限期内仍未续费套餐包OCR资源，那么就会进入保留期，资源状态变为“已冻结”，您将无法对处于保留期的套餐包资源执行任何操作。 保留期到期后，若套餐包OCR资源仍未续费，那么存储在该资源中的数据将被删除，套餐包资源将被释放，按需资源将被删除，数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。

成本分配 成本管理的基础是树立成本责任制，让各部门、各业务团队、各责任人参与进来，为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式，将云上成本分组，归集到特定的团队或项目业务中，让各责任组织及时了解各自的成本情况。 华为云成本中心支持如下方式对成本进行归集和重新分配： 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集，从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。

成本优化 成本控制 企业可以在成本中心的“预算管理”页面创建精细粒度的预算来管理成本和使用量，在实际或预测超过预算阈值时，自动发送通知给指定消息接收人。企业还可以创建预算报告，定期将指定预算进展通知给指定消息接收人。 例如企业需要创建一个 文字识别 的按需成本预算，每月预算金额为2000元，当预测金额高于预算金额的80%时发送预算告警。那么，创建的预算如下： 图1 预算基本信息 图2 设置成本范围 图3 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 成本中心可以通过监控文字识别服务的历史消费情况和CPU使用率，为客户提供文字识别服务资源的空闲识别和优化建议，寻找节约成本的机会。您还可以根据成本分析阶段的分析结果识别成本偏高的资源，通过 云监控服务 监控资源的使用情况，确定成本偏高的原因，然后采取针对性的优化措施。 计费模式优化 不同类型的业务对资源使用周期有不同的要求，为每一类业务确定合适的计费模式，灵活组合以达到最优效果。 针对长期稳定的成熟业务，使用套餐包计费模式。 针对不能中断的短期、突增或不可预测的业务，使用按需计费模式。 实现自动化运维 华为云也提供了丰富的运维类产品，帮助您提升运维效率，降低运维的人力成本。例如： 弹性伸缩：持续维护跨计费模式、跨可用区、跨实例规格的实例集群。适合业务负载存在峰谷波动的场景。 智能购买组：一键部署跨计费模式、跨可用区和跨实例规格的实例集群。适合需要快速交付稳定算力，同时使用竞价实例降低成本的场景。 资源编排 ：一键部署并维护包含多种云资源和依赖关系的资源栈。适合交付整体系统、克隆环境等场景。 自动化运维：以服务化的方式定义一组运维操作，高效执行运维任务。适合定时运维、批量运维、跨地域运维等场景。

计费示例 假设您在2023/04/18 9:59:30开通了文字识别身份证API按需计费，然后在2023/04/18 10:45:46将其关闭，期间成功调用100次： 第一个计费周期为9:00:00 ~ 10:00:00，在9:59:30 ~ 10:00:00间产生费用，该计费周期内的计费次数为5次。 第二个计费周期为10:00:00 ~ 11:00:00，在10:00:00 ~ 10:45:46间产生费用，该计费周期内的计费次数为95次。 每一个小时整点结算一次费用（以UTC+8时间为准），您需要为每个计费周期付费。

续费相关的功能 套餐包文字识别服务续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 套餐包文字识别服务从购买到套餐包截止日期之前，您可以随时在OCR控制台为文字识别服务续费，以延长文字识别服务的使用时间。 自动续费 开通自动续费后，文字识别服务会在每次到期前自动续费，避免因忘记手动续费而导致资源被自动删除/释放。 在套餐包文字识别服务生命周期的不同阶段，您可以根据需要选择一种方式进行续费，具体如图1所示。 图1 文字识别服务生命周期 文字识别服务从购买到到期前，资源状态为“可使用”。 到期后，资源状态变为“已过期”。 到期未续费时，文字识别服务首先会进入宽限期，宽限期到期后仍未续费，资源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期，如果保留期内仍未续费，资源将被自动删除/释放。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在文字识别服务到期前均可开通自动续费，到期前7日凌晨3:00首次尝试自动续费，如果扣款失败，每天凌晨3:00尝试一次，直至文字识别服务到期或者续费成功。到期前7日自动续费扣款是系统默认配置，您也可以根据需要修改此扣款日。

企业主账号购买的套餐包资源，子账号如何使用 “企业主账号”与“子账号”为通俗意义的说法，准确上为“账号”与“IAM用户”。账号与IAM用户可以类比为父子关系，账号是资源归属以及计费的主体，对其拥有的资源具有所有权限。IAM用户由账号创建，只能拥有账号授予的资源使用权限，账号可以随时修改或者撤销IAM用户的使用权限。IAM用户进行资源操作时产生的费用统一计入账号中，IAM用户不需要为资源付费。使用账号可以创建IAM用户及给IAM用户授权，登录IAM用户即可查看和使用账号授权的资源。 父主题： 计费FAQ

资源和成本规划 最佳实践中涉及的资源如下： 表1 资源说明 资源 资源说明 应用客户端（APP Client） 最终用户手机上的APP，负责向应用服务器申请包含预签名的URL，以及访问OBS完成数据上传或下载。 应用服务器（APP Server） 提供该Android/iOS应用的开发者开发的APP后台服务，用于管理凭证信息以及发放预签名URL。 对象存储服务（OBS） 华为云对象存储服务，负责处理移动应用的数据请求。

方案架构 应用客户端每个请求都将向应用服务器申请预签名URL，该预签名URL有效期由应用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下： 应用客户端：即最终用户手机上的APP，负责向应用服务器申请包含预签名的URL，以及访问OBS完成数据上传或下载。 应用服务器：即提供该Android/iOS应用的开发者开发的APP后台服务，用于管理凭证信息以及发放预签名URL。 OBS：即华为云对象存储，负责处理移动应用的数据请求。 实现流程如下： 移动应用客户端向应用服务器申请一个预签名的URL。 Android和iOS应用使用OBS服务时，不需要存储访问密钥（AK/SK）。应用在上传前必须向用户的应用服务器申请访问OBS的URL，并携带必须信息，包括请求类型、资源路径和资源名称。比如上传操作需要标识该URL为上传请求，需要包含上传的路径以及上传对象的名称；下载操作需要标识该URL为下载请求，需要包含所下载对象的名称。 应用服务器作为可信设备，在应用服务器上存储访问密钥（AK/SK）。应用服务器在验证客户端身份合法之后，使用应用服务器保存的访问密钥（AK/SK）以及客户端访问的资源、操作类型生成预签名URL。举例： https://examplebucket.obs.cn-north-4.myhuaweicloud.com/objectkey?AccessKeyId=AccessKeyID&Expires=1532779451&Signature=0Akylf43Bm3mD1bh2rM3dmVp1Bo%3D Android/iOS移动应用获取此URL，直接使用该URL操作数据，比如上传或者下载操作。 URL中会包含用户的AK、签名、有效期、资源等信息，任何拿到这个URL的人均可执行这个操作。OBS服务收到这个请求并验证签名后，认为该请求就是签发URL的用户自己在执行操作。例如构造一个携带签名信息的下载对象URL，拿到相应URL的人能下载这个对象，但该URL只在Expires指定的失效时间内有效（如果使用临时访问密钥，有效期为临时访问密钥有效时长和Expires的最小值）。URL中携带签名主要用于在不提供给其他人SK的情况下，让其他人能用预签发的URL来进行身份认证，并执行预定义的操作。

启动presto 步骤如下： 启动hive metastore：hive --service metastore & 启动presto server：bin/launcher start (如何关闭presto服务：bin/launcher stop) 启动presto client： 重命名presto-cli-333-executable.jar为presto,放在bin目录下，然后赋予执行权限：chmod +x presto 启动client：./presto --server XX.XX.XX.XX:5050 --catalog hive --schema default

Catalog配置文件（重点） hive connector配置如下: 在etc目录下创建catalog目录 创建一个hive connector的配置文件：hive.properties # hive.properties #连接名 connector.name=hive-hadoop2 #配置hive metastore连接 hive.metastore.uri=thrift://192.168.XX.XX:9083 #指定hadoop的配置文件，注意core-site.xml需要按照https://github.com/huaweicloud/obsa-hdfs/tree/master/release/doc配置 hive.config.resources=/home/modules/hadoop-2.8.3/etc/hadoop/core-site.xml,/home/modules/hadoop-2.8.3/etc/hadoop/hdfs-site.xml,/home/modules/hadoop-2.8.3/etc/hadoop/mapred-site.xml #给删表权限 hive.allow-drop-table=true

Server配置文件 配置属性文件etc/config.properties，包含Presto server的配置。Presto server可以同时为coordinator和worker，但一个大集群里最好就是只指定一台机器为coordinator。 coordinator节点的配置文件 coordinator=true node-scheduler.include-coordinator=true http-server.http.port=5050 discovery-server.enabled=true discovery.uri=http://192.168.XX.XX:5050 query.max-memory=20GB query.max-memory-per-node=1GB query.max-total-memory-per-node=2GB worker节点的配置文件 coordinator=false http-server.http.port=5050 discovery.uri=http://192.168.XX.XX:5050 query.max-memory=20GB query.max-memory-per-node=1GB query.max-total-memory-per-node=2GB 解释： coordinator：是否运行该实例为coordinator（接受client的查询和管理查询执行）。 node-scheduler.include-coordinator:coordinator是否也作为work。对于大型集群来说，在coordinator里做worker的工作会影响查询性能。 http-server.http.port:指定HTTP端口。Presto使用HTTP来与外部和内部进行交流。 query.max-memory：查询能用到的最大总内存。 query.max-memory-per-node：查询能用到的最大单节点内存。 discovery-server.enabled：Presto使用Discovery服务去找到集群中的所有节点。每个Presto实例在启动时都会在Discovery服务里注册。这样可以简化部署，不需要额外的服务，Presto的coordinator内置一个Discovery服务。 discovery.uri：Discovery服务的URI。将example.net:8080替换为coordinator的host和端口。这个URI不能以斜杠结尾，这个错误需特别注意，不然会报404错误。 另外还有以下属性： jmx.rmiregistry.port：指定JMX RMI的注册。JMX client可以连接此端口 jmx.rmiserver.port：指定JMX RMI的服务器。可通过JMX监听。

安装presto server 版本：prestoSQL-333 下载Presto客户端和服务端。 下载客户端 下载服务端 下载hadoop-huaweicloud插件：下载地址。 执行以下命令，解压Presto服务端。 tar –zxvf presto-server-333.tar.gz 在presto根目录/plugin/hive-hadoop2下放入如下两个jar包。 hadoop-huaweicloud-${hadoop.version}-hw-${version}.jar Apache commons-lang-xxx.jar 可从maven中央仓库下载或从hadoop目录中拷贝。

节点配置文件 节点属性文件etc/node.properties，包含每个节点的配置。一个节点是一个Presto实例。这文件一般是在Presto第一次安装时创建的。以下是最小配置： node.environment=production node.id=ffffffff-ffff-ffff-ffff-ffffffffffff node.data-dir=/var/presto/data 解释： node.environment：环境名字，Presto集群中的节点的环境名字都必须是一样的。 node.id：唯一标识，每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir：数据目录，Presto用它来保存log和其他数据 示例： node.environment=presto_cluster node.id=bigdata00 node.data-dir=/home/modules/presto-server-0.215/data #data需要自己手动创建

JVM配置文件 JVM配置文件etc/jvm.config，包含启动Java虚拟机时的命令行选项。格式是每一行是一个命令行选项。此文件数据是由shell解析，所以选项中包含空格或特殊字符会被忽略。 以下是参考配置： -server -Xmx16G -XX:-UseBiasedLocking -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+ExplicitGCInvokesConcurrent -XX:+ExitOnOutOfMemoryError -XX:+UseGCOverheadLimit -XX:+HeapDumpOnOutOfMemoryError -XX:ReservedCodeCacheSize=512M -Djdk.attach.allowAttachSelf=true -Djdk.nio.maxCachedBufferSize=2000000 备注：以上参数都是官网参数，实际环境需要调整

注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 不推荐state状态数据存储在OBS上。 为了减少日志输出，在/opt/flink-1.12.1/conf/log4j.properties文件中增加配置： logger.obs.name=com.obs logger.obs.level=ERROR flink-obs-fs-hadoop的实现基于flink的plugin加载机制（flink从1.9开始引入），flink-obs-fs-hadoop必须通过flink的plugin机制进行加载，即将flink-obs-fs-hadoop放入/opt/flink-1.12.1/plugins/obs-fs-hadoop目录下。

方式三：使用OBS SDK校验下载对象的一致性 OBS SDK对待下载对象的自定义元数据中的MD5值和下载到本地的对象的MD5值进行对比，通过对比结果判断下载对象的一致性。 此处以使用OBS Java SDK下载mytestbucket桶中一个名为test.txt的文本文件为例，下载过程使用MD5值校验数据一致性的示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 String endPoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量AC CES S_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 创建ObsClient实例 final ObsClient obsClient = new ObsClient(ak, sk, endPoint); // 获取对象的MD5值 ObjectMetadata metadata = obsClient.getObjectMetadata("mytestbucket", "test.txt"); String md5Origin = metadata.getUserMetadata("contentMd5"); // 计算下载后对象的MD5值 Obsobject obsobject = obsClient.getObject("mytestbucket", "test.txt"); String md5Download = obsClient.base64Md5(obsobject.getObjectContent()); // 对比MD5值 if(md5Origin.contentEquals(md5Download)) System.out.println("Object MD5 validation passes!\n"); else System.out.println("Object MD5 validation failed!\n"); 在以上示例代码中，获取对象MD5值时的contentMd5是在上传时设置的自定义元数据，实际开发中需要根据自定义的元数据名称修改。

方式二：使用OBS Browser+校验下载对象的一致性 OBS Browser+默认关闭MD5校验，在OBS Browser+上启用MD5校验一致性并下载对象的步骤如下： 登录OBS Browser+。 单击客户端右上方的，并选择“高级设置”。 勾选“MD5校验”，如图1所示。 图1 配置MD5校验 单击“确定”。 选择待下载文件的桶，下载文件。 如果MD5校验成功，则文件下载成功。 如果MD5校验失败，则文件下载失败，且在任务管理中提示失败原因：校验文件MD5失败。

方式一：使用obsutil校验下载对象的一致性 obsutil支持在下载对象时通过附加参数（vmd5）来校验下载数据的一致性。 以在Windows操作系统下载mytestbucket桶中的test.txt文件至本地为例，开启数据一致性校验的步骤如下： 执行以下命令，检查待下载对象是否具有MD5信息。 obsutil stat obs://test-bucket/test.txt 返回的对象基本信息中，包含MD5信息，如下图所示，执行步骤2。 不包含MD5信息，下载对象时无法进行一致性校验。 执行以下命令，下载对象。 obsutil cp obs://mytestbucket/test.txt D:\test.txt -vmd5 对象下载成功且通过一致性校验，回显信息如下： 如果桶中对象没有MD5值，对象能够下载成功，但不会校验一致性，回显信息如下：

背景信息 常见的Web端上传方法是用户通过浏览器上传文件至应用服务器，再由应用服务器上传至OBS，数据需要在应用服务器中转，传输效率较低，且多任务同时上传时应用服务器压力大。 本文介绍一种在Web端利用PostObject接口直传文件至OBS的方法，即使用表单上传方式上传文件至OBS。如图1所示，该方案省去了应用服务器这一步骤，提高了传输效率，不会对服务器产生压力，且服务端签名后直传可以保证传输的安全性。 图1 Web端PostObject直传流程图

应用场景 一般情况下，用户会通过OBS提供的桶访问域名（例如https://bucketname.obs.cn-north-4.myhuaweicloud.com）或者绑定的自定义域名来访问OBS。 但在某些场景下，用户需要通过固定的IP地址访问OBS，例如：某些企业出于安全考虑，对于可访问的外部地址需要设置黑白名单，而这个时候对于OBS的访问则需要一个固定的IP地址。同样出于安全考虑，华为云OBS桶访问域名通过DNS解析的IP地址是会发生变化的，所以用户无法获取某个桶长期有效的固定IP地址。 此时，可以通过在ECS上搭建Nginx反向代理服务器，来实现通过固定IP地址访问OBS。

资源与成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 必选 OBS：存放图片、软件包等静态资源的桶，存储类别为“标准存储”或“低频访问存储”（归档与深度归档存储不支持直接配置 CDN加速 ），桶策略为“私有”。 CDN：提供点播加速。 DNS：通过在域名服务商处配置CNAME记录，将加速域名以CNAME方式指向CDN服务中对应的CNAME域名，域名解析生效后，该域名的所有请求都将转向CDN节点。 网站域名：根据中国《互联网管理条例》的要求，此域名必须在工信部已备案并在有效期内才可以使用CDN加速。 成本规划 必选 OBS费用：详见OBS计费说明。 CDN费用：详见CDN计费说明。 可选 回源流量包：当回源获取数据时，CDN访问OBS会产生回源流量。OBS提供回源流量包，可以减少回源流量产生的流量费用。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台显示为准。

【附】hadoop-huaweicloud相关配置 配置项 默认值 是否必填 说明 fs.obs.impl org.apache.hadoop.fs.obs.OBSFileSystem 是 - fs.AbstractFileSystem.obs.impl org.apache.hadoop.fs.obs.OBS 是 - fs.obs.endpoint 无 是 华为云OBS的终端节点（Endpoint）。 fs.obs.access.key 无 是 华为云的AK（Access Key Id），需要具备访问OBS对应桶的权限。 fs.obs.secret.key 无 是 华为云的SK（Secret Access Key），需要具备访问OBS对应桶的权限。 fs.obs.session.token 无 否 华为云的securitytoken，需要具备访问OBS对应桶的权限。当使用临时AK/SK时需要。 fs.obs.security.provider 无 否 实现com.obs.services.IObsCredentialsProvider接口的类，用于获取访问OBS的凭证。 fs.obs.connection.ssl.enabled FALSE 否 是否通过HTTPS访问OBS。 fs.obs.threads.keepalivetime 60 否 控制读写线程池参数keepAliveTime。 fs.obs.threads.max 20 否 控制读写线程池参数corePoolSize和maximumPoolSize fs.obs.max.total.tasks 20 否 控制读写线程池参数BlockingQueue的容量，其等于fs.obs.threads.max+fs.obs.max.total.tasks fs.obs.multipart.size 104857600 否 写相关配置，多段上传大小。 fs.obs.fast.upload.buffer disk 否 写相关配置，所有数据在写入OBS前都会先缓存然后再上传到OBS，此参数用于设置缓存方式，取值范围： disk：缓存在磁盘 array：缓存在JVM堆内内存 bytebuffer：缓存在JVM堆外内存 fs.obs.buffer.dir ${hadoop.tmp.dir} 否 写相关配置，当fs.obs.fast.upload.buffer为disk时的缓存目录，支持多目录并以逗号分隔。 fs.obs.bufferdir.verify.enable FALSE 否 写相关配置，当fs.obs.fast.upload.buffer为disk时是否验证缓存目录是否存在以及是否具备写权限。 fs.obs.fast.upload.active.blocks 4 否 写相关配置，每个流操作最大可以使用的缓存个数（通过多段上传线程池最多可以提交的线程任务个数），从而限制每个流操作最大可以使用的缓存空间fs.obs.fast.upload.active.blocks*fs.obs.multipart.size。 fs.obs.fast.upload.array.first.buffer 1048576 否 写相关配置，当fs.obs.fast.upload.buffer为array时，此参数控制JVM堆内缓存初始化大小 fs.obs.readahead.range 1048576 否 写相关配置，预读片段大小。 fs.obs.multiobjectdelete.enable TRUE 否 删除相关配置，删除目录时是否启动批量删除。 fs.obs.delete.threads.max 20 否 删除相关配置，控制线程池参数maximumPoolSize和corePoolSize fs.obs.multiobjectdelete.maximum 1000 否 删除相关配置，批量删除时单次OBS批量删除请求中支持的最多可删除对象的个数，最大值为1000。 fs.obs.multiobjectdelete.threshold 3 否 删除相关配置，批量删除时当对象个数小于此参数值时将不启动批量删除。 fs.obs.list.threads.core 30 否 List相关配置，控制线程池参数corePoolSize fs.obs.list.threads.max 60 否 List相关配置，控制线程池参数maximumPoolSize fs.obs.list.workqueue.capacity 1024 否 List相关配置，控制线程池参数BlockingQueue的容量 fs.obs.list.parallel.factor 30 否 List相关配置，控制并发因子参数。 fs.obs.paging.maximum 1000 否 List相关配置，单次OBS List请求最多返回的对象个数，最大值为1000。 fs.obs.copy.threads.max 40 否 对象桶rename相关配置，对象桶rename目录时copy线程池配置参数maximumPoolSize，corePoolSize的值为此参数的一半，BlockingQueue的容量为1024。 fs.obs.copypart.size 104857600 否 对象桶rename相关配置，单个对象copy时当对象的大小超过了此参数值则进行多段copy，且段大小为此参数值；否则进行简单copy。 fs.obs.copypart.threads.max 5368709120 否 对象桶rename相关配置，单个对象copy时如果进行了多段copy，多段copy线程池配置参数maximumPoolSize，corePoolSize的值为此参数的一半，BlockingQueue的容量为1024。 fs.obs.getcanonicalservicename.enable FALSE 否 控制getCanonicalServiceName()接口的返回值。 TRUE：obs://bucketname FALSE：null fs.obs.multipart.purge FALSE 否 初始化OBSFilesystem时是否清理桶内的多段上传任务。 fs.obs.multipart.purge.age 86400 否 初始化OBSFilesystem时清理桶内多久之前的多段上传任务。 fs.obs.trash.enable FALSE 否 是否开启垃圾回收功能。 fs.obs.trash.dir 无 否 垃圾回收目录。 fs.obs.block.size 134217728 否 块大小。

概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hadoop中定义了HDFS协议（通过FileSystem抽象类），其他各类存储系统均可以实现HDFS协议，例如Hadoop中内置的HDFS服务，华为云的对象存储服务OBS。

约束与限制 不支持以下HDFS语义： Lease Symbolic link operations Proxy users File concat File checksum File replication factor Extended Attributes(XAttrs) operations Snapshot operations Storage policy Quota POSIX ACL Delegation token operations