云服务器内容精选

  • 计费示例 以全文索引使用场景为例。 图中价格仅为示例,实际计算请以价格计算器中的价格为准。 假设您有1台服务器,每天产生100GB原始日志,并开启全文索引,日志存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志)。开启智能冷存储后,标准存储层数据保存时间为7天,则冷存储时长为30-7=23天,具体明细如下表所示。 表2 计费明细表(全文索引使用场景) 计费项 说明 使用量 单价 月计费 读写流量 每天读写流量100GB/5(压缩倍率)=20GB(压缩后),30天累计20GB*30=600GB 600GB 0.18元/GB (600GB-500MB/1024) *0.18=107.91元 索引流量 索引流量为100GB*30=3000GB 3000GB 0.32元/GB (3000GB-500MB免费额度/1024) *0.32=959.84元 标准存储 标准存储量为100GB/天*7天=700GB 700GB 0.000479元/GB/小时 (700GB-500MB免费额度/1024)*0.000479*24小时*30天=241.25元 冷存储 冷存储量为100GB/天*23天=2300GB 2300GB 0.000208元/GB/小时 2300GB*0.000208*24小时*30天=344.45元 日志基础转储流量 日志基础转储流量为100GB/天*30天=3000GB 3000GB 0.05元/GB 3000GB*0.05=150元 日志高级转储流量 日志高级转储流量为100GB/天*30天=3000GB 3000GB 0.2元/GB 3000GB*0.2=600元
  • 计费说明 如图1所示,云日志服务的计费项由日志读写流量、日志索引流量、日志存储量、日志基础转储流量和日志高级转储流量费用组成。具体内容请查看表1。 如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置,详情请参见:配置中心。 图1 计费项 表1 计费组成表 费用类别 计费项 计费说明 付费方式 免费额度 存储费用 标准存储量 原始日志(含备份,压缩后)所产生的存储量。 例如原始日志为10GB,上传到云日志服务后,原始日志(含备份,压缩后)还是10GB。 按量付费: 标准存储量费用=标准存储量(GB)× 每GB单价 500 MB/月 冷存储量 原始日志(含备份,压缩后)所产生的存储量。 例如原始日志为10GB,上传到云日志服务后,原始日志(含备份,压缩后)还是10GB。 按量付费: 冷存储量费用=冷存储量(GB)× 每GB单价 无 流量费用 日志读写流量 日志读写流量包括写流量和读流量,详细说明如下: 写流量:数据(压缩后)被上传到日志服务时,按照传输的数据量计算写流量费用。 例如:原始数据量为5GB,则上传到云日志服务会产生1GB(压缩率20%)的写流量。 读流量:读流量暂未统计和收费。 按量付费: 读写流量费用= 写流量(GB,20%压缩率)× 每GB单价 500 MB/月 日志索引流量 日志索引流量,详细说明如下: 原始日志数据默认会构建全文索引,按照日志(未压缩)被构建索引所产生的索引数据量计算索引流量。 在写入数据时一次性收取索引流量费用,即全文索引流量费用。 对同时构建了全文索引和字段索引的字段,只计算一次索引流量费用,即全文索引流量费用。 当关闭全文索引,仅开启字段索引,则long类型和float类型的字段名将不记入索引流量中,每个字段值占用的索引流量统一为8字节。如果是String类型,则日志字段名(Key)和字段值(Value)都将作为text类型存储,字段名和字段值都被计入索引流量中。使用字段索引,可降低索引流量费用。 示例: 对request_uri字段名设置了索引(String类型),字段值为/request/path,则字符串request_uri和/request/path都会被计入索引流量中。 对status字段名设置了索引(long类型),字段值为400,则字段名status不会被计入在索引流量中,字段值400的索引流量统一为8字节。 说明: 字段索引的自定义分词符和特殊分词符仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 示例: 例如:原始日志量为10GB,写入到日志服务并开启全文索引,则索引流量以10GB 计费。 例如:原始日志量为10 GB,写入到日志服务并关闭全文索引开启其中两个字段的索引,这两个字段的数据量为5GB,则索引流量以5GB 计费。 例如:原始日志量为10GB,写入到日志服务并开启全文索引和其中两个字段的索引,则索引流量以10GB计费。 按量付费: 日志索引费用=索引流量(GB)× 每GB单价 500 MB/月 转储费用 日志转储功能免费公测即将结束(从24年430到24年630逐步在各Region启用转储计费)。 转储费用只统计用户的日志字段,LTS的内置保留字段不参与流量统计。 说明: 目前华南-广州-友好用户环境、华南-深圳、西南-贵阳一、华北-北京二、华东-上海二、华东-青岛、华北-乌兰察布一局点已全部开启日志转储计费功能。 提供如下转储日志样例,方便进行流量统计举例说明:原始日志:"192.168.0.1 200 190 /check" 该日志被结构化解析后为:{"ip":"192.168.0.1","status":200,"cost_time":190,"url":"/check"} 日志基础转储流量 转储OBS(原始日志格式/JSON格式)、转储DMS、转储DIS属于日志基础转储,典型特征是源日志流和转储目标之间不需要字段映射,日志基础转储算力消耗相对日志高级转储较少。 转储流量会统计非压缩的转储数据量,以转储DMS流量统计为例: 若用户转储原始日志:LTS会统计转储的原始日志的大小(非压缩),那么统计的转储流量是length("192.168.0.1 200 190 /check")=26字节 若用户转储结构化解析后的日志:LTS会统计转储日志的KEY和VALUE的大小(非压缩),数字统一按照8字节,那么统计的转储流量是length("ip")+length("192.168.0.1")+length("status")+8+length("cost_time")+8+length("url")+length("/check")=2+11+6+8+9+8+3+6=53字节 按量付费: 日志基础转储流量费用=转储流量(GB,非压缩)× 每GB单价 无 日志高级转储流量 转储OBS(ORC格式)、转储DWS、转储DLI属于日志高级转储,典型特征是源日志流和转储目标之间需要字段映射,日志高级转储算力消耗相对日志基础转储较多。 转储流量会统计非压缩的转储数据量,以转储DWS流量统计为例: 若用户将转储日志样例中的ip、status、cost_time、url 4个字段都转储到DWS数仓中,那么LTS会统计转储日志的每个字段的VALUE的大小(非压缩),数字统一按照8字节,那么统计的转储流量是length("192.168.0.1")+8+8+ length("/check")=11+8+8+6=33字节 按量付费: 日志高级转储流量费用=转储流量(GB,非压缩)× 每GB单价 无
  • 监控安全风险 LTS通过多种方式监控安全风险,保障数据安全可靠。 表1 LTS的监控安全风险 监控安全风险 简要说明 详细介绍 日志告警 LTS支持日志告警能力,包括关键词告警和SQL告警。 关键词告警:对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,通过在一定时间段内,统计日志中关键字出现的次数,实时监控服务运行状态。 SQL告警:支持将日志数据进行结构化,通过配置SQL告警规则,定时查询结构化数据,当且仅当条件表达式返回为true的时候,将告警进行上报,用户可以在LTS控制台查看SQL告警。 关键词告警 SQL告警 日志资源使用量预警 LTS提供日志资源使用量预警能力,开启自定义日志资源使用量预警开关后,系统将自动为您创建一条告警规则(日志资源使用量预警)。当日志使用量超过当前配置的自定义日志资源使用量额度时,系统会发送告警通知 日志资源使用量预警 父主题: 安全
  • 主机管理 在Windows环境下安装ICAgent失败并提示"SERVICE STOP"怎么办? 在LTS页面升级ICAgent失败怎么办? 无法查询LTS原始日志页面新产生的日志怎么办? 安装ICAgent完成后反复重启怎么办? 在LTS页面安装ICAgent完成后显示离线怎么办? 在LTS页面安装ICAgent完成后不显示怎么办? 如何创建终端节点? 如何获取AK/SK? 如何通过创建委托授权安装ICAgent?
  • 等保安全合规场景 场景描述:国家网络安全法要求上市公司、金融企业需要保存关键系统日志至少180天,用户可以将这些日志采集到LTS后统一存储。 使用建议: 日志采集方式: 云主机和容器日志,建议优先使用采集器ICAgent采集,使用ECS向导或者CCE向导。 云服务日志例如ELB/VPC日志,您可以在云服务界面打开开关将日志采集到LTS。 如果您的某些设备必须要以Syslog协议上报日志,您可以参考如何搭建Syslog服务器收集日志并采集到LTS。 日志存储方式: LTS默认支持用户存储365天,您可以修改日志存储时长。另外如果1年您觉得存储时长不够,可以提工单给LTS开通3年存储。 降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。 转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。
  • 业务运营分析场景 场景描述:适用于在应用系统中打印业务日志,例如交易额、客户、产品等信息,然后使用LTS的SQL分析功能,输出可视化图表和仪表盘的场景。 使用建议: 日志采集方式:建议使用采集器ICAgent采集日志,将日志打印到单独的日志文件中,不要与应用程序的运行日志混在一起。不建议使用SDK、API上报日志。 日志结构化解析方式:建议您打印的业务日志使用空格分割或者JSON格式,这样方便快速配置日志结构化解析规则。 日志可视化呈现: 您可以创建自定义的仪表盘,使用类SQL语法分析已经结构化处理好的业务日志。自定义的仪表盘中,你可以添加多个图表,也可以添加过滤器,使用LTS做业务分析,可以减少采购数据仓库,没有额外成本,上手更简单。 日志加工:有些时候想要分析的业务日志混在运行日志中,或者业务日志中有些敏感数据需要删除,或者有些数据缺少维度数据,这个时候可以使用DSL加工(23年930开始邀测)功能对日志进行规整、富化、流转、脱敏、过滤等操作。
  • 大数据组件日志采集场景 场景描述:有些用户会使用MRS/Flink/Spark等大数据组件做数据处理,希望采集自定义的日志到LTS,但是不希望采集大数据组件的运行日志(对于业务分析价值小)。 使用建议: 日志采集方式:推荐用户使用JAVA SDK或者GO SDK上报日志。常见的大数据组件不太方便指定个性化的日志文件路径去只打印自己的业务日志,因此使用SDK上报日志是比较好的选择。 日志结构化解析方式:LTS支持iOS SDK、Android SDK、百度小程序SDK、微信小程序SDK等端侧SDK,使用端侧SDK上报的日志不支持云端结构化解析,因此建议您上报已经结构化的JSON格式日志。
  • 容器应用日志场景 场景描述:适用于用户将应用系统部署在K8S集群上,使用LTS统一采集和搜索日志的场景。用户的应用系统一般由多个工作负载组成,每个工作负载至少部署2个实例。 使用建议: 日志采集方式: 建议使用采集器ICAgent采集日志,您可以使用CCE接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 采集容器应用日志的方式有:容器标准输出、容器文件、节点文件、K8S事件,建议优先使用容器文件。对比容器标准输出,容器文件的优点是可以持久化挂载到主机上,且输出的内容用户自主控制性更强。对比节点文件,容器文件的优点是采集的日志有命名空间、工作负载、POD等元数据信息,在搜索日志的时候更加便捷。 日志组规划建议:将一个CCE集群的所有日志放在一个日志组中,日志组的别名(支持修改)可以使用CCE集群的名称,日志组的原始名称(不支持修改)建议使用k8s-log-{集群ID}。 日志流规划建议: 如果您的日志是没有固定规则的日志,可以将类似组件的日志采集到同一个日志流,例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NGINX网关这种可以结构化解析的日志,建议您将有相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。 权限隔离建议:云日志服务的日志流支持企业项目隔离,通过为日志流设定不同的企业项目可以实现不同IAM用户有不同日志流的访问权限。
  • 应用监控告警场景 场景描述:适用于使用日志来实时监控应用系统是否正常,提前发现系统故障的场景。 使用建议: 告警统计方式:LTS有两种告警配置方式:关键词告警和SQL告警。如果您的日志是无规则的,那么适用关键词告警,例如java程序的运行日志;如果您的日志是有规则的,例如NGINX网关日志,那么适用SQL统计告警,您可以使用SQL语句对结构化的日志做统计分析,获取您想要的指标配置告警。 告警规则配置:告警触发一般需要越快越好,您的告警规则统计周期建议使用1分钟。您可以使用LTS提供的默认消息模板来发送告警。如果您有个性化的诉求,您可以在系统提供的默认模板的基础上做一些修改保存为消息模板,然后发送告警。 配置ELB/APIG等关键云服务日志告警:ELB经常用来作为应用系统的对外的入口,您可以打开ELB日志对接到LTS,然后配置ELB 5XX状态码告警,这样就可以及时发现系统是否有故障。同时您可以借助开箱即用的ELB仪表盘模板,观察应用系统整体的成功率。
  • 云服务日志分析场景 如何采集云服务日志到LTS:LTS支持多种云服务接入采集到LTS,您需要在对应云服务的页面打开日志开关,即可以将日志采集到指定的日志组/日志流。 如何配置到最佳使用状态:很多云服务的日志都是支持结构化的,您可以在结构化配置页面为您的云服务日志配置对应的结构化解析规则,详细操作请参考日志结构化配置。结构化解析之后即可对日志使用SQL进行可视化分析。LTS也为很多常见的云服务日志提供了开箱即用的仪表盘,例如ELB/APIG/DCS等开箱即用仪表盘。
  • 云主机应用日志场景 场景描述:适用于用户将应用系统部署在云主机上,使用LTS统一采集和搜索日志的场景。用户的应用系统一般由多个组件(也称微服务)组成,每个组件部署在至少2台云主机上。 使用建议: 日志采集方式:建议使用采集器ICAgent采集日志,您需要在云主机上安装ICAgent,然后使用ECS接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 日志组规划建议:将一个应用系统的日志放在一个日志组中,日志组的名称可以使用应用系统的名称。 日志流规划建议: 如果您的日志是没有固定规则的日志,可以将类似组件的日志采集到同一个日志流,例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NGINX网关这种可以结构化解析的日志,建议您将有相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。 权限隔离建议:云日志服务的日志流支持企业项目隔离,通过为日志流设定不同的企业项目可以实现不同IAM用户有不同日志流的访问权限。
  • 如何从第三方云厂商将日志搬迁到华为云LTS? 若用户是在第三方云厂商使用日志服务,有大量数据在第三方云厂商对象存储上,希望将日志搬迁到华为云,对于不同的日志类型,请参考如下方法: 热日志(搜索分析):典型保存7-14天,用于应用运维,该日志不需要搬迁到华为云。用户在华为云直接启用云日志服务LTS,运行14天后,第三方云厂商保存的日志自然就老化了。详细请参考日志管理。 归档日志(等保合规):典型保存180天以上,用于安全合规审计,该日志一般转储存放到对象存储中。使用对象存储的迁移工具,将第三方云厂商保存在对象存储中的文件迁移到华为云对象存储服务OBS即可。详细操作请参考迁移第三方云厂商数据至OBS。 父主题: 产品咨询问题
  • 常见问题及解决方法 查询日志时提示查询结果不精确。 可能原因:查询时间范围内总日志量过多,当前控制台显示的是查询时间范围内部分日志查询的结果,为不精确结果。 解决方法:建议多次单击查询按钮,直至获得精确结果。或者减小查询时间范围后,再进行查询。 查询日志时匹配到的日志结果过多。 可能原因:只有短语搜索#"value"才能保证关键词出现的顺序。例如查询语句abc def搜索的是同时包含abc和def的日志,无法准确匹配包含短语abc def的日志。 解决方法:推荐采用短语搜索#"abc def",可以准确匹配包含短语abc def的日志。详细请参见搜索语法。 部分搜索语句查询不到预期的日志,且无报错提示。 可能原因1:不支持搜索分词符。 可能原因2:短语搜索语句中包含*或?时,视为普通字符,不作为通配符使用。 解决方法:请参考搜索语法修改为正确的查询语句。
  • 应用场景3:运营分析 企业在日常经营中,可以上报各种业务日志(例如移动端日志、服务端日志),经过规整、过滤、脱敏、富化等加工处理后,可以融合大数据平台、BI工具进行业务分析,例如获取页面的PV、UV、用户停留时间、交易金额等,用于了解业务运营状况、分析用户行为特征,基于实时的数据分析反馈调整业务决策,提升用户体验,提升经营效率,实现企业的数字化转型。 在业务分析过程中经常遇到如下痛点: 移动端数据难采集:难以快速采集多种移动端设备,例如Web浏览器、IOS、安卓、百度小程序、微信小程序、钉钉小程序、快应用等多类端侧日志无法快速采集。 数据传输不可靠:移动端日志数据量多且频繁,传输速度慢,也极易出现丢失,对业务分析造成一定影响。 数据处理不方便:原始数据不方便处理,不方便快速与大数据平台实现对接。 云日志服务LTS支持采集多种移动端日志,融合大数据完成业务运营分析,基于LTS可以实现: 端侧日志全面采集接入:集成LTS提供的多种移动端SDK,实现了缓存发送、异常重试、批量发送等稳定功能,用户快速集成即可全面采集移动端日志到LTS。 秒级上报,高可靠:端侧采集日志后,经传输链路秒级完成上报,数据无丢失,支撑业务做完整性分析。 DLI和DWS快速对接LTS:DLI-Flink简易集成Connector,定点从LTS实时消费日志;LTS日志可快速配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
  • 应用场景2:安全合规 大型企业的每个业务部门都有独立的云账户实现资源隔离,每个业务部门的运维人员需要依赖日志监控告警实现故障定位分析,同时集团安全部门需要统一监控日志,因此多账号的统一日志管理成为企业痛点: 分业务独立运维:客户每个业务模块都有一个独立的账号做资源隔离,依赖日志服务配置监控告警,快速分析发现故障并定位根因。 安全部门统一监控日志:客户使用多账号管理体系,每个业务部门有一个独立的账号,安全部门需要汇聚所有日志到一个账号,并存储180天以上来满足法规要求。 基于云日志服务LTS可以实现: 多账号独立管理:每个账号独立采集各自业务的应用日志、云服务日志,资源互相隔离、权限划分清晰;借助日志告警配置,90%问题定位控制在10分钟。 日志数据跨账号集中汇聚:使用LTS的多账号日志汇聚功能,将各个子账号的日志复制一份到统一监控账号,长期存储180天,便于安全部门集中审计,满足网络安全法规要求。 LTS提供解决方案参考如下图2,可以实现统一收集云服务、应用程序日志,支持保存180天以上,满足《网络安全法》、《GDPR》等法律法规要求。 图2 安全合规解决方案