华为云用户手册

  • 数据指标设计 数据指标设计方法 指标是衡量目标总体特征的统计数值,是表征某一业务活动中业务状况的数值指示器。指标由指标名称和指标数值两部分组成,指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。业务指标用于指导技术指标的设计,技术指标是对业务指标的具体实现。 通过与业务处室(通常为指标解释部门的业务人员)、系统厂商沟通,从业务角度梳理当前业务流程和应用系统,确定业务关注点,梳理并确定能够反应业务状况变化的数据指标,包括指标编码、业务域、主题域、指标名称、指标定义、指标Owner等维度内容。业务指标样例模板如表30所示。 表1 业务指标模板 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner - - - - - - - 指标编码:对数据指标进行归类编码,ZB +六位行政区划+中央业务指导部门编码(2位)+流水号(4位);示例:340000为安徽省,11为民政部,安徽省民政厅指标为ZB340000110001,数据资源局使用编码89; 业务域:指标所属的业务域; 主题域:主表所属的主题域; 指标名称:指标的名称; 指标定义:指标的业务定义,需要明确计算方式; 指标Owner:是数据指标的责任主体,对指标的质量、定义、计算逻辑等具有解释权和决定权,通常为个人或者部门。 样例一:企业开办数据指标 表2 企业开办数据指标 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner 1 ZB340000310001 市场监管 市场主体准入与退出 企业名称总数 目前名称库中名称的总数 登记注册局 2 ZB340000310002 市场监管 市场主体准入与退出 预登记企业成功率 预登记企业审批成功率,为企业登记审批成功数/预登记企业总数 登记注册局 3 ZB340000310003 市场监管 市场主体准入与退出 企业总数 目前完成企业登记的总数 登记注册局 样例二:婚姻管理数据指标 表3 婚姻登记数据指标 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner 1 ZB340000110001 生活服务 婚姻登记 年度结婚人数总数 本年度结婚的人数总数 社会事务处 2 ZB340000110002 生活服务 婚姻登记 结婚人数月同比增长数 结婚人数对比上月同比增长 社会事务处 3 ZB340000110003 生活服务 婚姻登记 结婚人数月同比增长率 本月结婚人数/上月结婚人数 社会事务处 样例三:好差评数据指标 表4 好差评数据指标 序号 指标编码 *业务域 *主题域 指标名称 指标定义 指标Owner 1 ZB340000990001 内部运行管理 好差评业务 评价人数 是指对服务进行评价的人数量。 电子政务与应用处 2 ZB340000990002 内部运行管理 好差评业务 评价次数 是指服务客户对服务进行评价的总次数。 电子政务与应用处 3 ZB340000990003 内部运行管理 好差评业务 差评次数 是指服务客户评价为差评评价的总次数且经核实为有效差评。 电子政务与应用处 父主题: 数据架构规划设计
  • 技术指标 技术指标是为了支撑业务指标的具体实现。 原子指标 原子指标是对指标统计逻辑、具体算法的一个抽象。为了从根源上解决定义、开发不一致的问题,指标定义明确设计统计逻辑(即计算逻辑),不需要重复开发,从而提升了开发效率,也保证了统计结果的一致性。 衍生指标 衍生指标是原子指标通过添加限定、维度卷积而成,限定、维度均来源于原子指标中的属性。 衍生指标=原子指标+统计维度+时间限定+通用限定。 复合指标 复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、限定均继承于衍生指标。注意,不能脱离衍生指标、维度和限定的范围,去产生新的维度和限定。 时间限定 原子指标是计算逻辑的标准化定义,时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻辑表,因此一个时间限定可能归属于多个数据域。以时间限定“当前年”为例。 在规范设计控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签,单击“新建”按钮。 图1 时间限定1 在新建时间限定页面,配置参数,然后单击“发布”并勾选自助审核。 图2 时间限定2 表1 参数说明 参数名称 说明 *限定名称 只能包含中文、英文字母、数字和下划线,且必须以中文或英文字母开头。 *限定英文名称 只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”,然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。自定义时,“-”表示从当前时间向前的时间段,“+”表示从当前时间向后的时间段。例如,过去一年到未来三年,可以按年自定义为“-1到+3”或“+3到-1”。 描述 描述信息。支持的长度0~490字符。 查看当前年,状态为发布。 图3 时间限定3 父主题: 规范设计
  • 业务对象L3梳理和数据owner确定 数据架构业务对象识别方法 基于业务流程梳理,以及对相关业务的了解,梳理出业务流程开展过程中的主要信息项即输入输出信息,并结合业务对象的识别原则,识别出此流程开展过程中的相应业务对象。 业务对象识别要遵循以下四项原则: 运行和管理中重要的人、事、物、地:如果缺少了某个业务对象,业务运作和管理将会出现严重问题,甚至业务都将无法存在; 具有唯一身份标识信息:可以通过唯一标识区分、准确检索和支持跨领域分布式共享业务对象; 相对独立:业务对象之间是关联关系,不是所属关系,拥有自己的唯一编码; 可实例化:业务对象有相应的属性,可以被记录到数据库表中,每出现一个这样的人、物,或发生一次这样的事,就会在数据库表中有相应的记录。 具体业务对象的梳理模板与填写方法如表10所示。 表1 业务对象识别表 序号 步骤名称 主要信息项 业务对象 示例 用户评价 办件人信息、办件事项信 办事评价 步骤名称:结合业务流程的各流程步骤,填写具体的活动节点; 主要信息项:针对此活动节点的主要输入、输出信息,明确此活动节点的主要信息项。此环节填写过程中重点涉及到此活动节点的表单信息填写清晰,保证填写完整性; 业务对象:用于定义业务领域重要的人、事、物、地。数据架构建设和治理主要围绕业务对象开展。 数据owner确定方法 结合业务现状以及各部门的数据管理现状,针对识别出的相关业务对象,明确各业务对象的管理责任方,即数据owner。数据owner明确了数据的归属责任方,为数据管理提高了数据管理能力,增强数据的准确性及应用性。 数据owner针对业务对象进行设计,数据owner确定过程中需要明确业务域、主题域、业务对象等信息,保障数据的全面性。填写方法如下表所示。 表2 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 示例:内部运行管理 好差评 办事评价 电子政务与应用处 XXX / / / 业务域:业务对象所属业务域; 主题域:业务对象所属主题域; 业务对象:将数据架构中业务对象的具体内容,填写到模板中的业务对象栏中; 数据owner部门:基于业务对象明确各业务对象的管理责任部门; 数据owner人员:基于业务对象明确各业务对象的管理责任人员; 逻辑实体:结合上述规范设计的逻辑实体; 数据分类:结合业务现状以及数据需求现状,结合单位数据分类内容,明确各逻辑实体的分类; 数据来源:结合数据产生来源,录入产生系统名称。 样例一:企业开办业务对象与数据owner 企业开办业务对象案例 通过对企业开办业务系统中输入、输出信息进行分析梳理,识别主要信息项内容,结合业务对象识别原则,梳理各活动节点的业务对象,包括企业预登记信息、企业登记信息、企业人员信息三个业务对象。 表3 企业开办业务对象识别表 序号 步骤名称 主要信息项 业务对象 1 涉及前置审批 / / 2 填报企业名称 主体身份代码、企业名称、名称区划、企业字号、名称行业、组织形式。 企业预登记信息 3 名称查重比对 / / 4 是否重复 / / 5 填报信息 主体身份代码、企业名称、住所所在行政区划、住所、邮政编码、联系电话、姓名、国别、职务、职务产生方式、证件类型、证件号码、移动电话 企业登记信息 企业人员信息 6 部门审批 企业名称、统一社会信用代码、注册资本、类型、成立日期、法定代表人、营业期限、经营范围、住所 企业营业执照 7 是否邮政寄递 / / 8 邮政寄递 企业名称、统一社会信用代码、注册资本、类型、成立日期、法定代表人、营业期限、经营范围、住所 企业营业执照 9 窗口领取 企业名称、统一社会信用代码、注册资本、类型、成立日期、法定代表人、营业期限、经营范围、住所 企业营业执照 10 获取企业营业执照 / / 企业开办数据owner案例 通过对业务对象的梳理,并结合市场监督管理局组织现状,明确企业预登记信息、企业登记信息、企业人员信息、企业营业执照四个业务对象的数据owner为省市场监督管理局登记注册局。 表4 企业开办L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 市场监管 市场主体准入与退出 企业预登记信息 登记注册局 XX / / / 市场监管 市场主体准入与退出 企业登记信息 登记注册局 XX / / / 市场监管 市场主体准入与退出 企业人员信息 登记注册局 XX / / / 样例二:国内结婚登记业务对象与数据owner 结婚(国内)登记业务对象案例 通过对结婚登记业务系统中输入、输出信息进行分析梳理,识别主要信息项内容,结合业务对象识别原则,梳理各活动节点的业务对象,包括婚姻预约信息、结婚登记机构、结婚登记机构工作人员、当事人、国内结婚登记信息、结婚证信息业务对象。 表5 结婚登记业务对象识别表 序号 步骤名称 主要信息项 业务对象 1 结婚登记预约 双方当事人基础信息,预约申请信息 结婚当事人, 婚姻预约信息,登记机构,结婚登记机构工作人员 2 初审 预约申请信息、双方当事人基础信息,初审后的当事人基础信息 结婚当事人 婚姻预约信息 3 受理 初审后的当事人基础信息,受理的国内结婚登记申请信息 结婚当事人 结婚登记信息 4 信息核查 受理的国内结婚登记申请信息、当事人基础信息,核查后的当事人基础信息 结婚当事人 结婚登记信息 5 审查 核查当事人基础信息,发证机关,结婚证,结婚登记审查处理表 结婚当事人 结婚登记信息 结婚证信息 国内结婚登记数据owner案例 通过对业务对象的梳理,并结合省民政厅组织现状,明确业务对象数据owner为社会事务处。 表6 国内结婚登记数L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 生活服务 婚姻登记 婚姻预约信息 社会事务处 XX / / / 生活服务 婚姻登记 结婚登记机构工作人员 社会事务处 XX / / / 生活服务 婚姻登记 国内结婚登记信息 社会事务处 XX / / / 样例三:好差评业务对象与数据owner 好差评业务对象案例 通过对好差评业务系统中输入、输出信息进行分析梳理,识别主要信息项内容,结合业务对象识别原则,梳理各活动节点的业务对象,包括办事评价、整改任务、评价申诉三个业务对象。 表7 好差评业务对象识别表 序号 步骤名称 主要信息项 业务对象 1 用户评价 办件人信息、办理结果信息(办理结果、办理开始时间、结束时间等)、评价内容信息(评价分类:好评/差评;评价内容;建议、诉求等) 办事评价 2 下发整改任务 整改单编号、时间、业务部门、业务人员、办件事项信息、办理结果信息、评价内容信息、整改要求、要求完成时间等。 整改任务 3 是否申诉 申诉单编号、整改单编号、办件事项编号、申诉原因、申诉内容等 评价申诉 4 整改反馈 整改单编号、办件事项编号、整改结果、完成时间等。 整改任务 5 查看整改结果 整改结果信息、办件人反馈信息(反馈时间、反馈内容、建议、诉求等)。 办事评价 6 用户追评 办件人信息、办理结果信息(办理结果、办理开始时间、结束时间等)、评价内容信息(评价分类:好评/差评;评价内容;建议、诉求等) 办事评价 7 整改督办 整改单编号、整改反馈信息、要求完成时间、优先级等。 整改任务 好差评数据owner案例 通过对业务对象的梳理,并结合省数据资源局组织现状,明确办事评价、整改任务、评价申诉业务对象数据owner为电子政务与应用处。 表8 好差评L1-L4确认表 业务域 主题域 业务对象 业务对象数据owner部门 业务对象数据owner人员 逻辑实体 数据源 数据分类 内部运行管理 好差评 办事评价 电子政务与应用处 XX / / / 内部运行管理 好差评 评价申诉 电子政务与应用处 XX / / / 内部运行管理 好差评 整改任务 电子政务与应用处 / / / / 父主题: 数据架构规划设计
  • 数据标准设计 数据标准设计方法 针对属性字段设计数据标准,数据标准用于描述业务层面需共同遵守的属性层数据含义和业务规则。其描述了对某个数据的共同理解,这些理解一旦确定下来,就应作为标准被共同遵守。数据标准设计遵从以下原则: 以业务为导向,必须满足各标准各方的迫切需求,并根据业务需求分阶段推进制定工作; 明确无歧义,标准的定义必须反映实际业务情况,在部门范围内有一致的理解; 权威性,标准的定义必须充分参考各类成熟的外部标准(国家标准、行业标准、地方标准),将遵循的外部标准出处、内容进行明确的标注和解释; 可落地性,数据标准在定义时必须考虑技术层面的实现难度,在各相关系统可以落地。数据标准设计模板如下表所示。 表1 参考规范示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 是否非空 允许值范围 参照的标准 值域标准 示例:办事评价 人员与办事评价关联信息 记录编码 记录唯一标识 IT主键 字符型 32 Y / / / 业务对象:是业务领域重要的人、事、物、地,承载了业务运作和管理涉及的重要信息; 逻辑实体:是具有一定逻辑关系的逻辑数据实体合; 业务属性:是描述所属业务对象的性质和特征,反映信息管理最小粒度; 业务定义及用途:属性的具体业务含义,表达业务的内容,以及属性对业务的反馈的业务用途; 业务规则:对属性进行规范的内容,如对办事人员的姓名要求必须与实际的办事人员一一对应; 数据类型:数据的保存类型,如字符型、日期型等; 数据长度:是指这个对象在内存中要占的空间,也决定了一个对象能存储数据的大小; 是否非空:判断该属性是否为必填属性,是否允许不填内容导致的空值,对于重要的属性多为必填属性,如身份证号等信息; 是否有允许值列表:如是,则列出可选的允许值,例如性别属性中,除了性别的信息外,不允许出现其他信息; 允许值范围:定义如果存在允许值,对允许值得范围做出规定,如性别属性中,允许值为男和女或使用代码形式代表男和女; 参照的标准:该标准参考的行业外部或者内部公开发布的标准规范,如GB/T 39046-2020 政务服务平台基础数据规范; 值域标准:与码表编码对应。 样例一:企业开办参考标准 表2 企业开办参考标准示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 非空 *是否有允许值列表 允许值范围 参照的标准 值域标准 企业登记信息 企业基本信息 企业名称 登记企业的名称 登记企业的名称 字符型 32 是 无 / / / 企业登记信息 企业基本信息 统一社会信用代码 登记企业的唯一标识 登记企业的唯一标准 字符型 18 是 无 / GB 32100-2015《法人和其他组织统一社会信用代码编码规则》 / 样例二:国内结婚登记参考标准 表3 国内结婚登记参考标准示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 非空 *是否有允许值列表 允许值范围 参照的标准 值域标准 结婚预约登记 婚姻预约信息 男方姓名 在户籍管理部门正式登记注册的姓氏名称 男方当事人姓名 字符型 50 是 / 否 否 / 结婚预约登记 婚姻预约信息 男方证件类型 颁发的可以证明个人身份的证件名称 男方证件类型 数值型 2 是 0、1、2、4、5 否 否 JMGC/XX 204 5.1.15 C0015 身份证件类型代码 样例三:好差评参考标准 表4 好差评参考标准示例 *业务对象 *逻辑实体 *业务属性 *业务定义及用途 *业务规则 *数据类型 数据长度 非空 *是否有允许值列表 允许值范围 参照的标准 值域标准 办事评价 关联信息 记录编码 记录唯一标识 / 字符型 32 是 无 / / / 办事评价 关联信息 UAAC 登录名 办事人员的UAAC账号 登录系统时的UAAC账号 字符型 32 是 无 / GB/T 39046-2020 政务服务平台基础数据规范 / 父主题: 数据架构规划设计
  • rocketmq部署 上传rocketmq包 表1 上传rocketmq包 安装服务器 slaver1 节点,slaver2 节点 程序名称 rocketmq-all-4.3.2-bin-release.zip 上传路径 /opt/ 程序安装路径 /usr/local/rocketmq 安装步骤 首先将rocketmq安装包上传到服务器/opt目录,并解压,slaver1 节点,slaver2 节点操作;命令行界面输入: unzip rocketmq-all-4.3.2-bin-release.zip 将解压后的文件移动至/usr/local目录下,slaver1 节点,slaver2 节点操作;命令行界面输入: mv rocketmq-all-4.3.2-bin-release /usr/local/rocketmq 上传修改broker-a.conf配置文件,slaver1节点 图1 节点1 Slaver2节点: 图2 节点2 配置rocketmq 的环境变量,slaver1 节点,slaver2 节点操作 vim /etc/profile 在后面添加 #设置rocketmq的环境变量 export ROCKETMQ_HOME=/usr/local/rocketmq export PATH=$JAVA_HOME/bin:$ROCKETMQ_HOME/bin:$PATH 按esc+!wq保存 使rocketmq的配置生效 source /etc/profile rocketmq停止 命令行界面输入: nohup sh mqshutdown namesrv nohup sh mqshutdown broker rocketmq启动 到你的安装路径下启动两台机器的NameServer:先启动两台机器的NameServer,再启动两台机器的Borker,关机的时候顺序相反,先关闭两台机器的Broker,再关闭两台机器的Nameserver。 命令行输入: cd /usr/local/rocketmq/ 启动name server,执行 nohup sh bin/mqnamesrv & 日志打印: tail -f nohup.out 图3 rocketmq启动 启动broker-a.properties 执行: nohup sh /usr/local/rocketmq/bin/mqbroker –c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties & 启动broker-b.properties 执行: nohup sh /usr/local/rocketmq/bin/mqbroker –c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties & 父主题: 实施步骤
  • 应用场景 业务挑战 通常政府各部门数据及业务现状不清楚,跨部门、跨区域、跨业务数据难共享,存在数据烟囱、信息孤岛问题,数据缺少科学分类和统一管理。 系统建设中需要完成各类数据资源的接入,实现分散的业务数据归集,但跨平台、跨业务缺少能支撑多种采集方式的数据采集工具,实现多源异构数据的归集。 通常政务数据呈现不完整、不规范、不准确等数据质量问题,整合海量数据,如何快速支撑各类应用调用,如何形成数据资产,保证数据服务泄密等安全问题。 关键KPI指标完成情况无法落实到人、随时跟踪、及时发现问题。业务难以围绕区域、行业、业务、时间等多维度深度分析,发现变化趋势,深度剖析问题,领导决策难以做到看图说话、读数决策。 解决方案 云基华海电子政务大数据平台,主要以各政府部门业务信息资源为核心基础,依托国家电子政务网,借助现有的各级政府数据共享交换平台,运用大数据、云计算、人工智能等高新技术手段,建设电子政务“数据资源集成+ 数据仓库 构建+数据资源治理+大数据分析应用”的面向政务流域的全流程、全级次、全方位的大数据平台,为构建集约化、高效化、透明化的政府治理与运行模式提供支撑。 方案价值 整合各类数据资源,打通各个业务系统单独建设形成的数据孤岛,建成覆盖各部门系统“全业务”的信息系统以及各类数据的集中、共享与交换,更好地满足公众服务和行业管理需要; 积极推进政府各项业务工作跨部门、跨地区、跨层级协同,实现横向、纵向可通过信息化方式进行高效的业务协同、监管协同,从而提高整体工作效能。 构建形成公共基础数据库和各类主题数据库为基础,推动政务数据迁移集聚,发挥政务大数据协同服务的作用,简化办事流程,打造公共服务和社会治理的新模式,带动地方经济发展,支撑政府管理研判和决策机制。
  • 方案架构 方案主要由“政务数据集成共享+数仓构建+ 数据治理 服务+数据智能化产品体系”形成面向政务领域全流程、全级次、全方位的政务大数据解决方案: 通过 数据集成平台 ,实现对政务数据的统一汇聚; 通过数据共享交换子平台,实现政务数据内部共享和对外开放; 提供政务元数据管理、数据标准管理、数据规范建模、数据质量管理、政务数据开发和数据资产管理等政务数据治理服务; 利用组织关联和 知识图谱 技术,为政务部门提供业务画像、时序图谱等智能化应用场景分析; 凭借人工智能和 数据可视化 技术,对政务数据进行智能化挖掘和分析,提供运行监测、产业大脑、应急预警和分析研判等智慧化决策支撑。 图1 云基华海政务大数据解决方案整体架构 图2 云基华海政务大数据解决方案部署架构 部署架构说明: 云基础设施:基于华为云基础设施底座承载。主要涉及的云服务有弹性云主机、虚拟私有云、弹性负载均衡以及安全服务Anti-DDos等; 云PaaS服务:数据主要采用 数据湖 服务 MRS 、数据仓库服务DWS、云数据库服务【存储】RDB进行存储和计算,采用分布式缓存服务D CS 应对平台数据访问; 应用软件层:应用层软件基于弹性云服务器部署,单独划分虚拟私有云;
  • 方案优势 产品体系完备且优势明显 自主研发共享交换、数据集成、数据治理、组织关联和 态势感知 等完善的系列数据产品,组织关联产品在行业内拥有先发优势。 行业方案成熟度高 长期专注于政务数据全景建设并深耕十年。曾经承接九个省部级政务大数据平台建设以及服务三个省级以上大型项目数据业务,政务领域实践经验丰富。 政务服务处于领导地位 参与了数据开放、政务大数据以及城市数据平台等多项国家(行业)标准的制定。与多所高校和研究机构成立研究中心和联合实验室。
  • activemq安装 上传activemq安装包 表1 上传activemq安装包 安装服务器 gx01节点 程序名称 activemq 上传路径 /opt/ 程序安装路径 usr/local/activemq 安装步骤 在gx01节点、gx02和gx03三个节点对应的服务器分别执行下列步骤。 进入opt目录,命令行界面输入: cd /opt/ 解压apache-activemq-5.15.8-bin.tar.gz安装包 tar -zxvf apache-activemq-5.15.8-bin.tar.gz 移动至/usr/local/activemq mv apache-activemq-5.15.8 /usr/local/activemq 图1 移动 activemq启动 进入activemq的bin目录,执行启动命令! 命令行界面输入: cd /usr/local/activemq/bin 图2 进入 ./activemq start 图3 启动 activemq状态查看 进入activemq的bin目录,执行启动命令! 命令行界面输入: cd /usr/local/activemq/bin ./activemq status activemq关闭 进入activemq的bin目录,执行启动命令! 命令行界面输入: cd /usr/local/activemq/bin ./activemq stop 父主题: 实施步骤
  • Redis的部署 redis服务安装: 上传redis安装包 将安装包上传至服务器:如/opt下 服务名称:redis 程序安装路径:/usr/local/redis 安装步骤 进入/opt/(上传安装包路径) 命令行界面输入: cd /opt/ 图1 进入 解压redis安装包 命令行界面输入: tar -zxvf redis-5.0.0.tar.gz 图2 解压 移动至/usr/local/redis(程序安装路径) 命令行界面输入: mv redis-5.0.0 /usr/local/redis 图3 移动 进入redis目录 命令行界面输入: cd /usr/local/redis 图4 进入redis目录 编译安装redis 命令行界面输入: make && make install 图5 编译 打开redis配置文件 命令行界面输入: vim /usr/local/redis/redis.conf 图6 打开 修改配置文件 注销掉bind 127.0.0.1此行! 图7 修改1 修改protected-mode yes为protected-mode no 图8 修改2 修改timeout 0为timeout 5000 图9 修改3 修改daemonize no为daemonize yes 图10 修改4 保存退出! redis启动 命令行界面输入: 首先进入到cd /usr/local/redis 在执行: /usr/local/redis/src/redis-server redis.conf 另一种启动: ./redis-server ../redis.conf 图11 redis启动 父主题: 实施步骤
  • Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节点、gx02和gx03三个节点对应的服务器分别执行第一步至第六步的步骤。 进入confluent-5.0.0.tar安装包的/opt/目录;命令行界面输入: cd /opt/ 图1 进入 解压confluent-5.0.0.tar安装包;命令行界面输入: tar -xvf confluent-5.0.0.tar 图2 解压 将解压后的文件移动至/usr/local/confluent目录下;命令行界面输入: mv confluent-5.0.0 /usr/local/confluent 图3 移动 进入/usr/local/confluent目录下;命令行界面输入: cd /usr/local/confluent/ 图4 进入 zookeeper集群配置,编辑zookeeper.properties配置文件;命令行界面输入: cd etc/kafka/ vim zookeeper.properties 图5 配置文件1 图6 配置文件2 更改zookeeper.properties配置文件的参数;命令行界面输入: server.1=IP1:2888:3888 server.2=IP2:2888:3888 server.3=IP3:2888:3888 此处配置的IP1、IP2、IP3分别为gx01、gx02、gx03三个节点的服务器地址。 图7 配置文件参数 kafka集群配置,编辑server.properties配置文件;命令行界面输入: vim server.properties 图8 编辑 更改server.properties配置文件的参数 1# 集群中各节点broker.id必须唯一 broker.id=0 图9 更改1 2# host.name和 advertised.listeners为各节点的主机IP host.name=【本机IP】 advertised.listeners=PLAINTEXT://【本机IP】:9092 图10 修改2 图11 修改3 图12 修改4 3# 修改zookeeper.connect为zookeeper集群配置地址,三个节点修改的一致 zookeeper.connect=IP1:2181,IP2:2181,IP3:2181 图13 修改5 :wq保存退出! schema-registry 集群配置;命令行界面输入: cd ../../etc/schema-registry/ vim schema-registry.properties 图14 配置 更改schema-registry.properties配置文件 1# 修改listeners为各节点主机IP listeners=http://【本机IP】:8086 图15 更改1 2# 修改kafkastore.connection.url为三个节点的主机IP,三个节点修改的一致 kafkastore.connection.url=IP1:2181,IP2:2181,IP3:2181 图16 更改2 :wq保存退出! kafka connect集群配置;命令行界面输入: vim connect-avro-distributed.properties 图17 更改3 更改connect-avro-distributed.properties配置文件 1# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致 bootstrap.servers=IP1:9092,IP2:9092,IP3:9092 图18 主机IP1 2# 修改key.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致 key.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086 图19 主机IP2 3# 修改value.converter.schema.registry.url为三个节点的主机IP,三个节点修改的一致 value.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086 图20 主机IP3 4# 修改rest.host.name为各节点的主机IP rest.host.name=【本机IP】 图21 主机IP4 :wq保存退出! kafka rest 配置 命令行界面输入: cd ../kafka-rest/ vim kafka-rest.properties 图22 配置 更改kafka-rest.properties配置文件 1# 修改host.name为各节点主机IP host.name=【本机IP】 图23 更改主机IP1 2# 修改schema.registry.url为三个节点的主机IP,三个节点修改的一致 schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086 图24 更改主机IP2 3# 修改bootstrap.servers为三个节点的主机IP,三个节点修改的一致 bootstrap.servers=IP1:9092,IP2:9092,IP3:9092 图25 更改主机IP3 :wq保存退出! 创建myid文件 在三个节点/home/confluent/confluent.data/zookeeper/data目录下,创建myid文件并写入对应编号;命令行界面输入: --没有路径创建路径;mkdir -p /home/confluent/confluent.data/zookeeper/data cd /home/confluent/confluent.data/zookeeper/data/ 执行:touch myid vim myid 图26 创建myid文件 Confluent启动 分别进入三个节点主机的 cd /usr/local/confluent/bin/目录下;命令行界面输入: ./confluent start schema-registry 图27 Confluent启动 Confluent状态查看 分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入: ./confluent status 启动命令 ./confluent start schema-registry 5.5 版本启动 ./confluent local start schema-registry Confluent关闭 分别进入三个节点主机的/usr/local/confluent/bin/目录下;命令行界面输入: ./confluent stop schema-registry 父主题: 实施步骤
  • nginx的部署 Nginx的服务安装: 安装步骤 上传包到/opt/下 第一步:安装依赖 yum install -y gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel 下载nginx安装包:http://nginx.org/download/ 将下载的nignx源码包上传到linux服务器上,解压 图1 下载 Nginx配置 cd nginx-1.9.9 ./configure --prefix=/usr/local/nginx configure完成之后,会有如下信息,诸如日志文件,配置文件啥的 图2 Nginx配置 编译安装 make && make install nginx安装成功 图3 编译安装 启动nginx 先检测nginx的配置是否正确 ./nginx/sbin/nginx -t 图4 启动nginx 如果出现上面两句话,说明nginx配置ok, 可以启动。 父主题: 实施步骤
  • mysql的部署 mysql服务安装: 上传mysql安装包 表1 上传mysql安装包 安装服务器 gx01节点 程序名称 Mysql 上传路径 /opt 程序安装路径 /usr/local/mysql 安装步骤 进入/opt/(上传安装包路径) 命令行界面输入: cd /opt/ 图1 进入 解压mysql安装包 命令行界面输入: tar -zxvf mysql-5.6.42-linux-glibc2.12-x86_64.tar.gz 图2 解压 移动至/usr/local/mysql(程序安装路径) 命令行界面输入: mv mysql-5.6.42-linux-glibc2.12-x86_64 /usr/local/mysql 图3 移动 创建mysql用户 命令行界面输入: useradd -s /sbin/nologin mysql 图4 创建 进入mysql目录 命令行界面输入: cd /usr/local/mysql 图5 进入mysql目录 建立mysql储存路径并增加mysql用户使用权限 命令行界面输入: mkdir -p /data/mysql ; chown -R mysql:mysql /data/mysql 图6 建立 初始化数据库 yum install libaio* -y yum -y install numactl.x86_64 yum -y install perl yum -y install perl-devel yum -y install perl-Data-Dumper 命令行界面输入: ./scripts/mysql_install_db --user=mysql --datadir=/data/mysql 图7 初始化数据库 复制mysql配置文件 命令行界面输入: cp support-files/my-default.cnf /etc/my.cnf 图8 复制 修改mysql配置文件 命令行界面输入: vim /etc/my.cnf 将下面代码加入mysql配置文件的[mysqld]下并保存! basedir=/usr/local/mysql datadir=/data/mysql socket=/tmp/mysql.sock user=mysql character-set-server=utf8 lower_case_table_names=1 图9 修改 复制mysql启动配置文件 命令行界面输入: cp support-files/mysql.server /etc/init.d/mysqld 图10 复制 修改mysql启动配置文件 命令行界面输入: vim /etc/init.d/mysqld 图11 修改 将启动配置文件中代码basedir和datadir修改为以下内容并保存! basedir=/usr/local/mysql datadir=/data/mysql 图12 保存 mysql启动 命令行界面输入: service mysqld start 图13 mysql启动 配置环境变量 打开环境变量配置文件 命令行界面输入: vim /etc/profile 图14 打开 添加配置文件 在配置末尾处加入下列代码并保存! 代码如下: PATH=$PATH:/usr/local/mysql/bin 图15 添加配置文件 刷新配置文件,使其配置文件生效 命令行界面输入: source /etc/profile 图16 刷新配置文件 mysql密码修改和远程访问开启 登录mysql 命令行界面输入: mysql -uroot -p(mysql5.6初始密码为空,输入后直接回车) 图17 登录 修改mysql密码(下方括号内为所设置的密码) 命令行界面输入: use mysql; UPDATE user SET Password=PASSWORD('Qwer6666') where USER='root'; 图18 修改mysql密码 开启远程访问 命令行界面输入: GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Qwer6666' WITH GRANT OPTION; FLUSH PRIVILEGES; 图19 开启远程访问 设置mysql开机启动 设置mysql开机启动 命令行界面输入: chkconfig mysqld on 验证开机启动是否设置成功 命令行界面输入: chkconfig --list | grep mysqld(如2,3,4,5为开则表示设置成功) 图20 验证 父主题: 实施步骤
  • MongoDB安装 上传MongoDB安装包 表1 上传MongoDB安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 MongoDB 上传路径 /opt/ 程序安装路径 /usr/local/mongo 安装步骤 在gx01节点、gx02和gx03三个节点对应的服务器分别执行下列步骤。 进入opt目录,命令行界面输入: cd /opt/ 图1 进入opt目录 解压mongodb-linux-x86_64-4.0.8.tgz安装包;命令行界面输入: tar -zxvf mongodb-linux-x86_64-4.0.8.tgz 图2 解压 移动至/usr/local/mongodb(程序安装路径);命令行界面输入: mv mongodb-linux-x86_64-4.0.8 /usr/local/mongodb 图3 移动 创建data目录和logs目录;命令行界面输入: mkdir -p /usr/local/mongodb/{data,logs} 图4 创建 配置confige server 在/usr/local/mongodb目录下新建config实例的启动参数文件,并启动实例;命令行界面输入: cd /usr/local/mongodb 图5 配置1 命令行界面输入: vim mongodb.config 图6 配置2 将下面代码分别加入3个mongodb配置文件下并保存 dbpath=/usr/local/mongodb/data logpath=/usr/local/mongodb/logs/mongodb.log port=27017 fork=true replSet=configRS configsvr=true bind_ip=0.0.0.0 启动实例 命令行界面输入: cd /usr/local/mongodb/bin ./mongod -f ../mongodb.config MongoDB启动 命令行界面输入: cd /usr/local/mongodb/bin ./mongod -f ../mongodb.config MongoDB状态查看 查看MongoDB服务运行状态 ps -ef |grep mongo MongoDB关闭 ps -ef | grep mongo | grep -v grep | awk '{print $2}' | xargs kill -9 父主题: 实施步骤
  • 什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 table_opers 是 Array of table_batch objects 行操作数组,可以是多个表的操作。 表3 table_batch 参数 是否必选 参数类型 描述 table_name 是 String 表名,仓内唯一。 长度:[3, 63] 取值字符限制:[a-z0-9_-]+ kv_opers 是 Array of oper_item objects kv操作数组。 表4 oper_item 参数 是否必选 参数类型 描述 put_kv 否 put_kv object 上传kv操作,上传的数据类型kvblob和kvdoc二选一。 delete_kv 否 delete_kv object 删除kv操作。 表5 put_kv 参数 是否必选 参数类型 描述 oper_id 是 Integer 请求内的操作编码,未成功的操作返回该标识。 kv_doc 否 Document 用户文档。 kv_blob 否 kv_blob object 用户非结构化数据。 表6 kv_blob 参数 是否必选 参数类型 描述 primary_key 是 Document 用户自定义的主键名及值。 说明: 内容字段:主键字段名和值,组合索引多个元素。 xblob 否 String 属性信息,最大2kb。 xattr 否 String 非结构化数据内容。 表7 delete_kv 参数 是否必选 参数类型 描述 oper_id 是 Integer 请求内的操作编码,未成功的操作返回该标识。 primary_key 是 Document 用户自定义的主键名及值。
  • 响应参数 状态码: 200 表8 响应Body参数 参数 参数类型 描述 exception_opers Array of exception_opers_of_table objects 异常处理的操作,按照table分类组织。 表9 exception_opers_of_table 参数 参数类型 描述 table_name String 表名,仓内唯一。 长度:[3, 63] 取值字符限制:[a-z0-9_-]+ unprocessed_opers Array of integers 未处理的操作列表。 数组元素:未处理的操作标识。 failed_opers Array of fail objects 失败的操作列表,可以是多个。 表10 fail 参数 参数类型 描述 oper_id Integer 失败的操作标识,1个或多个。 status String 处理失败操作提示。
  • 请求示例 批量写请求,向test-table-1表中下载一个kv和删除一个kv POST https://{endpoint}/v1/batch-write-kv { "table_opers" : [ { "table_batch" : { "table_name" : "test_table_1", "kv_opers" : [ { "put_kv" : { "oper_id" : 1, "kv_blob" : { "primary_key" : { "owner" : "user_3", "filename" : "test_file_3" } } } }, { "delete_kv" : { "oper_id" : 2, "primary_key" : { "owner" : "user_2", "filename" : "test_file_2" } } } ] } } ] }
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 table_name 是 String 表名,仓内唯一。 长度:[3, 63] 取值字符限制:[a-z0-9_-]+ primary_key 是 Document 用户自定义的主键名及值。 说明: 内容字段为主键字段名和值,组合索引多个元素。 condition_expression 否 condition_expression object 条件表达式,参见conditional小节。 说明: 禁止携带主键字段, 参见conditional小节的定义。 projection_fields 否 Array of strings 对kv_doc有效,返回哪些字段列表,默认全部。 projection_blob 否 projection_blob object 对kv_blob有效,返回局部数据。 表3 condition_expression 参数 是否必选 参数类型 描述 single_field_expression 否 single_field_expression object 单字段条件。 multi_field_expression 否 multi_field_expression object 多字段条件,多个相同优先级的单字段条件。 single_kv_expression 否 single_kv_expression object 文档表达式。 composed_expression 否 composed_expression object 组合条件, 逐层同级的子表达式嵌套。 表4 composed_expression 参数 是否必选 参数类型 描述 logic 否 String 逻辑关系,取值如"$and", "$or", "$nor"。 expressions 是 Array of expression objects 多个相同优先级且相同逻辑的单字段或多字段条件。 表5 expression 参数 是否必选 参数类型 描述 single_kv_expression 否 single_kv_expression object 单KV条件。 single_field_expression 否 single_field_expression object 单字段条件。 multi_field_expression 否 multi_field_expression object 多字段条件。 表6 single_kv_expression 参数 是否必选 参数类型 描述 func 是 String 取值:"is_doc", "is_blob", "is_exist", "not_exist"。 表7 single_field_expression 参数 是否必选 参数类型 描述 field 是 String 条件字段。 func 是 String 条件函数,取值如"$gt", $lt","$gte", $lte" "$eq", "$ne", "$prefix", "$in","$nin", "$exists"。 value 否 Document value和value_array二选一。 value条件值,适用于除"$in", "$nin"外的func。 字段名无意义,可以传空,也可以传字段名。 $exists值为true/false。 说明: $prefix操作只适用于string和binary类型。 value_array 否 Array of strings "value"和"value_array"二选一。 "value_array" 条件值列表, 值用于"$in", "$nin"。 表8 multi_field_expression 参数 是否必选 参数类型 描述 logic 否 String 多字段条件,多个相同优先级的单字段条件。 expressions 是 Array of single_field_expression objects 多个相同逻辑操作的单字段条件。 表9 projection_blob 参数 是否必选 参数类型 描述 with_attr 否 Boolean 是否返回kv_blob的属性信息, 默认返回。 offset 否 Integer value部分的偏移位置,超过实际size不返回,默认0。 len 否 Integer 数据长度,默认offset后全部数据。
  • 请求示例 创建表,表名为test-table,分区键字段名为owner,排序键字段名称为filename POST https://{endpoint}/v1/create-table { "table_name" : "test_table", "primary_key_schema" : { "shard_key_fields" : [ { "name" : "owner", "order" : true } ], "sort_key_fields" : [ { "name" : "filename", "order" : true } ] } }
  • 响应参数 状态码: 200 表8 响应Body参数 参数 参数类型 描述 table_name String 表名,仓内唯一。 primary_key_schema primary_key_schema object 主键模板, 最多1个,必须指定主键schema。 local_secondary_index_schema Array of secondary_index objects 本地二级索引模板,可以多个。 global_secondary_index_schema Array of global_secondary_index objects 全局二级索引模板。 pre_split_key_options pre_split_key_options object 按照设定的分裂键值或者键值前缀进行预分裂。 表9 primary_key_schema 参数 参数类型 描述 shard_key_fields Array of field objects 分区键字段名数组,顺序组合。 shard_mode String 分区模式。 sort_key_fields Array of field objects 排序键字段名数组,顺序组合。 表10 secondary_index 参数 参数类型 描述 index_name String 二级索引名称,表内唯一。 sort_key_fields Array of field objects 排序键字段名数组,顺序组合。 abstract_fields Array of strings 摘要字段名数组。 表11 global_secondary_index 参数 参数类型 描述 index_name String 二级索引名称,表内唯一。 shard_key_fields Array of field objects 分区键字段名数组,顺序组合。 shard_mode String 分区模式。 sort_key_fields Array of field objects 排序键字段名数组,顺序组合。 abstract_fields Array of strings 摘要字段名数组。 表12 field 参数 参数类型 描述 name String 字段名。 order Boolean bool值预留无意义。 表13 pre_split_key_options 参数 参数类型 描述 hash_count Integer 在hash分区时,预分裂分区数量。 range_split_points Array of strings 在range分区模式有效,最大1000个,与"hash_count"二选一。 状态码: 400 表14 响应Body参数 参数 参数类型 描述 error_code String 请求返回的错误码。 error_msg String 请求返回的错误信息。
  • 响应示例 状态码: 200 表示创建表成功。 { "table_name" : "test_table", "primary_key_schema" : { "shard_key_fields" : [ { "name" : "owner", "order" : true } ], "sort_key_fields" : [ { "name" : "filename", "order" : true } ] } }
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 table_name 是 String 表名,仓内唯一。 primary_key_schema 是 primary_key_schema object 主键模板, 最多1个,必须指定主键schema。 local_secondary_index_schema 否 Array of secondary_index objects 本地二级索引模板,可以多个。 global_secondary_index_schema 否 Array of global_secondary_index objects 全局二级索引模板。 pre_split_key_options 否 pre_split_key_options object 按照设定的分裂键值或者键值前缀进行预分裂。 表3 primary_key_schema 参数 是否必选 参数类型 描述 shard_key_fields 是 Array of field objects 分区键字段名数组,顺序组合。 shard_mode 否 String 分区模式。 sort_key_fields 否 Array of field objects 排序键字段名数组,顺序组合。 表4 secondary_index 参数 是否必选 参数类型 描述 index_name 是 String 二级索引名称,表内唯一。 sort_key_fields 是 Array of field objects 排序键字段名数组,顺序组合。 abstract_fields 否 Array of strings 摘要字段名数组。 表5 global_secondary_index 参数 是否必选 参数类型 描述 index_name 是 String 二级索引名称,表内唯一。 shard_key_fields 是 Array of field objects 分区键字段名数组,顺序组合。 shard_mode 否 String 分区模式。 sort_key_fields 否 Array of field objects 排序键字段名数组,顺序组合。 abstract_fields 否 Array of strings 摘要字段名数组。 表6 field 参数 是否必选 参数类型 描述 name 是 String 字段名。 order 否 Boolean bool值预留无意义。 表7 pre_split_key_options 参数 是否必选 参数类型 描述 hash_count 否 Integer 在hash分区时,预分裂分区数量。 range_split_points 否 Array of strings 在range分区模式有效,最大1000个,与"hash_count"二选一。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 cursor_name String 本次响应后的游标位置,下次请求时携带,如果为空,表示后面无更多。 长度:[3, 63] 取值字符限制:[a-z0-9_-]+ 说明: 如果为空,表示后面无更多。 table_names Array of strings 返回的表名列表。 长度:最大100 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 请求返回的错误码。 error_msg String 请求返回的错误信息。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 table_name String 表名。 长度:[3, 63] 取值字符限制:[a-z0-9_-]+ primary_key_schema primary_key_schema object 主键模板, 最多1个,必须指定主键schema。 local_secondary_index_schema Array of secondary_index objects 本地二级索引模板,可以多个。 global_secondary_index_schema Array of global_secondary_index objects 全局二级索引模板。 run_time_info run_time_info object 运行信息。 表4 primary_key_schema 参数 参数类型 描述 shard_key_fields Array of field objects 分区键字段名数组,顺序组合。 shard_mode String 分区模式。 sort_key_fields Array of field objects 排序键字段名数组,顺序组合。 表5 secondary_index 参数 参数类型 描述 index_name String 二级索引名称,表内唯一。 sort_key_fields Array of field objects 排序键字段名数组,顺序组合。 abstract_fields Array of strings 摘要字段名数组。 表6 global_secondary_index 参数 参数类型 描述 index_name String 二级索引名称,表内唯一。 shard_key_fields Array of field objects 分区键字段名数组,顺序组合。 shard_mode String 分区模式。 sort_key_fields Array of field objects 排序键字段名数组,顺序组合。 abstract_fields Array of strings 摘要字段名数组。 表7 field 参数 参数类型 描述 name String 字段名。 order Boolean bool值预留无意义。 表8 run_time_info 参数 参数类型 描述 table_info table_info object 表信息。 local_secondary_index_infos Array of secondary_index_info objects 索引状态。 global_secondary_index_infos Array of global_secondary_index_info objects 全局二级索引运行态。 表9 table_info 参数 参数类型 描述 table_status String 表状态。 "creating" "active" "deleting" 表10 secondary_index_info 参数 参数类型 描述 index_name String 索引状态。 长度:[1, 255] 取值字符限制:[a-z0-9_-]+ index_status String 索引状态。 "creating" "active" "deleting" 表11 global_secondary_index_info 参数 参数类型 描述 index_name String 二级索引名称。 index_status String 二级索引名称。 "creating" "active" "deleting" 状态码: 400 表12 响应Body参数 参数 参数类型 描述 error_code String 请求返回的错误码。 error_msg String 请求返回的错误信息。
  • 响应示例 状态码: 200 表示查询表请求成功 { "table_name" : "test_table_1", "primary_key_schema" : { "shard_key_fields" : [ { "name" : "owner", "order" : true } ], "sort_key_fields" : [ { "name" : "filename", "order" : true } ] }, "runtime_info" : { "table_info" : { "table_status" : "ACTIVE" } } }
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 table_name 是 String 表名,仓内唯一。 长度:[3, 63] 取值字符限制:[a-z0-9_-]+ primary_key 是 Document 用户自定义的主键名及值。 projection_fields 否 Array of strings 对kv_doc有效,返回哪些字段列表,默认全部。 说明: 字段名或嵌套字段路径用'/'分割。 projection_blob 否 projection_blob object 对kv_blob有效,返回局部数据; 默认返回全部数据。 表3 projection_blob 参数 是否必选 参数类型 描述 with_attr 否 Boolean 是否返回kv_blob的属性信息, 默认返回。 offset 否 Integer value部分的偏移位置,超过实际size不返回,默认0。 len 否 Integer 数据长度,默认offset后全部数据。
  • 请求示例 下载一个kv,表名为test-table-1,设置分区键值为user1,排序键值为test-file-1。 POST https://{endpoint}/v1/get-kv { "table_name" : "test_table_1", "kv_blob" : { "primary_key" : { "owner" : "user_1", "filename" : "test_file_1" } } }
  • 响应示例 状态码: 200 表示查询单个kv请求成功 { "kv_blob_data" : { "primary_key" : { "owner" : "user_1", "filename" : "test_file_1" }, "blob_data" : "binary_data_xblob", "xattr" : "binary_data_xattr" } }
  • 请求示例 上传单个kv,表名为test-table-1,上传的kv为非结构化数据 POST https://{endpoint}/v1/put-kv { "table_name" : "test_table_1", "kv_blob" : { "primary_key" : { "owner" : "user_1", "filename" : "test_file_1" }, "xblob" : "binary_data_xblob", "xattr" : "binary_data_xattr" } }
共100000条