Benefícios da infraestrutura serverless

Benefícios da infraestrutura serverless

  • Escalabilidade independente

    Poupe gastos dimensionando seus recursos de armazenamento e de computação de forma independente um do outro.
  • Dimensionamento automático

    Tenha a certeza de sempre possuir capacidade suficiente, independentemente do tipo de explosão de tráfego que vier a ocorrer.
  • Pagamento por uso

    Pague apenas pelo que você realmente usar (volume de dados processados/pacotes de UCH). Você não paga nada quando não há trabalhos sendo executados.
  • Implementação com HA em 2 AZs

    Livre-se de O&Ms complexas e atualize suas operações enquanto você usufrui de alta disponibilidade (HA) de dados com uma implementação em 2 AZs.

Funções

Funções

  • Compatibilidade integral com SQL

    Você não precisa ter experiência em Big Data para realizar análises com dados desse tipo. Basta ter conhecimento de SQL. A sintaxe de SQL é inteiramente compatível com o padrão ANSI SQL 2003.
    Você não precisa ter experiência em Big Data para realizar análises com dados desse tipo. Basta ter conhecimento de SQL. A sintaxe de SQL é inteiramente compatível com o padrão ANSI SQL 2003.
  • Spark/Flink/openLooKeng serverless

    Migre sem descontinuidades suas aplicações offline para a nuvem com uma tecnologia serverless. DLI é inteiramente compatível com APIs e com os ecossistemas Apache Spark, Apache Flink e Presto.
    Migre sem descontinuidades suas aplicações offline para a nuvem com uma tecnologia serverless. DLI é inteiramente compatível com APIs e com os ecossistemas Apache Spark, Apache Flink e Presto.
  • Análise entre fontes

    Faça a análise de seus dados entre bancos de dados sem a necessidade de qualquer migração. Com uma visão unificada, você obtém um entendimento amplo dos seus dados, possibilitando acelerar inovações. Todos esses benefícios podem ser aproveitados independentemente do banco de dados ter sido criado online ou offline, do formato dos dados ou da fonte de dados na nuvem.
    Faça a análise de seus dados entre bancos de dados sem a necessidade de qualquer migração. Com uma visão unificada, você obtém um entendimento amplo dos seus dados, possibilitando acelerar inovações. Todos esses benefícios podem ser aproveitados independentemente do banco de dados ter sido criado online ou offline, do formato dos dados ou da fonte de dados na nuvem.
  • Múltiplos locatários empresariais

    Gerencie permissões relacionadas à computação ou a recursos de acordo com o projeto ou o usuário. Com um controle refinado, torna-se mais fácil manter a independência dos dados para tarefas separadas.
    Gerencie permissões relacionadas à computação ou a recursos de acordo com o projeto ou o usuário. Com um controle refinado, torna-se mais fácil manter a independência dos dados para tarefas separadas.

Cenários de aplicação

  • Banco de dados

  • E-commerce

  • Jogos

  • Grandes empresas

  • Genética

  • Finanças

  • Governo

  • Geografia

Banco de dados

Análise de banco de dados

Dados de aplicações (como detalhes de registro) são armazenados em um banco de dados relacional e precisam de análise.


Pontos de dificuldade

• Consultas complexas não são disponibilizadas para grandes bancos de dados relacionais.

• Análises abrangentes não são possíveis, porque as partições dos bancos de dados e das tabelas ficam espalhadas em diferentes bancos de dados relacionais.

• Análises de dados empresariais podem sobrecarregar os recursos disponíveis e impactar as operações do negócio.

Vantagens

Experiência similar ao uso de SQL

Comece a usar novos serviços de forma imediata. DLI é compatível com a sintaxe de bancos de dados relacionais do padrão ANSI SQL 2003, quase eliminando a curva de aprendizado necessário.

Excelente desempenho

Use o DLI, baseado em modelos computacionais em memória distribuídos, para facilmente processar grandes volumes de dados.

E-commerce

Marketing de precisão para e-commerces

Informações de diversos canais precisam ser combinados para possibilitar análises associativas que visem ao aumento da conversão de vendas.

Vantagens

Análise entre fontes

Quando dados de CTR de anúncios são armazenados no OBS e dados de registros de usuários são mantidos no RDS, você pode consultá-los e armazená-los diretamente. Não é necessário migrá-los para o DLI.

SQL puro

Com diversas fontes de dados interconectadas, você pode mapeá-las juntas ao criar uma tabela usando apenas declarações de SQL.

Serviços relacionados

Jogos

Análise de logs para jogos

Operar uma empresa de jogos demanda uma plataforma de análise de dados qualificada para melhorar o posicionamento dos anúncios, a retenção de novos jogadores, as operações e a forma como os feedbacks são obtidos para iterações de jogos futuras. 


Pontos de dificuldade

• A análise de logs geralmente é feita por período. Durante os períodos ociosos entre cada tarefa, recursos são desperdiçados.

Vantagens

Pagamento por uso

Reduza seus custos em mais de 50% quando comparado à aquisição de clusters exclusivos. Você só paga pelos recursos realmente usados para agendamentos.

Análise convergente

Você precisa apenas de uma cópia de metadados para limpezas de dados em tempo real, processamentos ETL offline e análises interativas. É possível usar o resultado do processamento de dados diretamente para a mineração de dados.

Serviços relacionados

Grandes empresas

Análise de logs em grandes empresas

Se você faz parte de uma empresa de grande porte, diferentes departamentos podem precisar gerenciar recursos de maneira independente. Nesse caso, você precisa de um gerenciamento refinado de permissões para manter a segurança dos dados e melhorar a eficiência da gestão.

Vantagens

Gerenciamento refinado de permissões

Conceda permissões por coluna ou por operações específicas, como para inserir e sobrescrever, e controle permissões de leitura e gravação para os metadados.

Gerenciamento unificado

Use uma única conta de IAM para gerenciar os diversos funcionários na sua empresa.

Genética

Gerenciamento de dados sobre genes

Bibliotecas externas de análise baseadas no framework distribuído do Spark, como ADAM e Hail, são necessárias para análises do genoma.


Pontos de dificuldade

• Habilidades técnicas elevadas são necessárias para instalar bibliotecas de análise como ADAM e Hail.

• Toda vez que um cluster é criado, é preciso instalar essas bibliotecas de análise novamente.

Vantagens

Imagens customizadas

Você pode empacotar bibliotecas externas de análise, como ADAM e Hail, em imagens customizadas e carregá-las diretamente no Software Repository for Container (SWR). Ao usar o DLI, imagens customizadas no SWR são obtidas automaticamente.

Imagens de base embutidas

As imagens Spark e Flink otimizadas pela Huawei em diversas versões e imagens de IA de código aberto (Tensorflow/Keras/PyTorch) estão incorporadas no DLI para a sua conveniência.

Serviços relacionados

Finanças

Controle de risco em tempo real

Quase qualquer aspecto de serviços financeiros envolve algum tipo de controle de risco. Portanto, um sistema abrangente é necessário.


Pontos de dificuldade

• Há pouquíssima tolerância a latências excessivas quando se trata de controle de riscos.

Advantages

Alta taxa de transferência/Baixa latência

Você pode realizar análise de dados em tempo real no DLI com a ajuda de um modelo de fluxo de dados do Apache Flink. Uma única CPU pode processar de 1.000 a 20.000 mensagens por segundo.

Ecossistema de nuvem

Você pode salvar fluxos de dados em tempo real em diferentes serviços em nuvem, como no CloudTable e no SMN.

Serviços relacionados

Governo

Visualização de dados em tempo real

Com epidemias como a COVID-19 se espalhando pelo mundo, os governos precisam se tornar capazes de visualizar dados da situação de forma imediata nas grandes telas de exibição das centrais de monitoramento, facilitando a gestão do controle epidêmico pautado em bases científicas.


Pontos de dificuldade

• Funcionários do governo não necessariamente têm experiência com Big Data. Geralmente, eles estão muito mais familiarizados com SQL.

Vantagens

Consultas em milissegundos

Com base no poderoso framework computacional em memória, o mecanismo embutido openLooKeng otimiza o desempenho da consulta para obter análises interativas em milissegundos.

Facilidade de uso

Você só precisa de sintaxe de SQL para consultas no DLI. A sintaxe é inteiramente compatível com padrão ANSI SQL 2003.

Serviços relacionados

Geografia

Análise geográfica com Big Data

Big Data para análises geográficas pode envolver enormes volumes de dados, como no caso dos petabytes de dados de imagens de satélites. Ela também inclui diversos tipos diferentes de dados. Por exemplo, há dados raster estruturados de imagens de sensoriamento remoto, dados vetoriais, dados não estruturados de localização espacial e dados de modelagem 3D. Por isso, uma ferramenta de mineração eficiente é fundamental para a análise de dados geográficos.

Vantagens

Operadores de análises de dados espaciais

Os operadores de algoritmo do Spark para análise de dados espaciais no DLI permitem o processamento de fluxo em tempo real e o processamento offline em lote. Você pode importar grandes volumes de tipos de dados, incluindo dados estruturados de imagens de sensoriamento remoto, modelagem 3D não estruturada e dados de nuvem de pontos em laser no DLI.

Processamento de eventos complexos com SQL

Você só precisa de declarações de SQL para detectar eixos verticais e utilizar geofencing.

Processamento de Big Data

Você pode rapidamente migrar terabytes, ou até exabytes, de imagens de sensoriamento remoto para a nuvem e fatiá-las para fontes de dados com o objetivo de realizar o processamento distribuído em lote.

Serviços relacionados

Comparação entre DLI e Hadoops próprios

Data Lake Insight
Sistema Hadoop próprio

Custo

A cobrança é feita com base na real quantidade de dados processados ou UCH usado. Até 50% de custos poupados.

Alto custo devido à ocupação de recursos a longo prazo; desperdício de recursos.

Escalabilidade elástica

Kubernetes baseado em container, escalabilidade elástica inteligente.

N/A

Disponibilidade da O&M

Arquitetura serverless pronta para uso e DR entre AZs.

Capacidades técnicas sólidas são necessárias para realizar configurações e O&M.

Custo de aprendizado

Baixo.

Os parâmetros de otimização são padronizados com base em milhares de projetos nos 10 anos de experiência. Além disso, DLI fornece uma interface gráfica para uma otimização inteligente.

Alto.

É necessário aprender sobre centenas de parâmetros de ajuste.

Compatibilidade de fontes de dados

Nuvem: OBS/RDS/DWS/CSS/MongoDB/Redis;

Localmente: bancos de dados/MongoDB/Redis desenvolvidos por conta própria.

Nuvem: OBS;

Localmente: HDFS.

Compatibilidade de ecossistemas
Data Lake Visualization (DLV), Tableau, Yonghong BI e Fanruan BI.
Ferramenta de ecossistema de Big Data.
Customização de imagem
Disponível. Dependências podem ser adicionadas conforme necessidade para atender aos requisitos de diversidade de serviços.
Indisponível.
Agendamento de fluxo de trabalho
Agendamento pelo Data Lake Factory (DLF) no DGC.
Ferramentas de agendamento desenvolvidas por conta própria, como o Airflow.
Múltiplos locatários empresariais
Gerenciamento de permissões com base em tabelas, fornecendo granularidade de permissão ao nível da coluna.
Gerenciamento de permissões com base em arquivos.
Desempenho
Desempenho mais elevado com otimização profunda de software e hardware.
O desempenho é o mesmo que o de versões de código aberto do Hadoop.
Histórias de sucesso
alt-logo-car
A Chengdu Longyuan Network trabalha com a HUAWEI CLOUD para consultar e analisar dados de jogos de maneira eficiente.
Chengdu Longyuan Network

Novas funcionalidades

HUAWEI CLOUD fornece recursos computacionais escaláveis e sob demanda

Saiba mais