Data Lake Insight
Satış Birimiyle İletişim

Data Lake Insight (DLI)

Data Lake Insight (DLI)

Data Lake Insight (DLI); Apache Spark, Flink ve openLooKeng (Presto tabanlı) ekosistemleriyle tam uyumlu, sunucusuz veri işleme ve analiz servisidir. Artık veri göllerinde ve ambarlarında akış ve toplu verilerle ve etkileşimli analizlerle çalışmak, BI ve yapay zeka yetenekleri sayesinde zahmetsizdir.

Data Lake Insight (DLI), Apache Spark, Flink ve openLooKeng (Presto tabanlı) ekosistemleriyle tam uyumlu, sunucusuz veri işleme ve analiz servisidir. Artık veri göllerinde ve ambarlarında akış ve toplu verilerle ve etkileşimli analizlerle çalışmak, BI ve yapay zeka yetenekleri sayesinde zahmetsizdir.

DLI Nedir?

  • Kullanım Kolaylığı

    DLI, standart Yapılandırılmış Sorgu Dillerini (SQL'ler) kullanarak veri gölünüzdeki terabaytlarca veriyi sıfır İşletme ve Bakım yüküyle saniyeler içinde kolayca keşfetmenize olanak tanır.

    DLI, standart Yapılandırılmış Sorgu Dillerini (SQL'ler) kullanarak veri gölünüzdeki terabaytlarca veriyi sıfır İşletme ve Bakım yüküyle saniyeler içinde kolayca keşfetmenize olanak tanır.

  • Tek Noktadan Analiz

    Apache Spark, Flink ve openLooKeng ile tam uyumlu; tek bir yerde akış, toplu işleme ve etkileşimli analiz.

    Apache Spark, Flink ve openLooKeng ile tam uyumlu; tek bir yerde akış, toplu işleme ve etkileşimli analiz.

  • Ölçeklenebilir Kaynaklar

    İsteğe bağlı, havuza alınan kaynaklara paylaşılan erişim, önceden belirlenmiş önceliklere dayalı esnek ölçeklendirme.

    İsteğe bağlı, havuza alınan kaynaklara paylaşılan erişim, önceden belirlenmiş önceliklere dayalı esnek ölçeklendirme.

  • Çapraz Kaynaklı Bağlantı

    DLI veri kaynağı bağlantılarıyla iş birlikçi analiz için kaynaklar arası kolay veri erişimi, veri geçişine gerek yoktur.

    DLI veri kaynağı bağlantılarıyla iş birlikçi analiz için kaynaklar arası kolay veri erişimi, veri geçişine gerek yoktur.

İşlevler

  • Tam SQL Uyumluluğu

    SQL deyimleriyle büyük veri analizi yapın. SQL söz dizimi tamamen uyumludur.

    SQL deyimleriyle büyük veri analizi yapın. SQL söz dizimi tamamen uyumludur.

  • Sunucusuz Spark/Flink/openLooKeng

    Sunucusuz teknoloji ile çevrimdışı uygulamalarınızı sorunsuz şekilde buluta geçirin. DLI, Apache Spark, Apache Flink ve Presto ekosistemleri ve uygulama programlama arayüzleri (API'lar) ile tamamen uyumludur.

    Sunucusuz teknoloji ile çevrimdışı uygulamalarınızı sorunsuz şekilde buluta geçirin. DLI, Apache Spark, Apache Flink ve Presto ekosistemleri ve uygulama programlama arayüzleri (API'lar) ile tamamen uyumludur.

  • Çapraz Kaynaklı Analiz

    Verilerinizi veritabanlarında analiz edin. Geçiş gerekmez. Verilerinizin birleşik görünümü, verilerinizi kapsamlı bir şekilde anlamanızı sağlar ve daha hızlı yenilik yapmanıza yardımcı olur. Veri biçimleri, bulut veri kaynakları veya veritabanının çevrimiçi ya da çevrimdışı oluşturulması konusunda herhangi bir kısıtlama yoktur.

    Verilerinizi veritabanlarında analiz edin. Geçiş gerekmez. Verilerinizin birleşik görünümü, verilerinizi kapsamlı bir şekilde anlamanızı sağlar ve daha hızlı yenilik yapmanıza yardımcı olur. Veri biçimleri, bulut veri kaynakları veya veritabanının çevrimiçi ya da çevrimdışı oluşturulması konusunda herhangi bir kısıtlama yoktur.

  • Kurumsal Çoklu Kiracı

    Projeye veya kullanıcıya göre bilgi işlem veya kaynakla ilgili izinleri yönetin. Ayrı görevler için veri bağımsızlığını korumayı kolaylaştıran ayrıntılı kontrolün keyfini çıkarın.

    Projeye veya kullanıcıya göre bilgi işlem veya kaynakla ilgili izinleri yönetin. Ayrı görevler için veri bağımsızlığını korumayı kolaylaştıran ayrıntılı kontrolün keyfini çıkarın.

Sizin İçin Uygun Olan Ne?
Kompakt Kaynaklar
  • 64 bilgi işlem birimi
  • SQL kuyrukları
  • Veri göllerinde/ambarlarında 1 TB'den az verinin analizi; yapay zeka analizi; öngörülebilir maliyetler; İşletme ve Bakım olmadan esnek kaynak ölçeklendirme
Kurumsal uygulamalar Sınırlı ticari test

$0,91 USD

/saat'ten başlayan fiyatlarla
Genişletilmiş Kaynaklar
  • 256 bilgi işlem birimi
  • SQL kuyrukları
  • Çok sayıda JOIN görevinin ve karıştırma işleminin dahil olduğu veri göllerinde/ambarlarında 10 TB'den az verinin analizi
Yüksek performanslı bilgi işlem Buluta özel veri gölleri

$14,59 USD

/saat'ten başlayan fiyatlarla

Uygulama Senaryoları

Veritabanı Analizi

İlişkisel veritabanlarında depolanan uygulama verilerinin daha fazla değer elde etmek için analiz edilmesi gerekir. Örneğin, kayıt ayrıntılarından elde edilen büyük veriler, ticari karar vermede yardımcı olur.

Sorunlar

  • Daha büyük ilişkisel veritabanları için karmaşık sorgular desteklenmez.

  • Veritabanı ve tablo bölümleri birden çok ilişkisel veritabanına yayıldığından kapsamlı analiz mümkün değildir. İş verileri analizi, mevcut kaynaklara aşırı yüklenebilir.

Avantajlar

  • SQL deneyimi aktarılabilirliği

    Yola yeni servislerle çıkın. DLI, standart ANSI SQL 2003 ilişkisel veritabanı söz dizimini destekler, bu nedenle neredeyse öğrenme eğrisi hiç yoktur.

  • Çok yönlü, sağlam performans

    Dağıtılmış bellek içi bilgi işlem modelleri, karmaşık sorguları, bölümler arası analizi ve iş zekası işlemlerini zahmetsizce gerçekleştirir.

İlgili Servisler
CDM

Hassas Pazarlama

İlişkisel analiz, dönüşüm oranlarını iyileştirmek için birden çok kanaldan gelen bilgileri birleştirir.

Avantajlar

  • Çapraz kaynaklı analiz

    Object Storage Service'te (OBS) depolanan reklam tıklama oranı (CTR) verileri ve Relational Database Service'te (RDS) kullanıcı kayıt verileri, DLI'ye geçiş yapılmadan doğrudan sorgulanabilir.

  • Sadece SQL gerekli

    Birbirine bağlı veri kaynakları, yalnızca SQL deyimleri kullanılarak oluşturulan bir tabloyla birlikte eşlenir.

İlgili Servisler
OBS

Günlük Analizi

Oyun şirketleri, gelecekteki oyun yinelemeleri için reklam yerleşimini, yeni oyuncu tutmayı, işlemleri ve geri bildirimi iyileştirmek için kaliteli bir veri analizi platformuna ihtiyaç duyar.

Sorunlar

  • Günlük analizi genellikle döneme göre yapılır. Her görev arasındaki boşta geçen sürelerde kaynaklar boşa harcanır.

Avantajlar

  • Kullandıkça öde ve Otomatik ölçeklendirme

    Esnek ölçeklendirme ilkeleriyle atıl kaynakları serbest bırakır ve özel kümelerin maliyetlerinin yarısından tasarruf eder.

  • Yaklaşık analiz

    Yalnızca tek bir meta veri kopyası, gerçek zamanlı temizleme ve çevrimdışı ayıkla, dönüştür ve yükle (ETL) işleme için çalışır. Veri işleme sonucu, veri madenciliği için etkileşimli analizde doğrudan kullanılabilir.

İlgili Servisler
MySQL

İzin Kontrolü

Birden çok departmanın, kaynakları bağımsız olarak yönetmesi gerektiğinde, ayrıntılı izin yönetimi veri güvenliğini ve operasyon verimliliğini artırır.

Avantajlar

  • Daha kolay izin ataması

    İzinleri sütuna göre veya INSERT INTO/OVERWRITE gibi belirli bir işleme göre verir ve meta verileri salt okunur olarak ayarlar.

  • Birleşik yönetim

    Tek bir Identity and Access Management (IAM) hesabı, tüm personel kullanıcıları için izinleri işler.

Kütüphane Entegrasyonu

Genom analizi, Spark dağıtılmış çerçevesinde oluşturulan üçüncü taraf analiz kitaplıklarına dayanır.

Sorunlar

  • ADAM ve Hail gibi analiz kitaplıklarını kurmak için yüksek teknik beceriler gereklidir.

  • Her küme oluşturduğunuzda, bu analiz kitaplıklarını yeniden yüklemeniz gerekir.

Avantajlar

  • Özel görüntüler

    Kitaplıkları teknik olarak zorlu süreçte kurmak yerine, bunları doğrudan Software Repository for Container'a (SWR) yüklenen özel görüntüler halinde paketleyin. Küme oluşturmak için DLI kullanırken, SWR'deki özel görüntüler otomatik olarak çekilir, böylece bu kitaplıkları yeniden yüklemeniz gerekmez.

  • Yerleşik temel görüntüler

    Huawei ile geliştirilmiş Spark ve Flink görüntüleri (birden çok sürüm) ve açık kaynaklı yapay zeka görüntüleri (TensorFlow/Keras/PyTorch) size kolaylık sağlamak için mevcuttur.

İlgili Servisler
SWR

Gerçek Zamanlı Risk Denetimi

Finansal servislerin hemen hemen her yönü, kapsamlı risk yönetimi ve risk azaltma gerektirir.

Sorunlar

  • Söz konusu risk kontrolü olduğunda aşırı gecikmeye çok az tolerans vardır.

Avantajlar

  • Yüksek aktarım hızı

    Apache Flink veri akışı modelinin yardımıyla DLI'de gerçek zamanlı veri analizi, gecikmeyi düşük tutar. Tek bir CPU saniyede 1.000 ila 20.000 iletiyi işler.

  • Ekosistem kapsamı

    Kapsamlı uygulama için gerçek zamanlı veri akışlarını CloudTable ve SMN gibi birden çok bulut servisine kaydeder.

İlgili Servisler
SMN
DIS

Gerçek Zamanlı Ekranlar

COVID-19 dünya çapında şiddetlenirken, devletlerin önemli verileri olaylar olduğu anda izleyebilmeleri gerekmektedir.

Sorunlar

  • Kamu çalışanlarının mutlaka büyük veri konusunda bir geçmişlerinin olması gerekmez. SQL genellikle çok daha tanıdıktır.

Avantajlar

  • Milisaniyelik yanıt hızı

    Güçlü bellek içi bilgi işlem çerçevesi sayesinde, yerleşik openLooKeng motoru, anında etkileşimli analiz için sorgu performansını optimize eder.

  • Temel uyumluluk

    DLI sorguları SQL söz dizimini kullanır, bu nedenle personelin büyük veri geçmişine ihtiyacı yoktur. Bu tanıdık söz dizimi, standart ANSI SQL 2003 ile tamamen uyumludur.

İlgili Servisler
MySQL
DLV
CDM

Büyük Veri Analizi

Büyük hacimli veriler arasında petabaytlarca uydu görüntüsü ve birçok türde – yapılandırılmış uzaktan algılama tarama verileri, vektör verileri ve yapılandırılmamış uzamsal konum verileri bulunur. Tüm bu verilerin analizi ve madenciliği verimli araçlara ihtiyaç duyar.

Avantajlar

  • Mekansal veri analizi

    DLI'deki Spark algoritma operatörleri, gerçek zamanlı akış işlemeyi ve çevrimdışı toplu işlemeyi mümkün kılar. Yapılandırılmış uzaktan algılama görüntü verileri, yapılandırılmamış 3D modelleme ve lazer nokta bulutu verileri dahil olmak üzere çok büyük veri türlerini desteklerler.

  • CEP SQL işlevselliği

    Sapma tespiti ve coğrafi sınırlama için gereken tek şey SQL deyimleridir.

  • Ağır veri işleme

    Eksabaytlara varan uzaktan algılama görüntülerini hızla buluta geçirir, ardından bunları dağıtılmış toplu işleme için veri kaynaklarına ayırır.

İlgili Servisler
DIS
CDM
DES

DLI ve Kendi kendine Oluşturulan Hadoop

DLI

Kendi Kendine Oluşturulan Hadoop Sistemi

Maliyet

Taranan gerçek veri hacmine veya kullanılan saatlik işlem birimine (CUH) göre faturalandırılır.

Maliyetler kaydedilir.

Kullanılan kaynaklar tarafından faturalandırılır.

Uzun süreli kullanım pahalıdır ve kaynakların israf edildiği anlamına gelir.

Elastik ölçeklenebilirlik

Kapsayıcı tabanlı Kubernetes ile akıllı

Mevcut değil

İşletme ve Bakım ve kullanılabilirlik

Kullanıma hazır, sunucusuz mimari ve çapraz kullanılabilirlik alanı olağanüstü durum kurtarma

(kullanılabilirlik alanları arası DR)

Yapılandırma ve İşletme ve Bakım için güçlü teknik yetenekler gereklidir

Öğrenim maliyeti

Optimizasyon parametreleri, binlerce projede 10 yıllık deneyime dayalı olarak standartlaştırılmıştır. Buna ek olarak, DLI, akıllı optimizasyon için grafik kullanıcı arayüzü (GUI) sağlar.

Yüzlerce ayar parametresinin öğrenilmesi gerekiyor.

Desteklenen veri kaynakları

Bulut: OBS/RDS/DWS/CSS/MongoDB/Redis;

Şirket içi: kendi kendine oluşturulmuş veritabanı/MongoDB/Redis

Bulut: OBS;

Şirket içi: HDFS

Ekosistem uyumluluğu

Data Lake Visualization (DLV), Tableau, Yonghong BI ve Fanruan BI

Büyük veri ekosistemi aracı

Özel görsel

Destekleniyor. Servis çeşitliliği gereksinimlerini karşılamak için gerektiği şekilde bağımlılıklar

eklenebilir.

Mevcut değil

İş akışı planlaması

Data Lake Governance Center'daki (DataArts Studio) Data Lake Factory (DLF) aracılığıyla planlama

Airflow gibi kendi kendine oluşturulmuş zamanlama araçları

Kurumsal kiracı izinleri

Sütun düzeyinde ayrıntılı tablo tabanlı

Dosya tabanlı

Performans

Optimize edilmiş yazılım ve donanım sayesinde çok daha yüksek

Hadoop açık kaynak sürümleriyle eşleşir

Maliyet

DLI

Taranan gerçek veri hacmine veya kullanılan saatlik işlem birimine (CUH) göre faturalandırılır.

Maliyetler kaydedilir.

Kendi Kendine Oluşturulan Hadoop Sistemi

Kullanılan kaynaklar tarafından faturalandırılır.

Uzun süreli kullanım pahalıdır ve kaynakların israf edildiği anlamına gelir.

Elastik ölçeklenebilirlik

DLI

Kapsayıcı tabanlı Kubernetes ile akıllı

Kendi Kendine Oluşturulan Hadoop Sistemi

Mevcut değil

İşletme ve Bakım ve kullanılabilirlik

DLI

Kullanıma hazır, sunucusuz mimari ve çapraz kullanılabilirlik alanı olağanüstü durum kurtarma

(kullanılabilirlik alanları arası DR)

Kendi Kendine Oluşturulan Hadoop Sistemi

Yapılandırma ve İşletme ve Bakım için güçlü teknik yetenekler gereklidir

Öğrenim maliyeti

DLI

Optimizasyon parametreleri, binlerce projede 10 yıllık deneyime dayalı olarak standartlaştırılmıştır. Buna ek olarak, DLI, akıllı optimizasyon için grafik kullanıcı arayüzü (GUI) sağlar.

Kendi Kendine Oluşturulan Hadoop Sistemi

Yüzlerce ayar parametresinin öğrenilmesi gerekiyor.

Desteklenen veri kaynakları

DLI

Bulut: OBS/RDS/DWS/CSS/MongoDB/Redis;

Şirket içi: kendi kendine oluşturulmuş veritabanı/MongoDB/Redis

Kendi Kendine Oluşturulan Hadoop Sistemi

Bulut: OBS;

Şirket içi: HDFS

Ekosistem uyumluluğu

DLI

Data Lake Visualization (DLV), Tableau, Yonghong BI ve Fanruan BI

Kendi Kendine Oluşturulan Hadoop Sistemi

Büyük veri ekosistemi aracı

Özel görsel

DLI

Destekleniyor. Servis çeşitliliği gereksinimlerini karşılamak için gerektiği şekilde bağımlılıklar

eklenebilir.

Kendi Kendine Oluşturulan Hadoop Sistemi

Mevcut değil

İş akışı planlaması

DLI

Data Lake Governance Center'daki (DataArts Studio) Data Lake Factory (DLF) aracılığıyla planlama

Kendi Kendine Oluşturulan Hadoop Sistemi

Airflow gibi kendi kendine oluşturulmuş zamanlama araçları

Kurumsal kiracı izinleri

DLI

Sütun düzeyinde ayrıntılı tablo tabanlı

Kendi Kendine Oluşturulan Hadoop Sistemi

Dosya tabanlı

Performans

DLI

Optimize edilmiş yazılım ve donanım sayesinde çok daha yüksek

Kendi Kendine Oluşturulan Hadoop Sistemi

Hadoop açık kaynak sürümleriyle eşleşir

Yeni Özellikler

Ocak 2020
Flink akış işleri
Mart 2020
DLI meta verilerine Spark erişimi
Nisan 2020
IAM ayrıntılı yetkilendirme
Nisan 2020
Flink 1.10
Mayıs 2020
Veri tarama paketi
Mayıs 2020
Global değişkenler yapılandırması
Haziran 2020
İkili kullanılabilirlik alanı bilgi işlem kuyrukları
Haziran 2020
Spark işi geliştirici modu
Ağustos 2020
Depolama alanına göre faturalandırılan paket
Ekim 2020
Özel görüntüler
Şubat 2021
Birden çok veri sürümü
Şubat 2021
Flink 1.11
Eylül 2021
ClickHouse ve kullanıcı tanımlı tablolar için Flink OpenSource SQL söz dizimi
Aralık 2021
API'ın kullanımdan kaldırılması

Başarı Hikayeleri

Mengxiang.com

Mengxiang, gerçek zamanlı davranış verilerini analiz etmek ve ürünleri müşterilerle eşleştirmek üzere Huawei Cloud DLI ve DataArts Studio'yi kullanıyor. Bu hızlı büyüme, yoğun trafik ve promosyonlar sırasında servis istikrarıyla ilgili zorluklara neden olmaktadır. DLI+DataArts Studio çözümü, Mengxiang'a entegre toplu ve akış işleme için elastik mimari ve yüksek performanslı veri gölü sağlar.

DIANCHU Technology

DIANCHU, oyunlar için veri analiz platformu oluşturmak üzere Huawei Cloud DLI ve akıllı veri gölü DataArts Studio'yi kullandı. Platform, etkinlik planlaması, hassas pazarlama ve karar verme konularında geliri, oyuncu tutma oranını ve ödeme oranını gerçek zamanlı olarak analiz etmektedir.

Dragonest

Chengdu Longyuan Network, oyun verilerini sorgulamak ve analiz etmek için Huawei Cloud ile birlikte çalışmaktadır. Analiz, yeni servisler başlatan farklı departmanlar için yararlıdır. Veri uygulamaları, tüm kuruluşa fayda sağlayacak şekilde entegre edilmiştir.

Belgeler

Başlangıç

Uzmanlaşma

Geliştiriciler

Kaydolun ve mükemmel bir bulut yolculuğuna başlayın

Ücretsiz Dene