亞馬遜云科技“智能湖倉”架構實現(xiàn)“數(shù)據(jù)入云，融合智能”
亞馬遜云科技“智能湖倉”架構以Amazon Simple Storage Service（Amazon S3）為基礎構建數(shù)據(jù)湖，作為中央存儲庫，圍繞數(shù)據(jù)湖集成專門的“數(shù)據(jù)服務環(huán)”，包括數(shù)據(jù)倉庫、機器學習、大數(shù)據(jù)處理、日志分析等數(shù)據(jù)服務，然后再利用Amazon Lake Formation、Amazon Glue、Amazon Athena、Amazon Redshift Spectrum等工具，實現(xiàn)數(shù)據(jù)湖的構建、數(shù)據(jù)的移動和管理等。亞馬遜云科技“智能湖倉”架構具有以下五個特點。
靈活擴展，安全可靠。亞馬遜云科技“智能湖倉”架構用Amazon S3作為數(shù)據(jù)湖的存儲基礎，客戶可根據(jù)不斷變化的需求，靈活擴展或縮減存儲資源。Amazon S3可達到 99.999999999%（11 個 9）的數(shù)據(jù)持久性，且具有強大的安全性、合規(guī)性和審計功能。
專門構建，極致性能。為了滿足客戶不同的數(shù)據(jù)分析需求，亞馬遜云科技提供全面而深入的、專門構建的數(shù)據(jù)分析服務，包括交互式查詢服務Amazon Athena、云上大數(shù)據(jù)平臺Amazon EMR、日志分析服務Amazon Elasticsearch Service、Amazon Kinesis、云數(shù)據(jù)倉庫Amazon Redshift等。這些專門構建的數(shù)據(jù)分析服務為客戶提供了極致性能，客戶在使用過程中不必在性能、規(guī)?；虺杀局g做出任何妥協(xié)。其中Amazon Redshift的性價比是其他企業(yè)云數(shù)據(jù)倉庫的三倍，AQUA(分布式硬件加速緩存)使 Redshift 查詢的運行速度比其他其他云數(shù)據(jù)倉庫最高快 10 倍；Amazon EMR運行大數(shù)據(jù)處理及分析服務的成本不到傳統(tǒng)本地解決方案的一半，但其速度比標準 Apache Spark 快 3 倍以上。
數(shù)據(jù)融合，統(tǒng)一治理。亞馬遜云科技“智能湖倉”架構不止是打通了數(shù)據(jù)湖、數(shù)據(jù)倉庫，還進一步將數(shù)據(jù)湖、數(shù)據(jù)倉庫以及所有其它數(shù)據(jù)服務組成統(tǒng)一且連續(xù)的整體。在實際應用場景中，數(shù)據(jù)需要在這些服務與數(shù)據(jù)存儲方案之間，以及服務與服務之間按需來回移動，跨服務訪問。亞馬遜云科技“智能湖倉”架構降低了數(shù)據(jù)融合與數(shù)據(jù)共享時統(tǒng)一安全管控和數(shù)據(jù)治理的難度。其中，Amazon Glue提供數(shù)據(jù)無縫流動能力，Amazon Lake Formation提供了快速構建湖倉、簡化安全與管控的全面數(shù)據(jù)管理能力。
敏捷分析，深度智能。亞馬遜云科技將數(shù)據(jù)、數(shù)據(jù)分析服務與機器學習服務無縫集成，為客戶提供更智能的服務。例如Amazon Aurora ML、Amazon Redshift ML、Neptune ML等，數(shù)據(jù)庫開發(fā)者只需使用熟悉的 SQL 語句，就能進行機器學習操作；Amazon Glue、Amazon Athena ML、Amazon QuickSight Q等，可以幫助用戶使用熟悉的技術，甚至自然語言來使用機器學習，幫助企業(yè)利用數(shù)據(jù)做出更好的決策。用戶還可以通過機器學習服務Amazon SageMaker、個性化推薦服務Amazon Personalize等挖掘數(shù)據(jù)智能。
擁抱開源，開放共贏。亞馬遜云科技“智能湖倉”架構中的關鍵組件如Amazon EMR、Amazon Elasticserach Service、Amazon MSK的核心都基于開源代碼，接口與開源完全兼容，無需改變任何代碼就可以實現(xiàn)遷移，也兼容主流的管理工具。OpenSearch 基于開放的Apache2.0 授權，其代碼完全開放，用戶可以免費下載使用并獲得企業(yè)級的功能。這些服務允許用戶在轉型過程中，以非常低的改造成本向云端遷移。
亞馬遜云科技賦能全球數(shù)以十萬計的客戶重塑大數(shù)據(jù)
目前，全球數(shù)以十萬計的客戶選擇亞馬遜云科技進行數(shù)據(jù)管理及分析。在中國，TCL、豐田互聯(lián)、欣和、德比軟件、安克創(chuàng)新、啟元世界等各行業(yè)客戶，正在采用亞馬遜云科技數(shù)據(jù)相關服務，開展數(shù)據(jù)治理及數(shù)據(jù)價值挖掘。其中， TCL基于亞馬遜云科技“智能湖倉”架構搭建的解決方案，將傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫與數(shù)據(jù)湖打通，消除了數(shù)據(jù)孤島，讓全品類IoT設備的數(shù)據(jù)和業(yè)務系統(tǒng)實現(xiàn)了互聯(lián)互通，海外業(yè)務與國內業(yè)務實現(xiàn)了數(shù)據(jù)統(tǒng)一。TCL使用了亞馬遜云科技廣泛的云服務，包括：使用Amazon S3構建數(shù)據(jù)湖，通過大數(shù)據(jù)分析服務Amazon EMR、Amazon Redshift和機器學習服務獲得數(shù)據(jù)洞察等。通過使用亞馬遜云科技專門構建的數(shù)據(jù)分析服務，之前需要一周才能完成的復雜數(shù)據(jù)報表，現(xiàn)在僅需要1-2小時；每天運行300個以上的作業(yè)產生 200多個BI報表，為運營和數(shù)字化營銷提供有力支撐。
啟元世界（北京）信息技術服務有限公司是一家領先的人工智能平臺公司，公司擁有深度學習、強化學習等自主研發(fā)的核心技術和產品，以SaaS的形式，為國內多家知名的游戲公司提供虛擬玩家陪玩、游戲商品推薦、關卡數(shù)值設計、游戲內容生成等服務。啟元世界使用了亞馬遜云科技全棧的數(shù)據(jù)分析服務進行高效開發(fā)部署，保障業(yè)務快速穩(wěn)定發(fā)展。
啟元世界CTO龍海濤表示，“作為一家領先的AI公司，我們希望把更多精力聚焦在算法迭代與產品打磨，我們需要成熟、穩(wěn)定、免運維的大數(shù)據(jù)托管服務。亞馬遜云科技智能湖倉通過數(shù)據(jù)的融合，專門構建的分析工具，可靠高效地支撐了我們敏捷的業(yè)務迭代，其中Amazon Kinesis實現(xiàn)了分鐘級部署，并承載百萬QPS（每秒查詢率）流數(shù)據(jù)；Amazon EMR、Amazon Managed Workflows for Apache Airflow使批處理運行的時間減少了80%，運營總成本下降了50%；Amazon Glue 、Amazon Athena、Amazon QuickSight等服務實現(xiàn)了即席查詢秒級響應?！?/p>
亞馬遜云科技構建了強大的合作伙伴網(wǎng)絡，通過合作伙伴網(wǎng)絡成員構建行業(yè)數(shù)據(jù)管理解決方案。上海馳騖 (ChiefClouds) 信息科技有限公司，是國內領先的消費者數(shù)據(jù)營銷平臺供應商，為企業(yè)搭建消費者數(shù)據(jù)平臺（CDP），以此為基礎構建覆蓋數(shù)字媒體和陣地運營、CRM、智慧導購等場景的全渠道和全鏈路消費者運營體系。
馳騖科技創(chuàng)始人兼CEO 程華奕表示，“作為企業(yè)級數(shù)據(jù)管理平臺的實踐者，我們非常認可亞馬遜云科技的智能湖倉架構。以Amazon S3為核心的數(shù)據(jù)基礎平臺，讓我們在服務客戶時，在數(shù)據(jù)安全性、可靠性、性能和擴展性等方面都沒有后顧之憂。亞馬遜強大的數(shù)據(jù)分析管理工具組合，讓我們能夠對各種數(shù)據(jù)處理和分析游刃有余，快捷、高效地利用機器學習挖掘數(shù)據(jù)智能，服務于客戶的業(yè)務創(chuàng)新。“
