4月19日,星环科技2022春季新品发布周在线上盛大开启。开幕式中,星环科技CEO孙元浩做主题演讲,带大家走入“融合数据云时代“。
数据分析模式的历史变迁
星环科技成立的2013年,数据分析模式是以Data Hub数据枢纽的形式来进行;
2017年星环科技提出大数据3.0概念,区分于运用离散工具的数据平台,大数据3.0时代的最显著特征为一站式数据平台,同时可以覆盖数据全生命周期的处理。星环科技的一站式平台把数据湖、数据仓库、数据集市一体化,提供一套数据工具集Transwap studio处理数据的各个阶段;
2018年星环科技提出数据云的概念,在这个阶段大数据技术和云、AI技术融合,具备统一的资源管理技术,利用容器化技术,对外弹性提供数据库作为服务,应用为数据而生,数据更重,应用较轻,星环科技数据云产品领先业界一代;
2020年,星环科技提出多模型数据平台,利用统一语言、计算、存储、资源重构大数据软件栈,在一个平台上支持十种数据模型,有效降低数据开发和运维的难度,极大提升用户开发效率。随着多种数据模型融合在一起,访问语言产生了革命性的变化,SQL语言拓展、延伸到不同结构数据上面,能够用同样的语言访问不同数据结构,统一的多模平台,可以支撑更多新应用的产生。
同年星环科技提出联邦数据云概念,针对多数据中心、跨国数据中心而言,在资源层、数据层、计算层、机器学习层联邦化。部署结构也从早年间的星型结构,发展为雪花型。
进入2022年,我们来到了融合数据云的时代。融合数据云是指在按数据域组织的分布式数据云的技术架构基础上进行统筹管理、协同运营、服务融合以形成可协同一致,自由组合,灵活部署的一种新型数据分析模式。数据可以如血液一般,以安全、可信的方式即时流动到合适的地方,流给需要的人。
融合数据云时代的特征
融合数据云是以网格结构进行部署,它主要具备流动、开放、轻量、统管四大特点,即以数据的实时流动取代以往准实时和离线的批量处理;以数据的共享和开放激发数据作为生产力的最大价值;以轻量化的数据分析应用部署模式取代以往反复冗长的开发过程;以横跨多种部署结构、IaaS层及物理资源的统管方式打破各数据平台及底层物理资源的管理壁垒。
流动:数据只有流动才能产生价值,数据流动的速度越快,产生的价值越大。融合数据云以数据主动流动的方式取代了以往数据被动被采集入湖的方式(只能做到准实时或离线分析加工),将数据分析的效率大大提升。数据的流动需要建立在安全可信的基础之上,再即时地流动到合适的地方,流给需要的人。
开放:作为生产要素的数据,只有开放和共享才能使得价值最大化。数据的交易和流通已成为推动生产力的重要因素。
轻量:分析变得越来越轻量化,对于按需生成和随时部署的需求也在不断扩大。因此需要有统一的语言和应用开发方式,即时、按需地产生分析应用。
统管:融合数据云需要横跨企业边缘端、私有云、公有云、混合云,同时覆盖传统数据库和现代数据平台架构。 对于企业而言,融合数据云能够横跨和统管不同的部署结构、IaaS层或物理资源,第一时间调动底层资源承接上层的数据应用。
对于融合数据云而言,数据将被存储于多模型的数据库中,并且以网络结构的方式部署和流动。数据域可独立或两两组合成融合数据域,具备部署、模型、分析、智能等多维属性,通过互联管控实现协同工作,数据流动。网格结构是数据流动的基础,代表了云边端等多种部署维度以及数据业务化过程中的价值转换维度所构建网格结构,数据在各数据域间的流动带动了数据价值的活跃度。企业可以根据云边端等数据资源环境、时序/对象/图片/文档/图数据等企业数据模型、湖仓集等存储结构建立三维立体的数据域,并形成企业级的网格结构,为数据的流通创造合规的路径和价值创造的前提基础。在融合数据云下的数据,能够在不同的数据平台间即时流动,数据流从低到高,为企业不断涌现数据价值,而从高到低,又为企业的分析应用部署,提供了应需而生的响应速度。
数据连接一切,星环科技以引领行业技术发展和助力各行各业数字化转型为使命,期望通过数据全生命周期的基础软件与服务,为企业搭建数字化转型的数字底座,保障数据的安全和顺畅流通;以自研技术和产品积极落地IT基础设施的国产化替代,满足用户多方面数据智能需求,助力各行各业企业数字化转型。
对开源或国外产品的替代
星环科技的自主研发比例在大幅度提升,性能更优,速度更快,功能更强大,并且开始更多的替代国外产品。
大数据平台方面,星环科技早就实现了诸多替代CDH的案例,包括cloudera和Hortoworks合并后的Cloudera Data Platform和Cloudera Data cloud,星环科技的产品能够提供更多模型支持,提供统一接口和更好的SQL兼容性。
分布式数据库方面,星环科技产品可以兼容Oracle、Teratada、DB2,整合了Cypher语言,并用容器化技术实现更好的租户隔离,保守来讲性能提升2-10倍。星环科技KunDB在OLAP场景、MySQL的应用场景中已经能够取代MySQL和Oracle,ArgoDB取代Oracle、DB2和Teradata建设数据仓库,并在多个用户中完整替代了Teradata。
图分析方面,星环科技图数据库库StellarDB在中信证券等客户中,取代开源的或者商用版的Neo4j,StellarDB可以处理更大规模的图数据。
搜索引擎方面,完全自研的Scope搜索引擎可以替代Elasticsearch,经过比较,Scope集群规模可以达到几百个节点,远远大于Elasticsearch的几十个节点数量。
数据科学方面,Sophon Base机器学习建模工具,可以取代SaaS、SPS等统计分析软件,Sophon Base主要特点是在MLops把整个机器学习流程进行优化了,从特征工程到模拟训练、模型上线、模型评估到改进,有一套完整的工具集。星环科技提供了更多的分布式机器学习的算法和框架,也用更开放的态度,鼓励大家尝试使用星环的一系列技术软件。因此星环科技此次推出了轻量化的TDH社区版,免费供高校和科研机构方便地使用大数据技术。
(数字化企业网)