您的位置 首页 智能

从初创到顶级技术公司,都在用哪些数据科学技术栈?

medium上的一位博主最近与数据工程师、数据科学家和分析师交流后,总结了技术栈信息,并分享了每个部分都有哪些最常使用的栈,至于云服务选择、容器、CI/CD工具等应用和模型部署相关的技术,就留给工程师和…

beplay安卓下载生活网是立足beplay安卓下载面向全国融新闻资讯,体育赛事,娱乐八卦,IT科技,财经资讯,公益资讯,旅游资讯,教育资讯等知识性和娱乐性、服务性于一体的综合性门户网站。本站致力于为广大网民提供最新最及时的新闻热点资讯。

大数据文摘出品

来源:medium

编译:睡不着的iris

说到技术栈,你能想到什么?

组织在构建自己专属的技术栈时,会使用到各种不同的相似技术。但也存在一些趋势,如果你正在组建一个新的团队、组织或公司的时候,一开始你可能需要效仿某个现成的技术栈,再依据需求来构建自己的技术栈,还需要对一些过时的技术进行升级。

medium上的一位博主最近与数据工程师、数据科学家和分析师交流后,总结了技术栈信息,并分享了每个部分都有哪些最常使用的栈,至于云服务选择、容器、CI/CD工具等应用和模型部署相关的技术,就留给工程师和DevOps伙伴们来探索。

一起看看。

公司A—SaaS创业公司

数据库:MySQL

数据仓库:PostgreSQL, Snowflake

ETL:Embulk, Python, Airflow

可视化:Redash, Metabase

人工智能/机器学习:暂无

公司B—AI创业公司

数据库:PostgreSQL

数据仓库:PostgreSQL + Stitch

ETL:大量使用Python

可视化:Matplotlib, TensorBoard (sorta?)

展开全文

人工智能/机器学习:无处不在的TensorFlow,部分Sklearn或开始尝试使用

公司C—中型技术公司

数据库:MongoDB (NoSQL), 或迁移至 DynamoDB (NoSQL)

数据仓库:Amazon Redshif

ETL:Airflow, Python

可视化:什么都有一些

人工智能/机器学习:投入可观

公司D—大量分析需求的大型组织

数据库:SQL Server (几乎钟情于Azure SQL DB)

数据仓库:Azure Synapse (SQL DW), Snowflake

ETL:Azure Data Factory, Python

可视化:Tableau, Power BI

分析:什么都有一点

人工智能/机器学习:什么都有一点

公司E—较少分析需求的大型组织

数据库:Redis, SQL Server

数据仓库:Azure Databricks (Spark)

ETL:Azure Data Factory, Python

可视化:Redash

人工智能/机器学习:随机一次性使用,或依据用户偏好来

公司F—中型数据公司

数据库:MySQL(其他基本用的很少)

数据仓库:Hive (以Hive为主,其他随意)

ETL:50 种不同工具 (有些夸张,但真没什么结构)

可视化:使用各种主流可视化工具

人工智能/机器学习:什么都有,看用户偏好

公司G—技术公司(顶尖数据文化)

数据库:MySQL, Cassandra (NoSQL), 定制其他数据库

数据仓库:Hadoop&定制/从头开始构建

ETL:各种用例所需的栈都不同,该公司对技术栈选型所考虑的因素比较多……最终自己开发了不少ETL工具,或使用现成的工具

可视化:常用的有Python库、R和Tableau,但也会自己开发一些工具,并将工具开源

人工智能/机器学习:采用TensorFlow框架实现深度学习,常见的机器学习标准库,自行开发各类用于模型管理、追踪指标的工具

最高效的方法是直接效仿,但你得搞清楚他们都能帮忙你做什么,才可以用好。比如同是学习勒布朗·詹姆斯电影,你可能成为一个好的篮球选手,你可以花费大量时间来研究他的比赛,或模仿他的比赛方式来提升球技,但你终究不是詹姆斯。如果你和我一样,远没有詹姆斯那样的超能力,也不能跳过天花板,你就需要研究如何在比赛中表现得更好,变得更加优秀。

需要注意的是,很多技术我都没有列出,你可能也发现了其中缺少一些流行的技术,例如Impala(Hadoop引擎)、Rapidminer(分析工具)、R(编程语言)、PyTorch(机器学习库)等。如果你没有看到自己喜欢的技术,请不要生气,这只能说明我只访谈了小部分人,他们没有用到这些技术。

相关报道:

https://towardsdatascience.com/some-common-data-science-stacks-7525477c0dd0

beplay安卓下载生活网所有文章均来源于网络,文章所涉观点及言论不代表本站立场,如文章有侵犯他人权利,请联系我们删除,转载请注明出处http://www.gl879.com/tech/zn/150184/

为您推荐

返回顶部

友情链接: