大数据软件开发是什么,大数据开发是做什么的公司(java大数据开发是做什么的) 这都可以

 2022-11-07    17  

基本上每一小厂里面都有独立于业务、产品、西门子公司的大数据合作开发工程项目组,我们一般管他们叫BI,BI工程项目组的组织工作职能有许多,但首先得搜集数据,并展开可视化。

数据源于公司面向全国用户或者客户的产品。用户采用淘宝网购、采用缴付宝退款、采用微信闲聊、采用抖音刷视频、采用头条新闻看新闻,客户采用钉钉或企业微信闲聊时,会下载、点选、买回、缴付、评论,想想每一产品每晚都有几百万的用户在采用,每两个行业单厢被软件技师搜集、储存,这会产生大量的数据。

那些数据各式各样,举两个例子:

1、手机淘宝的用户XXX在618会议厅点选了XXX货品,步入货品详情页,下载了XXX秒后下了单。

2、抖音用户XXX在社会热点电视频道点选播映了XXX小视频,播映了80%后选择退出,并给视频点了赞。

3、微信用户XXX早上8早晨第一次步入微信,先是在主页停留了10五分钟,接下来步入了朋友圈,下载了100条信息,接着选择退出。

软件技师在搜集那些数据时能把当时的语句信息全部一起收集,这会让数据中的信息量很丰富,但同时也杂乱,有的是甚至因为软件系统问题而参杂了毫无关系的信息。BI的组织工作就是将那些数据中的毫无关系信息冲洗掉,将有效信息按不同业务展开可视化。像下面的那些笔记,经过BI的处理后,会逐步形成一张张形式化的数据表,用户买回行为表、用户观看行为表、用户互动行为表等。

有了那些最基础的,以业务为模块的数据表后,就可以在下面展开数据合作开发组织工作了。一般BI工程项目组支撑的情景有两大类:

第一,面向全国USR提供数据分析服务。主要是公司管理层、各业务职能部门顾问等。CEO可能将是以月为单位关注公司的投资收益、用户如有核心分项;业务职能部门顾问可能将是以鲁让县层次关注自己所负责业务的核心分项,比如说,淘宝的用户下载货品量、点选转化、Viluppuram转化、退款转化、缴付转化、退款退货率等等,抖音用户的每晚打开单次、视频播映量、播映时数、视频互动单次、视频撷取量等。

第二,日常生活业务工程项目全力支持。公司内日常生活的许多工程项目都需要加进BI全力支持,比如说微信要新上两个“笑了笑”机能,在产品设计阶段就会给BI提数据需求,提出要统计的数据,像“笑了笑”上架后的用户采用量、采用单次、聊天室情景采用量、单聊采用量、各地理区域在采用上的差别分析等。软件技师在合作开发产品时能做数据搜集机能,等产品上架时,BI就要把搜集回来的数据做冲洗、可视化,接着逐步形成财务报表供产品经理分析这个机能是否达到了预期的效果。

现在做事情都讲究数据驱动决策,但BI在公司内的一般说来并不高,可能将两个几百号人的合作开发工程项目组才配置两个BI,况且BI还要为优先更高的管理层、业务顾问等服务。这就导致在农村基层做工程项目时BI资源往往十分短缺,给他们提数据需求时响应特别慢。所以大家就绞尽脑汁。

一般情况下,只要不是处理出来特别复杂的数据需求,参与工程项目的软件合作开发技师自己就把数据分析组织工作给干了。数据的冲洗、可视化说出来高大上,真正破冰时就是写大量的SQL。软件技师自己申请一下数据平台的权限,自己上去合作开发SQL跑一跑就出来了。

我自己以后就经常干这种事。我是个创业业务,数据量不大,每晚几十万条数据而已,BI最不愿意全力支持这种业务了,数据量小、而作为独立业务需求量一点也不少,他们不容易出成绩。我以前说过,数据规模越大,越容易从数据角度发挥出价值来。既然BI不全力支持,那我就自己搞喽,申请数据平台权限,自己冲洗数据,自己可视化,自己做财务报表。

农村基层的运营岗位除了看一些比较固定的分析财务报表外,也往往会有许多个性化的需求。比如说,抖音的日活跃用户数、视频播映平均时如有常用分项,BI肯定会做财务报表的,大家单厢有的是通用需求嘛。但个性化的需求量就很大了,今天你提两个,明天他提两个,关键BI给做出来后可能将你就瞅几天就不用了,这种需求BI就很容易拒接。

这种情况下,就有些强悍的运营人员自己申请数据平台权限去写SQL了,按照自己的需求随意分析。所以你看,只要在IT圈中,不管你以后要从事什么工种,多点两个技能树总是没有坏处的。

说到这里,可能将有人很好奇,既然BI这么短缺,公司为什么

不多配一些?这不正是我们大数据专业学生的机会么?

错!

首先,公司做事会永远让农村基层保持饥饿状态,就是资源往往很短缺,但又不会造成太大的影响,这样才能让大家卷出来,更大程度上挖掘自己的潜力嘛。

再次,在整个业务的链路中,BI可以提供的价值很薄弱。就像我在下面讲到的,除了可视化这件事,软件技师不经常做会有点生之外,其它都是软件技师能搞定的。

最后,如果你选择了两个没有站在业务核心价值环节上的岗位,你的待遇、就业选择空间、发展空间就会比较小。就拿BI来说,最起码中型以上的公司才会设置这个岗位。

这里再提两个八卦:小厂中,BI和算法经常会打架。

我们刚才提到,BI的组织工作中,除了数据可视化之外,其它的都是可被软件技师轻易替代的。那数据可视化还有哪个岗位比较强悍呢?当然是算法了!如果你是个创新业务还没有多少业务量,那你去提需求的时候,BI和算法当然都不搭理你,但如果你是核心业务,需要可视化,接着工程化做出一些类似智能推荐之类产品的时候,那数据和算法就会一拥而上互相撕了。

当然,涉及到可视化,作为软件技师,我认为还是算法比较专业的,至于其它的常规数据处理组织工作嘛,软件技师自己也能搞定的。

原文链接:https://zazhiba.com.cn/post/16671.html

=========================================

https://zazhiba.com.cn/ 为 “自由随风” 唯一官方服务平台,请勿相信其他任何渠道。