- 目錄
崗位職責(zé)是什么
數(shù)據(jù)工,是企業(yè)數(shù)據(jù)處理團(tuán)隊中的關(guān)鍵角色,主要負(fù)責(zé)收集、整理、分析和解讀各類業(yè)務(wù)數(shù)據(jù),為企業(yè)的決策制定提供有力的數(shù)據(jù)支持。
崗位職責(zé)要求
1. 熟練掌握數(shù)據(jù)分析工具,如excel、sql、python等,具備數(shù)據(jù)清洗、預(yù)處理和建模的能力。
2. 具備良好的統(tǒng)計學(xué)知識,能理解和應(yīng)用相關(guān)統(tǒng)計方法進(jìn)行數(shù)據(jù)挖掘。
3. 對業(yè)務(wù)流程有深入理解,能將業(yè)務(wù)問題轉(zhuǎn)化為數(shù)據(jù)問題并進(jìn)行解答。
4. 注重細(xì)節(jié),確保數(shù)據(jù)的準(zhǔn)確性和完整性。
5. 良好的溝通技巧,能以清晰易懂的方式呈現(xiàn)復(fù)雜的數(shù)據(jù)洞察。
崗位職責(zé)描述
數(shù)據(jù)工的工作日常涉及到對海量數(shù)據(jù)的處理,從多個來源整合數(shù)據(jù),消除數(shù)據(jù)不一致性,構(gòu)建數(shù)據(jù)倉庫或數(shù)據(jù)湖。他們需要對數(shù)據(jù)進(jìn)行深度分析,發(fā)現(xiàn)潛在的模式、趨勢和關(guān)聯(lián),為管理層提供戰(zhàn)略性的見解。此外,他們還需要監(jiān)控數(shù)據(jù)質(zhì)量,及時發(fā)現(xiàn)并解決數(shù)據(jù)問題,保證數(shù)據(jù)驅(qū)動的決策過程的可靠性。
有哪些內(nèi)容
1. 數(shù)據(jù)采集與整理:從內(nèi)部系統(tǒng)、外部api或其他數(shù)據(jù)源收集數(shù)據(jù),進(jìn)行數(shù)據(jù)清洗和格式化,確保數(shù)據(jù)可用性。
2. 數(shù)據(jù)分析:運用統(tǒng)計學(xué)方法和數(shù)據(jù)挖掘技術(shù),對數(shù)據(jù)進(jìn)行探索性分析,發(fā)現(xiàn)業(yè)務(wù)洞察。
3. 報告撰寫:創(chuàng)建數(shù)據(jù)報告和可視化圖表,以直觀的方式展示分析結(jié)果,幫助管理層理解數(shù)據(jù)背后的故事。
4. 項目協(xié)作:與業(yè)務(wù)部門、it部門和其他數(shù)據(jù)團(tuán)隊緊密合作,確保數(shù)據(jù)需求得到滿足,同時推動數(shù)據(jù)驅(qū)動的改進(jìn)措施。
5. 系統(tǒng)維護(hù):維護(hù)和優(yōu)化數(shù)據(jù)基礎(chǔ)設(shè)施,包括數(shù)據(jù)庫、數(shù)據(jù)管道和分析工具,提高數(shù)據(jù)處理效率。
6. 持續(xù)學(xué)習(xí):跟蹤最新的數(shù)據(jù)分析技術(shù)和行業(yè)動態(tài),不斷提升自身的數(shù)據(jù)分析能力,以適應(yīng)企業(yè)的發(fā)展需求。
數(shù)據(jù)工的角色在當(dāng)今數(shù)據(jù)驅(qū)動的企業(yè)環(huán)境中至關(guān)重要,他們的工作成果直接影響到企業(yè)的決策質(zhì)量和業(yè)務(wù)績效。作為數(shù)據(jù)工,不僅要具備技術(shù)能力,還需要具備業(yè)務(wù)敏感性和團(tuán)隊協(xié)作精神,以實現(xiàn)數(shù)據(jù)的最大價值。
數(shù)據(jù)工崗位職責(zé)范文
第1篇 大數(shù)據(jù)工程師崗位職責(zé)職位要求
職責(zé)描述:
華為企業(yè)bg-大數(shù)據(jù)工程師
1、基于hadoop/spark/mppdb的大數(shù)據(jù)、數(shù)倉平臺架構(gòu)設(shè)計及開發(fā)工作
2、數(shù)據(jù)處理流程設(shè)計及開發(fā)
3、海量數(shù)據(jù)的采集、存儲、管理、分析、建模
4、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉平臺的監(jiān)控及優(yōu)化,針對持續(xù)增長的數(shù)據(jù)提供相應(yīng)的解決方案
5、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉項目的疑難問題解決,性能優(yōu)化
專業(yè)知識要求:
1、有3年以上相關(guān)崗位工作經(jīng)歷,或者非金融業(yè)的數(shù)據(jù)服務(wù)或信息數(shù)據(jù)管理工作經(jīng)驗
2、數(shù)學(xué)、計算機技術(shù)等相關(guān)專業(yè)
3、精通大數(shù)據(jù)(mppdb、hadoop)等相關(guān)技術(shù),并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3個組件技術(shù)。
4、至少精通主流數(shù)據(jù)庫技術(shù)oracle/postresql/mysql/sql server中的一種,精通數(shù)據(jù)倉庫理論架構(gòu),包括但不限于數(shù)據(jù)調(diào)度、etl、元數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控;
5、精通1-2門開發(fā)語言(java/python/scala/shell)
6、具有比較突出的組織、策劃、協(xié)調(diào)及溝通能力,有強烈的結(jié)果導(dǎo)向和客戶導(dǎo)向。
崗位要求:
學(xué)歷要求:本科
語言要求:不限
年齡要求:不限
工作年限:3-5年
第2篇 erp數(shù)據(jù)工程師崗位職責(zé)erp數(shù)據(jù)工程師職責(zé)任職要求
erp數(shù)據(jù)工程師崗位職責(zé)
1.需要將原來各系統(tǒng)的數(shù)據(jù)進(jìn)行分析,整理并導(dǎo)入到erp。2.與業(yè)務(wù)部門溝通,收集需要導(dǎo)入的數(shù)據(jù)。3.有計算機軟件相關(guān)背景,熟悉系統(tǒng)維護(hù),可以幫助用戶解決日常簡單問題,懂?dāng)?shù)據(jù)庫者優(yōu)先考慮4.熟練運用e_cel5.三年左右工作經(jīng)驗,英語一般。6.工作認(rèn)真負(fù)責(zé).細(xì)致,有較強的責(zé)任心。
第3篇 python數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1.?高校數(shù)據(jù)庫的管理與維護(hù);
2.?高校數(shù)據(jù)的分析;
3.?協(xié)助開發(fā)各類數(shù)據(jù)平臺;
4.?數(shù)據(jù)清洗與入庫;
5.?完成上級安排的其他工作。
崗位要求:
1.?全日制本科以上學(xué)歷,計算機相關(guān)專業(yè),1年以上相關(guān)工作經(jīng)驗;
2.?熟悉python,全面掌握python的基本語法,基本數(shù)據(jù)結(jié)構(gòu),常用library,熟悉numpy,pandas的基本用法和功能,了解python自然語言處理;
3.熟練掌握mysql;
4.?有一定的數(shù)理統(tǒng)計基礎(chǔ),熱愛和數(shù)據(jù)打交道;
5.?認(rèn)同創(chuàng)業(yè)文化,事業(yè)心強。
第4篇 大數(shù)據(jù)工程師(電商行業(yè))職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、基于hive的數(shù)據(jù)倉庫建設(shè)、etl開發(fā);
2、使用hive/flink等平臺進(jìn)行分析內(nèi)部及外部的數(shù)據(jù),配合業(yè)務(wù)團(tuán)隊進(jìn)行定量和定性分析,把數(shù)據(jù)轉(zhuǎn)化成為業(yè)務(wù)增值的信息;
3、探索、評估新的技術(shù)和解決方案,提高數(shù)據(jù)并行計算能力和運行速度。
任職要求:
1、熟悉大數(shù)據(jù)相關(guān)技術(shù):kafka/flink/hadoop/druid/hbase 等;
2、具備數(shù)據(jù)庫系統(tǒng)理論知識,掌握主流數(shù)據(jù)庫管理和應(yīng)用,精通sql;
3、了解統(tǒng)計以及數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能技術(shù),會使用關(guān)聯(lián)分析、分類預(yù)測、聚類分析等常用分析方法;
4、熟練使用 java、python、php、go語言中的一種或者多種;
6、兩年以上大數(shù)據(jù)開發(fā)經(jīng)驗,有高性能分布式平臺開發(fā)經(jīng)驗,有電商行業(yè)經(jīng)驗優(yōu)先。
第5篇 服務(wù)器數(shù)據(jù)工程師崗位職責(zé)
服務(wù)器開發(fā)工程師(python數(shù)據(jù)方向) ihandy 北京漢迪移動互聯(lián)網(wǎng)科技股份有限公司,ihandy,ihandysoft,漢迪 ?崗位 職責(zé)
? 負(fù)責(zé)開發(fā)推薦系統(tǒng)的業(yè)務(wù)后端
? 支持各種業(yè)務(wù)開發(fā)、架構(gòu)設(shè)計和性能調(diào)優(yōu)
? 職位要求
? 精通python,有python web相關(guān)開發(fā)經(jīng)驗
? 有高并發(fā)的設(shè)計和實現(xiàn)經(jīng)驗
? 具有極強的編碼能力和工程實踐能力
? 至少熟悉一種數(shù)據(jù)庫(sql/nosql),至少熟悉一種緩存組件(redis/memcached)
? 了解推薦系統(tǒng)lambda架構(gòu)者優(yōu)先
? 有hadoop/spark等大數(shù)據(jù)處理經(jīng)驗者優(yōu)先
第6篇 大數(shù)據(jù)工程師崗位工作職責(zé)
簡介:大數(shù)據(jù)(big data),指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)工程師職位描述(模板一)
崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);
2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;
3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺的搭建、開發(fā)、維護(hù)、優(yōu)化;
4.對業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實現(xiàn)與支持;
5.對公司的“數(shù)據(jù)驅(qū)動運營”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實現(xiàn)。
任職要求:
1.計算機相關(guān)專業(yè),本科及以上學(xué)歷,3年以上java開發(fā)工作經(jīng)驗,學(xué)習(xí)能力突出;
2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經(jīng)驗,有實際大數(shù)據(jù)項目經(jīng)驗優(yōu)先;
3.熟練掌握oracle、mysql等主流數(shù)據(jù)庫;
4.精通java,熟悉基于j2ee的web架構(gòu)設(shè)計,熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經(jīng)驗;
5.熟悉linu_/uni_系統(tǒng)環(huán)境下的操作;熟悉tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;
6.具有良好的溝通能力、組織能力及團(tuán)隊協(xié)作精神,有較強的分析和解決問題的能力。大數(shù)據(jù)工程師職位描述(模板二)
崗位職責(zé):
1.大數(shù)據(jù)平臺功能規(guī)劃、設(shè)計;
2.大數(shù)據(jù)平臺的設(shè)計、研發(fā);
3.大數(shù)據(jù)平臺實施、數(shù)據(jù)接入。
任職要求:
1.統(tǒng)招本科及以上學(xué)歷,計算機科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計學(xué)相關(guān)專業(yè)畢業(yè);
2.具有扎實的java基礎(chǔ),精通sql、mysql以及2年以上軟件開發(fā)經(jīng)驗;
3.熟悉hadoop平臺架構(gòu),有hadooop、hbase、hive、spark、kafka使用經(jīng)驗;
4.熟練python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁爬取;
5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識別經(jīng)驗優(yōu)先。大數(shù)據(jù)工程師職位描述(模板三)
崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、設(shè)計、優(yōu)化和落地;
2.負(fù)責(zé)數(shù)據(jù)etl開發(fā)、數(shù)據(jù)平臺建設(shè)、設(shè)計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā)。
任職要求:
1.985院校計算機相關(guān)專業(yè)本科以上學(xué)歷;
2.有較扎實的數(shù)據(jù)倉庫理論基礎(chǔ),對數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗;
3.有hadoop、hive、spark、impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗者優(yōu)先。大數(shù)據(jù)工程師職位描述(模板四)
崗位職責(zé):
1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;
2.結(jié)合業(yè)務(wù)需求設(shè)計數(shù)據(jù)分析場景,并形成后臺實現(xiàn)方案,獨立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運營指標(biāo);
3.對產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。
任職要求:
1.計算機或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗;
2.熟練掌握java開發(fā)語言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;
3.熟悉linu_服務(wù)器環(huán)境、熟悉shell;
4.熟悉分布式系統(tǒng)、集群管理、soa架構(gòu)等相關(guān)技術(shù),熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運維經(jīng)驗更佳;
5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;
6.具有良好的溝通能力和團(tuán)隊精神,具有良好的抗壓能力。大數(shù)據(jù)工程師職位描述(模板五)
崗位職責(zé):
1.負(fù)責(zé)大數(shù)據(jù)處理平臺應(yīng)用的開發(fā)工作;
2.利用hadoop yarn/storm/spark進(jìn)行開發(fā)、存儲、分布式計算應(yīng)用的代碼實現(xiàn);
3.優(yōu)化hadoop yarn/storm/spark 參數(shù),實現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實時大數(shù)據(jù)處理需求;
4.學(xué)習(xí)新技術(shù),提高整個平臺的計算能力和效率;
5.開發(fā)基于hive、hbase、es等數(shù)據(jù)處理方式的腳本程序。
任職要求:
1.3年以上hadoop/storm/spark開發(fā)經(jīng)驗,對分布式、并行計算理論有深刻理解;
2.精通java/scala/python任一語言;
3.對hadoop/storm/spark源碼有研究,有大數(shù)據(jù)平臺開發(fā)工作經(jīng)驗者優(yōu)先;
4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;
5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊合作能力、文檔編寫能力。
第7篇 大數(shù)據(jù)工程師-廣告系統(tǒng)職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)字節(jié)跳動海量用戶行為數(shù)據(jù)的處理,在分布式計算平臺基礎(chǔ)上建立高效、實時的數(shù)據(jù) pipeline;
2、負(fù)責(zé)推薦系統(tǒng)、廣告系統(tǒng)的數(shù)據(jù)分析,發(fā)現(xiàn)模式與規(guī)律,為實驗解釋、系統(tǒng)改進(jìn)提供數(shù)據(jù)支持;
3、負(fù)責(zé) hadoop,spark 等大數(shù)據(jù)基礎(chǔ)設(shè)施和平臺的改進(jìn),解決大規(guī)模生產(chǎn)環(huán)境集群可用性和性能優(yōu)化問題。
任職要求:
1、2019屆畢業(yè),本科及以上學(xué)歷,計算機相關(guān)專業(yè);
2、熱愛計算機科學(xué)和互聯(lián)網(wǎng)技術(shù),優(yōu)秀的編碼能力,樂于快速學(xué)習(xí)和嘗試新技術(shù)、新工具;
3、對數(shù)據(jù)敏感,掌握量化分析方法,善于從數(shù)據(jù)中發(fā)現(xiàn)問題,提出假設(shè)并使用數(shù)據(jù)進(jìn)行驗證;
4、對至少一項分布式計算平臺有使用經(jīng)驗,例如 hadoop,spark,hive,storm,kafka 等;
5、有參與開源項目對社區(qū)有貢獻(xiàn)的經(jīng)歷,有互聯(lián)網(wǎng)公司實習(xí)經(jīng)歷,有大數(shù)據(jù)處理或用戶行為數(shù)據(jù)分析經(jīng)驗者優(yōu)先。
第8篇 數(shù)據(jù)工程師(data engineer)職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
建立基礎(chǔ)設(shè)施,收集大量原始數(shù)據(jù)并處理成適合分析的數(shù)據(jù)
在大量數(shù)據(jù)的基礎(chǔ)上設(shè)計和實施近實時數(shù)據(jù)應(yīng)用程序
支持業(yè)務(wù)團(tuán)隊的操作監(jiān)控請求
任職要求:
碩士/學(xué)士學(xué)位,在相關(guān)領(lǐng)域擁有1-2年的工作經(jīng)驗
熟練掌握java, python 或scala;熟練使用linu_
bash
熟悉云計算平臺(alicloud / aws)
具有大數(shù)據(jù)平臺/編程經(jīng)驗(hadoop / spark )
具有數(shù)據(jù)庫使用經(jīng)驗(oracle / mysql / mongodb),精通sql數(shù)據(jù)庫和sql編程
加分項:
良好的英語口頭和書面溝通能力
第9篇 華為大數(shù)據(jù)工程師崗位職責(zé)職位要求
職責(zé)描述:
1. 負(fù)責(zé)項目組數(shù)據(jù)挖掘、數(shù)據(jù)分析、數(shù)據(jù)建模工作,能夠按要求、高質(zhì)量地完成任務(wù);
2. 熟練掌握分析設(shè)計工具,按照規(guī)范的要求,編寫設(shè)計文檔;
3. 按照設(shè)計功能,實現(xiàn)模塊的代碼編寫和維護(hù);
4. 按照公司的規(guī)范進(jìn)行編碼,并對開發(fā)的代碼進(jìn)行單元測試;
5. 負(fù)責(zé)項目開發(fā)過程中的技術(shù)攻關(guān)及運行中出現(xiàn)的技術(shù)問題。
任職資格:
1、3年以上數(shù)據(jù)倉庫和數(shù)據(jù)建模經(jīng)驗,包括不限于:etl、dw、olap、多維數(shù)據(jù)模型等;
2、一定的數(shù)據(jù)可視分析基礎(chǔ),熟練掌握power pivot、powerbi等工具用于數(shù)據(jù)分析;
3、有ssas方案的設(shè)計或開發(fā)經(jīng)驗優(yōu)先;
4、熟練使用至少一款bi相關(guān)工具,包括tableau,powerbi,oracle biee,qlik等等。
5、理解數(shù)據(jù)倉庫和數(shù)據(jù)建模相關(guān)知識。
6、溝通能力優(yōu)秀,勤奮好學(xué),熱愛數(shù)據(jù)工作;
7、良好的團(tuán)隊精神,工作負(fù)責(zé),具有良好的職業(yè)操守。
8、本科以上學(xué)歷學(xué)位,具備cet-4/6優(yōu)先。
崗位要求:
學(xué)歷要求:本科
語言要求:不限
年齡要求:不限
工作年限:3-4年經(jīng)驗
第10篇 數(shù)據(jù)工程師(數(shù)據(jù)賦能)職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.負(fù)責(zé)開發(fā)數(shù)據(jù)處理產(chǎn)品模組;
2.負(fù)責(zé)根據(jù)數(shù)據(jù)分析師提出的開發(fā)規(guī)格,開發(fā)數(shù)據(jù)流程及數(shù)據(jù)服務(wù)接口;
3.運用 etl相關(guān)工具,負(fù)責(zé)自動化數(shù)據(jù)處理流程。
4.負(fù)責(zé)執(zhí)行數(shù)據(jù)管理策略應(yīng)用開發(fā),包含數(shù)據(jù)質(zhì)量,數(shù)據(jù)目錄,元數(shù)據(jù)管理產(chǎn)品開發(fā);
5.負(fù)責(zé)保證項目進(jìn)度,總結(jié)項目經(jīng)驗,歸納案例,實現(xiàn)經(jīng)驗共享。
任職要求:
本科畢業(yè),計算機相關(guān)專業(yè)
專業(yè)技能:
1.具備 java / python/ r 等語言開發(fā)能力, 熟練使用 etl 工具 (nifi , streamset , informatica , kettle ,sqoop等工具)
2.熟悉 hadoop,hive,hbase,mongodb, elk,spark, flink, kafka 等大數(shù)據(jù)組件,數(shù)據(jù)庫管理,data warehouse (teradata, greenplum) 等經(jīng)驗
3.熟悉 數(shù)據(jù)處理方法及流程,數(shù)據(jù)清洗,數(shù)據(jù)模型,數(shù)據(jù)管理等領(lǐng)域有相關(guān)經(jīng)驗
4 對數(shù)據(jù)敏感度高,曾開發(fā)數(shù)據(jù)服務(wù)產(chǎn)品daas 者優(yōu)先
應(yīng)知應(yīng)會:
1. 能解釋分析結(jié)果并轉(zhuǎn)換成改善方案
3. 應(yīng)用數(shù)據(jù)產(chǎn)品解決分析問題
第11篇 etl數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé):
1. 按業(yè)務(wù)分析需求進(jìn)行建模;
2. 進(jìn)行數(shù)據(jù)倉庫需求分析、方案設(shè)計、etl裝載過程設(shè)計;
3. 從業(yè)務(wù)數(shù)據(jù)庫到數(shù)據(jù)倉庫的etl開發(fā);
4. 結(jié)合業(yè)務(wù)流程和需求進(jìn)行數(shù)據(jù)分析;
任職資格:
1. 本科以上學(xué)歷,計算機等信息技術(shù)相關(guān)專業(yè);
2. 有互聯(lián)網(wǎng)金融相關(guān)工作經(jīng)驗,了解相關(guān)數(shù)據(jù)流和業(yè)務(wù)背景優(yōu)先;
3. 兩年及以上數(shù)據(jù)倉庫相關(guān)工作經(jīng)驗,對數(shù)據(jù)倉庫系統(tǒng)架構(gòu)具有良好的認(rèn)識,熟悉數(shù)據(jù)倉庫相關(guān)技術(shù),如 etl、報表開發(fā),具備數(shù)據(jù)分析技術(shù)并具有相關(guān)項目經(jīng)驗;
4. 具有hive、spark、mysql、oracle等至少一種大型數(shù)據(jù)庫的應(yīng)用開發(fā)經(jīng)驗,熟悉數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理;
5. 具備python統(tǒng)計和數(shù)據(jù)挖掘相關(guān)基本開發(fā)能力;
6. 溝通能力好,善于規(guī)劃和總結(jié),注重團(tuán)隊合作及知識共享,能承擔(dān)一定的工作壓力;
第12篇 金融數(shù)據(jù)工程師崗位職責(zé)
資深數(shù)據(jù)開發(fā)工程師-網(wǎng)易金融032 網(wǎng)易集團(tuán) 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司,杭州網(wǎng)易,網(wǎng)易,網(wǎng)易杭州,網(wǎng)易游戲,網(wǎng)易網(wǎng)絡(luò),網(wǎng)易集團(tuán),網(wǎng)易 工作職責(zé):
1. 根據(jù)業(yè)務(wù)狀況構(gòu)建數(shù)據(jù)倉庫體系和數(shù)據(jù)指標(biāo)體系,為信貸風(fēng)控業(yè)務(wù)提供數(shù)據(jù)和框架支持;
2. 沉淀算法和數(shù)據(jù)分析思路, 提煉數(shù)據(jù)產(chǎn)品需求, 協(xié)作并推動數(shù)據(jù)產(chǎn)品的落地 ;
3. 與相關(guān)團(tuán)隊協(xié)作進(jìn)行數(shù)據(jù)建模工作,推動業(yè)務(wù)部門的數(shù)據(jù)化運營。
任職要求:
1.熟練掌握sql,掌握python/java/scala至少一門編程語言,熟練掌握hive、spark等大數(shù)據(jù)工具,有數(shù)據(jù)倉庫、數(shù)據(jù)分析的工作經(jīng)驗;
2.熟悉數(shù)據(jù)倉庫模型設(shè)計 ,掌握常用數(shù)據(jù)建模方法,具備海量數(shù)據(jù)加工處理(etl)相關(guān)經(jīng)驗;
3.較好的業(yè)務(wù)理解能力,良好的語言溝通與表達(dá)能力;
4.熱愛技術(shù),勤于鉆研,追求極致;
5.良好的技術(shù)視野,能適應(yīng)新業(yè)務(wù)新技術(shù)快速的發(fā)展變更,對新業(yè)務(wù)/新技術(shù)有持續(xù)學(xué)習(xí)的熱情;
6.優(yōu)秀的分析問題解決問題能力,喜歡挑戰(zhàn)自己,良好的溝通能力。
第13篇 高級數(shù)據(jù)工程師(數(shù)倉方向)職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1.負(fù)責(zé)全司數(shù)據(jù)的數(shù)據(jù)調(diào)研,數(shù)據(jù)模型設(shè)計,etl開發(fā),任務(wù)監(jiān)控和優(yōu)化等
2.負(fù)責(zé)數(shù)據(jù)倉庫多場景的基礎(chǔ)服務(wù)層建設(shè),如多維分析,即席查詢,實時推送等
3.負(fù)責(zé)基于數(shù)據(jù)倉庫之上的數(shù)據(jù)中臺建設(shè),如數(shù)據(jù)管控系統(tǒng),特征工程,指標(biāo)庫等數(shù)據(jù)分析相關(guān)的通用服務(wù)
4.負(fù)責(zé)數(shù)據(jù)管理共享系統(tǒng)的設(shè)計,開發(fā)和實施;
任職資格:
1、計算機、數(shù)學(xué)相關(guān)專業(yè)全日制本科以上學(xué)歷;
2、熟悉數(shù)據(jù)治理方法論,了解數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型和元數(shù)據(jù)管理等相關(guān)技術(shù)
3、5年以上具備大型數(shù)據(jù)倉庫架構(gòu)設(shè)計(離線&實時)、模型設(shè)計、etl設(shè)計的相關(guān)經(jīng)驗
4、要求至少精通一種主流的etl產(chǎn)品,如:datastage或infomatica
5、精通oracle存儲過程的開發(fā)
6、具有豐富的etl實施經(jīng)驗,熟悉金融投資行業(yè)優(yōu)先
第14篇 數(shù)據(jù)工程師-企業(yè)saas應(yīng)用職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、根據(jù)不同的業(yè)務(wù)場景,構(gòu)建業(yè)務(wù)指標(biāo)體系,建立和完善日常業(yè)務(wù)報告體系,能夠及時、準(zhǔn)確、完整的披露公司整體及各項目的運作情況;
2、參與數(shù)據(jù)倉庫架構(gòu)設(shè)計與數(shù)據(jù)開發(fā),建設(shè)共享數(shù)據(jù)倉庫;
3、通過專項分析,輸出專項分析報告,為業(yè)務(wù)模塊的決策和產(chǎn)品方向提供數(shù)據(jù)支持;
4、參與數(shù)據(jù)底層的工具、平臺、部署流程等技術(shù)體系建設(shè)的研發(fā)工作。
任職要求:
1、本科及以上學(xué)歷;
2、熟悉數(shù)據(jù)倉庫模型設(shè)計方法論,并有實際模型設(shè)計及etl開發(fā)經(jīng)驗;
3、掌握大型數(shù)據(jù)庫開發(fā)技術(shù),如oracle、teradata、db2、mysql等等掌握至少一種,靈活運用sql實現(xiàn)海量數(shù)據(jù)etl加工處理與查詢性能調(diào)優(yōu);
4、熟悉常用的數(shù)據(jù)挖掘、分析的工具和方法,有數(shù)據(jù)挖掘工作經(jīng)驗;熟悉linu_平臺,精通shell/c(c++)/php/python/等腳本語言的一種或多種,編碼基本功扎實;
5、具備快速學(xué)習(xí)能力、溝通協(xié)調(diào)能力及團(tuán)隊精神,有較強的責(zé)任心和學(xué)習(xí)積極性。
第15篇 高級大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1、參與大數(shù)據(jù)開放平臺基礎(chǔ)能力建設(shè),承擔(dān)系統(tǒng)架構(gòu)、組件開發(fā)、方案驗證等工作;
2、參與構(gòu)建大數(shù)據(jù)系列產(chǎn)品,包括但不限于用戶畫像、用戶增長與用戶經(jīng)營、數(shù)據(jù)分析挖掘、實時計算、數(shù)據(jù)分發(fā)、機器學(xué)習(xí)平臺、風(fēng)控反欺詐等產(chǎn)品線;
任職要求:
1、 統(tǒng)招本科或以上學(xué)歷,5年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗;
2、扎實的java基礎(chǔ),能熟練使用java進(jìn)行軟件功能開發(fā);
3、熟練掌握基于hadoop生態(tài)的大數(shù)據(jù)開發(fā)工具,包括hive、spark、hbase、sqoop、es、impala、flink、storm等,有實時系統(tǒng)開發(fā)經(jīng)驗優(yōu)先;
4、熟悉常用的數(shù)據(jù)挖掘算法,例如聚類、回歸、決策樹等,有過nlp項目經(jīng)驗優(yōu)先;
5、有過互聯(lián)網(wǎng)公司數(shù)據(jù)倉庫、分析系統(tǒng)、用戶畫像、廣告平臺等產(chǎn)品開發(fā)經(jīng)驗者優(yōu)先;
6、工作積極主動,善于合作,敏而好學(xué);
第16篇 中級數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
(1)對測試過程中采集的測試數(shù)據(jù),依據(jù)標(biāo)準(zhǔn)進(jìn)行檢查與反饋,對不合格數(shù)據(jù)及時給出整改意見;項目結(jié)項后,對數(shù)據(jù)進(jìn)行整理入庫。
(2)依據(jù)測試方案,依托測試系統(tǒng)與工具,對測試數(shù)據(jù)進(jìn)行分析,結(jié)合分析結(jié)果編制測試報告;對數(shù)據(jù)分析中出現(xiàn)的問題,與系統(tǒng)部、標(biāo)準(zhǔn)部進(jìn)行溝通,及時解決。
(3)依據(jù)測試計劃,按照測試流程,進(jìn)行日常測試工作,包括但不限于:測試前技術(shù)交底,測試設(shè)備和測試場地準(zhǔn)備與定期維護(hù)和檢查,客戶進(jìn)場與離場登記與檢查等。
(4)依據(jù)測試方案,構(gòu)建測試場景環(huán)境,實施測試執(zhí)行,包括但不限于:試驗前搭建、調(diào)試設(shè)備;試驗中記錄測試數(shù)據(jù);試驗后進(jìn)行數(shù)據(jù)分析等。
任職要求:
教育背景:
(1)計算機、軟件、應(yīng)用數(shù)據(jù)、統(tǒng)計學(xué)及相關(guān)專業(yè)畢業(yè);
(2)正規(guī)大學(xué)全日制本科及以上學(xué)歷,985、211優(yōu)先。
基本技能:
(1)word、powerpoint、e_cel熟練運用;
(2)c1以上駕駛執(zhí)照,并熟練駕駛2年以上。
工作經(jīng)驗:
(1)1年以上工作經(jīng)驗;
專業(yè)技能:
(1)熟悉數(shù)據(jù)分析的基本概念和方法,熟練使用技術(shù)手段進(jìn)行數(shù)據(jù)分析和挖掘,熟悉數(shù)據(jù)挖掘及機器學(xué)習(xí)算法,能夠熟練運用數(shù)據(jù)挖掘技術(shù)對數(shù)據(jù)進(jìn)行分析處理,并從數(shù)據(jù)中提取有價值的信息;
(2)會使用(包括培訓(xùn)后能獨立使用)測試場地內(nèi)的各類設(shè)施、設(shè)備與系統(tǒng),包含但不限于交通信號系統(tǒng)、雨霧模擬設(shè)備、高精度定位數(shù)采設(shè)備,abd與4a相關(guān)設(shè)備等;
(3)良好的溝通協(xié)調(diào)能力,較強的執(zhí)行力;
(4)會使用matlab、r、python等任何一種語言,有技術(shù)開發(fā)背景優(yōu)先;
(5)有汽車領(lǐng)域測試咨詢從業(yè)背景,汽車測試、檢測與認(rèn)證從業(yè)經(jīng)驗優(yōu)先;
工作態(tài)度:
(1)好學(xué)上進(jìn),耐心細(xì)致,有責(zé)任心;
(2)工作勤奮,善于思考問題;
(3)有時間觀念,獨立性強,具有團(tuán)隊合作精神。
第17篇 流媒體大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)直播端及服務(wù)端海量用戶行為數(shù)據(jù)的加工處理,數(shù)據(jù)洞察驅(qū)動業(yè)務(wù)優(yōu)化;
2、打造業(yè)界領(lǐng)先的大數(shù)據(jù)平臺,支撐數(shù)據(jù)采集,加工,建模,分析,實驗,可視化的全流程;
3、打造業(yè)界領(lǐng)先的分布式計算,存儲系統(tǒng),解決大規(guī)模生產(chǎn)環(huán)境集群可用性和性能優(yōu)化問題。
任職要求:
1、熱愛計算機科學(xué)和互聯(lián)網(wǎng)技術(shù),優(yōu)秀的編碼能力,樂于快速學(xué)習(xí)和嘗試新技術(shù)、新工具;
2、對開源大數(shù)據(jù)系統(tǒng)有相關(guān)經(jīng)驗者優(yōu)先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;
3、對數(shù)據(jù)敏感,掌握量化分析方法,善于從數(shù)據(jù)中發(fā)現(xiàn)問題者優(yōu)先。
第18篇 gis數(shù)據(jù)工程師崗位職責(zé)
gis 大數(shù)據(jù)平臺研發(fā)工程師 崗位職責(zé):
1、gis大數(shù)據(jù)平臺、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)開發(fā);
2、基于大數(shù)據(jù)的數(shù)據(jù)倉庫架構(gòu)設(shè)計和開發(fā);
3、gis應(yīng)用系統(tǒng)開發(fā)。
4、產(chǎn)品迭代、質(zhì)量、流程的把控
任職資格:
1、計算機相關(guān)專業(yè)本科以上學(xué)歷,二年以上java 或 asp.net web應(yīng)用軟件開發(fā)經(jīng)驗;
2、對虛擬機及l(fā)inu_下的開發(fā)環(huán)境有較深厚的開發(fā)經(jīng)驗;
3、熟練使用mysql及postgresql,對數(shù)據(jù)庫有較強的設(shè)計能力,同時熟悉大數(shù)據(jù)相關(guān)技術(shù);
4、熟悉javascript、html、css等web前端常用開發(fā)技術(shù);
5、精通servlet、spring、hibernate、ibatis開發(fā), 熟悉maven,熟悉tomcat、ngin_等應(yīng)用服務(wù)器,熟悉高并發(fā)處下的性能優(yōu)化;
6、熟悉hadoop(hdfs/mapreduce/hive)、spark、hbase等類框架技術(shù),大數(shù)據(jù)產(chǎn)品開發(fā)、數(shù)據(jù)倉庫建設(shè)經(jīng)驗者。
7、熟悉arcgis、geoserver、openlayer等gis相關(guān)技術(shù)者;
8、具有良好的溝通,團(tuán)隊協(xié)作、計劃和創(chuàng)新的能力。 崗位職責(zé):
1、gis大數(shù)據(jù)平臺、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)開發(fā);
2、基于大數(shù)據(jù)的數(shù)據(jù)倉庫架構(gòu)設(shè)計和開發(fā);
3、gis應(yīng)用系統(tǒng)開發(fā)。
4、產(chǎn)品迭代、質(zhì)量、流程的把控
任職資格:
1、計算機相關(guān)專業(yè)本科以上學(xué)歷,二年以上java 或 asp.net web應(yīng)用軟件開發(fā)經(jīng)驗;
2、對虛擬機及l(fā)inu_下的開發(fā)環(huán)境有較深厚的開發(fā)經(jīng)驗;
3、熟練使用mysql及postgresql,對數(shù)據(jù)庫有較強的設(shè)計能力,同時熟悉大數(shù)據(jù)相關(guān)技術(shù);
4、熟悉javascript、html、css等web前端常用開發(fā)技術(shù);
5、精通servlet、spring、hibernate、ibatis開發(fā), 熟悉maven,熟悉tomcat、ngin_等應(yīng)用服務(wù)器,熟悉高并發(fā)處下的性能優(yōu)化;
6、熟悉hadoop(hdfs/mapreduce/hive)、spark、hbase等類框架技術(shù),大數(shù)據(jù)產(chǎn)品開發(fā)、數(shù)據(jù)倉庫建設(shè)經(jīng)驗者。
7、熟悉arcgis、geoserver、openlayer等gis相關(guān)技術(shù)者;
8、具有良好的溝通,團(tuán)隊協(xié)作、計劃和創(chuàng)新的能力。
第19篇 大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
這是一個為商業(yè)人工智能領(lǐng)域構(gòu)建實時大數(shù)據(jù)分析平臺的工作機會。我們希望您具備計算機科學(xué)或者相關(guān)專業(yè)領(lǐng)域的專業(yè)背景,并擁有構(gòu)建分布式可擴展數(shù)據(jù)處理及大數(shù)據(jù)存儲方面的豐富經(jīng)驗。您將擔(dān)任跨職能的團(tuán)隊中的重要角色。我們希望您斗志昂揚,注重結(jié)果,積極主動,具備推動產(chǎn)品的增長和成功的成功經(jīng)驗。
工作職責(zé)
?在云端或者本地集群上構(gòu)建可擴展的實時數(shù)據(jù)處理流水線,收集、轉(zhuǎn)換、加載并管理各類數(shù)據(jù)源
?構(gòu)建可擴展的分布式數(shù)據(jù)存儲
?確保所構(gòu)建的數(shù)據(jù)處理管道具有高質(zhì)量并可審計
?開發(fā)相關(guān)工具以優(yōu)化數(shù)據(jù)的提取、分析及可視化效率
?評估數(shù)據(jù)工程領(lǐng)域的新技術(shù),并開發(fā)原型,以持續(xù)改善工作
?與框架和其他團(tuán)隊合作,確保系統(tǒng)運行符合設(shè)計預(yù)期
工作要求
?全日制碩士以上學(xué)歷,計算機相關(guān)專業(yè),cet6
?具備大數(shù)據(jù)相關(guān)技術(shù)例如spark, kafka, hadoop, hbase, hive等的豐富經(jīng)驗
?具備五年以上java、scala、python相關(guān)工作經(jīng)驗,mysql, redshift等sql相關(guān)經(jīng)驗
?具備三年以上可擴展實時etl開發(fā)經(jīng)驗
?熟悉azure/aws/gcp相關(guān)工具與知識
?良好的書面/口頭溝通技巧
?具備機器學(xué)習(xí)算法方面工作經(jīng)驗者優(yōu)先
第20篇 數(shù)據(jù)工程師-bj職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、基于每日百億級展現(xiàn)數(shù)據(jù),搭建大數(shù)據(jù)處理平臺;實現(xiàn)流式事件的實時計算,落地儲存。對于離線數(shù)據(jù)完成數(shù)據(jù)倉庫的建立,為數(shù)據(jù)挖掘提供有效的數(shù)據(jù);
2、使用用戶行為數(shù)據(jù),廣告投放數(shù)據(jù),挖掘數(shù)據(jù)層次關(guān)系,分析媒體.流量.廣告主等數(shù)據(jù)來提高變現(xiàn)效率;
3、數(shù)據(jù)分析,挖掘,模型具體的產(chǎn)品化;了解廣告業(yè)務(wù),能和pm合作,基于數(shù)據(jù)驅(qū)動持續(xù)優(yōu)化數(shù)據(jù)產(chǎn)品。
任職資格:
1、熟悉c++、java、python中的一種或多種編程技術(shù),編程能力強,熟悉大數(shù)據(jù)處理技術(shù),善于學(xué)習(xí)應(yīng)用業(yè)界領(lǐng)先數(shù)據(jù)架構(gòu)和技術(shù);
2、對大數(shù)據(jù)開源組件有使用經(jīng)驗,對hadoop/hive/spark/es/druid 其中一項精通;
3、熟悉數(shù)據(jù)挖掘算法,包括數(shù)據(jù)清洗.統(tǒng)計學(xué)習(xí).分類聚類算法,并能夠驗證算法效果,將算法應(yīng)用在廣告業(yè)務(wù)中;
4、善于學(xué)習(xí),思維活躍,善于從數(shù)據(jù)中發(fā)現(xiàn).思考并解決問題;
5、有廣告研發(fā)經(jīng)驗者優(yōu)先,對廣告行業(yè)有自己思考