数据挖掘工程师工作的基本职责(精选32篇)
1.负责数据分析,数据挖掘相关的算法、应用的设计与开发;
2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告,重点对车辆行为数据进行分析和挖掘,利用数据分析结论推动业务产品的优化;
3.对海量业务数据进行整合、分析挖掘,挖掘产品以及用户潜在信息,为营销、运营及决策提供业务分析及数据支持。
职责:
1、为运营商提供深入的业务分析服务,根据业务需求进行数据统计、分析,撰写分析报告。
2、负责电信行业数据分析和数据挖掘工作,包括数据模型的需求分析、模型开发和结果分析。
3、负责电信行业咨询和系统实施类项目的数据需求调研、数据分析、商业分析和数据挖掘模型等相关项目的实施过程。
4、负责相关项目的售前支持,发现客户在数据分析/挖掘相关项目上的需求和潜在项目机会。
任职资格:
1、熟悉Mysql/DB2等常用数据库,熟练使用SQL。
2、掌握数据分析基本理论方法,熟悉数据挖掘常用算法,能够熟练使用Python/R语言者优先。
3、有电信运营商、互联网行业数据分析/挖掘建模经验者优先。
4、对用户行为研究有深入了解,咨询行业背景优先。
5、 具备良好的客户需求理解能力、良好的沟通和表达能力。
6、 工作态度积极主动,具备一定的抗压能力。
1、负责应用平台维护,保证其有效运行;
2、负责业务数据的挖掘、整合以及分析模型的建立、优化和评估;为业务人员日常工作提供可靠而明确的数据支撑;
3、负责报表相关功能的设计、开发工作,并负责报表优化、维护、数据采集;
4、负责系统相关文档的制定和编写。
5、有实际的MY SQL或Oracle等数据库开发相关工作经历,具有高级工程师技术能力;
6、有良好的沟通协调能力,能与客户及项目组同事有效的沟通;
7、能够独立分析客户需求,并能针对客户需求编写需求分析、设计等技术方案;
8、热爱软件事业,具有较强的责任感,有快速掌握新技术和独立解决技术问题的能力;
1.针对用户行为预测业务,负责用户画像、订单特征体系建设,包括离线数据产出以及服务化;
2.针对用户端上行为产出的实时数据流,挖掘实时特征并服务化;
3.针对客服场景,挖掘实时用户行为异常以及进线异常;
4.针对智能客服场景用户标签挖掘,人群挖掘等工作,支持智能运营方向的业务;
5.负责开发并维护智能客服业务的特征服务系统。
1、学习并理解励步云学业务及系统,根据业务部门需求对公司各项业务数据进行统计分析,出具相关报表;
2、进行数据仓库设计、模型开发、数据质量校验,报表开发;
3、进行数据差异分析,找出统计口径、数据错误、操作错误等造成的差异原因;
4、进行数据查询优化,解决跑数性能问题。
1、负责数据接入、数据提取、数据清洗、底层重构、业务主题建模等工作;
2、参与数据集市开发,用户画像标签开发;
3、负责接口平台、自助分析平台等系统的建设和维护;
4、针对具体大数据应用场景,提供有效解决方案,并针对具体模型落地实施;
1、对海量业务数据进行分析,并利用算法挖掘用户行为特征,发现潜在规律,建立机器学习算法并优化;
2、利用数据挖掘技术分析、预测用户的消费行为;
3、建立各种业务逻辑模型和数学模型,帮助公司改善运营管理,节省成本。
任职要求:
1、大学本科及以上学历;
2、统计学、会计学、数学、物理等相关专业;
3、本科5年以上同岗位工作经验,研究生3年以上同岗位工作经验;
4、对统计学和数据挖掘算法原理有较为深刻的理解,了解数据仓库思想,熟悉SPSS、SAS、R、MAHOUT等数据挖掘软件之一;
5、熟悉决策树、聚类、逻辑回归,关联分析、SVM,贝叶斯等数据挖掘算法,有海量数据挖掘的项目经验;
6、有用户行为分析、用户建模、业务建模、数学建模经验优先;
7、良好的逻辑分析能力、分析问题和解决问题的`能力,对数据敏感,良好的沟通能力。
1、维护数据库稳定运行,持续发现和解决潜在的问题;
2、负责数据库的性能优化,使用新技术和新架构满足日益增长的业务需求;
3、负责数据库的监控系统设计,为开发团队提供平台支持;
4、负责数据库的运维方面的相关工作,包括数据库的安装部署、压力测试、备份恢复、知识库管理等
5、负责数据库进行容量规划、架构设计,提高业务高可用性和容灾能力;
6、负责数据库相关工作的整体规划,提供决策建议。
岗位职责:
1.参与金融大数据平台系统和算法的研发和优化;
2.基于大数据金融场景,进行信用风险模型,风控模型,营销模型的创新设计;
3.与业务部门沟通合作,将数据模型应用于实际业务。
任职要求:
1.计算机相关专业硕士及以上学历,至少7年以上相关工作经验;;
2.具有良好的商业敏感度和优秀的数据分析技能,能够开发创新而实际的.分析方法以解决复杂的商业问题。
3.熟悉机器学习的一般模型;例如分类.聚类.预测,理解一些常用的特征选择和矩阵分解算法。
4.熟悉深度神经网络和常用模型(如CNN,DBN,sparseconding,RNN等),有Caffe或Theano或ConvNet的实践经验。
5.在语义理解检索(如知识图谱表示.结构化预测.语义解析.信息检索.知识挖掘等)有过深入的工作与研究。
6.较强的自学能力.优秀的逻辑思维能力和良好的沟通表达能力和敬业精神。
7.具备良好的系统分析能力,良好的抽象思维和逻辑思维能力,独立分析问题解决问题的能力;
8.可承受较大压力,有责任感,较强的沟通协调能力,具有团队合作精神;
9.有互联网公司.大型金融企业和大型IT企业工作经历的优先。
1、负责产品数据库研发,参与系统整体架构设计;
2、根据产品目标负责相关业务的数据分析、建模、设计评审,跟进产品过程中数据库设计;
3、负责产品模块的数据层分析、设计、编码、测试;
4、能够独立完成产品数据层开发任务,负责各类数据接口开发;
5、负责各类型数据操作处理和兼容问题;数据库复杂SQL开发和调优。
数据处理工程师岗位职责
数据处理工程师1)直接面对客户,参与项目运作中数据处理,了解客户软硬件要求;
2)参与、协助数据收集和模型建构;
3)安装、调试公司软件在客户端上线;
4)开发常用数据处理功能,帮助业务团队提高工作效率;
5)与香港、新加坡和纽约团队合作,为亚太地区技术服务提供支持。·计算机或软件相关专业,本科及以上学历;
·掌握两门以及常见数据库设计开发技术,mysql、oracle、sqlserver、hive等;
·具有参加过etl开发项目,处理过(大)数据经验优先;
·工作细心、认真负责且善于沟通,能快速理解业务,对数据敏感,并能主导项目的进度,保证团队产出。1)直接面对客户,参与项目运作中数据处理,了解客户软硬件要求;
2)参与、协助数据收集和模型建构;
3)安装、调试公司软件在客户端上线;
4)开发常用数据处理功能,帮助业务团队提高工作效率;
5)与香港、新加坡和纽约团队合作,为亚太地区技术服务提供支持。
1.根据项目经理或高级数据挖掘工程师要求独立完成项目的数据搜集和数据处理;
2.能够快速根据项目需要学习并理解行业知识,并能在项目经理或高级数据挖掘工程指导下完成部分数据分析工作;
3.能够使用SAS,SPSS,或R,Python等开源平台根据用户需求定制开发相应的算法;
4.理解数据挖掘模型及预测分析结果,撰写相关分析报告;
5.了解数据仓库及商务智能背景,熟练掌握一类数据展现分析工具,如:Tableau,Cognos等;
1.负责工业设备组网及数据采集方案设计;
2.负责设计方案所需传感器、仪表选型,布线图、数据存储方式、数据表等详细设计;
3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调;
4.负责现场数据采集相关软硬件安装调试;
5.负责和用户现场对口协调、技术指导及现场培训。
1、利用数据仓库建模及相关技术,参与数据仓库模型的设计。
2、参与企业级大数据仓库项目的落地开发。
3、参与企业级主数据管理项目的实施落地。
4、利用hadoop生态相关技术,负责大数据中心的'数据处理流程,包括数据清洗、融合、统计、挖掘等。
1. 参加团队会议与讨论,并给予有意义的建议;
2. 协助后端团队和架构师完成数据库相关的设计与开发;
3. 协助业务部门抓取、分析数据。
职责:
1、负责探迹平台智能策略逻辑设计与实现,包括智能评分、智能决策、业绩预测等业务的策略;
2、利用平台已有技术能力,包括内容识别算法、行为识别模型等,构建与业务需求相匹配的策略体系;
3、对平台用户行为数据进行分析和挖掘,建立数据模型,从数据中挖掘出用户的行为和消费习惯,通过数据挖掘对产品形成策略支持;
4、理解业务部门的需求,从数据库提取相关数据进行处理分析,指导产品和业务部门的日常运营;
5、建立和优化统计学和机器学习模型;
6、与数据算法/工程师合作和沟通去实现应用在产品上的算法模型;
任职资格:
1、统计学、计算机、通信相关专业本科以上学历;
2、编程基本功扎实、精通JAVA、python、lua等语言;
3、善于沟通及主动思考总结、倡导创新与持续优化、思路周密、脚本代码严谨、对待策略逻辑有强烈兴趣;
4、具备产品意识和数据分析能力,熟悉回归,分类等常见机器学习算法;
5、具有数据处理,特征选择、算法调优、效果评估等相关工作经验;
6、逻辑清晰,对数字敏感;学习能力强,热爱编程;
7、有良好的团队合作及抗压能力、有强烈的主人翁意识推进事务进展;
职责:
1、参与数据挖掘项目的算法研发过程(包括需求分析、技术可行性评估、分析解决问题、实现新需求等);
2、独立分析、评估并解决问题,并用代码实现,在较短时间内寻求到最优的解决方案,并应用到产品中;
3、负责分布式算法的设计及编码,提高算法的精度和效率;
4、负责数据挖据方向上的技术预研工作。
任职资格:
1、 本科及以上学历,数学、统计、计算机科学与技术、软件工程、控制理论与控制工程、信号分析及信息处理等专业;
2、 3年以上数据挖掘、机器学习、深度学习领域工作和研究经验;
3、 精通至少一种主流编程语言,包括但不限于C、C++、Python、Java等;
4、 熟悉机器学习、深度学习算法,掌握Mxnet、Tensorflow、Keras、Torch、CaffeOnSpark等一种或多种深度学习框架;
5、 熟悉Hadoop、Spark等大数据平台及mllib和结构化数据库编程;
6、 有数据挖掘、图像处理、音频信号分析、自然语言处理、物流优化、时间序列预测算法等与实际业务场景结合的成功经验;
7、 善于分析和解决问题,富有想象力和学习能力,对数据敏感,善于发现数据中的价值,具有良好的团队合作精神。
1、负责数据仓库的设计、开发、部署、维护和优化;
2、参与公司项目数据库架构设计,及相关文档的撰写;
3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;
4、负责数据库技术规范建设。
职责描述:
1、负责poi数据的属性分析、处理和关系挖掘,构建地图领域的知识图谱。
2、负责nlp、数据挖掘、深度学习等方向的前沿算法研发,并结合地图场景优化。
任职要求:
1、计算机、数学或相关专业,三年以上工作经验。
2、熟悉数据结构和算法设计,熟练使用c++、python。
3、熟悉nlp、机器学习、数据挖掘领域的常用算法与工具,对前沿技术保持热情。
4、良好的.分析和解决问题能力,能独立承担研发工作。
5、有地图数据优化工作背景优先。
团队介绍
主要支持北京岗位
对地图(无人驾驶)、广告(广点通)、快报感兴趣的欢迎勾搭
1.负责海量数据的分析开发工作;
2.完成数据挖掘模型,跟踪模型的实施和效果,定期优化算法和分析策略,分析研究后提供建设性建议 ;
3.优化大数据存储、计算等各方面性能,确保能从海量大数据信息里,有效进行数据分析和挖掘;
4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;
5.参与相关数据标准和规范的制定。
要求:
1.熟悉java/scala/python/R中至少一种编程语言,具有良好的.编码习惯;
2.计算机、数学相关专业本科以上学历;
3.2年以上数据挖掘及其相关经验,对常用的数据挖掘算法有较深入了解,有实际算法调优经验 ;
4.熟悉常用数据挖掘算法(聚类/分类/回归/关联规则/图模型)等算法原理,具备实际的建模经验,熟悉常用机器学习算法原理,如朴素贝叶斯/决策树/随机森林/逻辑回归/SVM等,并具备相关应用经验;
5.熟悉hadoop生态,具有spark/flink等实际开发经验;
6.极强的数据敏感度,能从海量数据中挖掘出数据核心价值,相关;
7.熟悉分布式存储,熟悉mysql/oracle、hbase、redis、mogongdb、elasticsearch等,熟悉neo4j/JanusGraph等图数据库优先 ;
8.富有创新精神,充满激情,乐于接受挑战,良好的沟通技巧和团队合作,抗压性强,能适应加班。
1、针对海量用户行为数据进行挖掘和建模,深入挖掘数据的业务价值。研究机器学习或统计学习领域的前沿技术,并能活学活用到项目中。
2、基于对汽车广告投放业务及用户的理解,参与精准营销、个性化推荐等模型建设和领域研究,提升转化率等业务指标。
3、根据业务需要采集相关数据,对原始数据进行ETL和归类整理,并实现流程自动化。
4、其他大数据处理及项目开发工作等。
职责
1.负责汽车产品数据底表的日常更新与维护
2.对数据进行预处理、清洗、计算及校验
3.采用系统化方法规范数据字段,优化数据结构,
4.通过数据关联、数据建模及数据可视化等多种方式为探索性研究提供工具支撑
5.协助高级研究人员完成客户需求处理工作
任职要求:
1本科及以上学历,数学、统计学、经济学、计算机科学等专业
2.对汽车市场、品牌及主流乘用车产品有一定认知
3.较强的excel数据处理能力,熟悉透视表及常用函数,有一定编程能力
4.有较强的抗压能力、逻辑能力以及团队沟通能力
5.心态沉稳踏实,细致认真,有较强的求知欲与接受能力
1、负责每日的数据仓库运维工作,保障数据的稳定性、一致性等;
2、参与数据仓库的优化设计,如元数据、数据权限、调度优化;
3、负责数据质量和数据标准化的设计与开发;
4、负责满足业务部门的日常业务提数与报表需求的开发。
1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发,创建数据仓库、数据集市
2.熟悉数据仓库领域知识,从架构和技术层面参与建设数据仓库,包括元数据管理、数据质量、主数据管理、性能优化和调优。
3.负责数据仓库平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地
4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片
1、3年以上etl开发经验,熟悉etl开发规范和流程;
2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个,有开发、维护经验;
3、熟练编写存储过程,擅长sql优化;
4、熟悉oracle、sqlserver等常用数据库中的`一个或多个;
5、熟悉perl、shell脚本,linux操作系统;
6、有大型数据仓库、bi相关项目的开发经验,精通架构、建模者优先;
7、熟练使用erwin或powerdesigner等进行数据建模;
8、以下经验优先考虑:流式处理、日志处理、数据仓库全日制本科以上学历(985/211),计算机科学与技术/软件工程/数据相关专业
1、3年以上etl开发经验,熟悉etl开发规范和流程;
2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个,有开发、维护经验;
3、熟练编写存储过程,擅长sql优化;
4、熟悉oracle、sqlserver等常用数据库中的一个或多个;
5、熟悉perl、shell脚本,linux操作系统;
6、有大型数据仓库、bi相关项目的开发经验,精通架构、建模者优先;
7、熟练使用erwin或powerdesigner等进行数据建模;
8、以下经验优先考虑:流式处理、日志处理、数据仓库
岗位职责:
1、对通信和金融业务数据进行分析和挖掘,满足研发和运营等部门的业务需求和决策需求;
2、能根据业务特点选择最合适的数据挖掘算法,并做调优;
3、支持数据分析、挖掘算法平台的部署和日常运营;
4、撰写分析类报告。
任职资格:
1、大学本科或本科以上统计学、数学或其他相关专业,对数据结构熟悉;
2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;
3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;
4、对线性回归,决策森林,xgboost,评分卡等数据挖掘相关算法有一定了解;
5、做过web接口调试,熟悉json者优先;
6、熟练掌握PPT和EXCEL制作;
7、具备良好的学习、沟通与表达能力,具有较强的团队合作精神,对工作富有热情,能承受工作压力;
8、有运营商或金融类相关数据经验工作优先考虑;
9、能适应中长期现场出差。
1、进行GIS数据建库和数据处理方案的设计和实现;
2、运用相关GIS软件进行数据空间化处理建库;
3、进行影像识别及处理;
4、进行数据采集处理建库项目管理。
1、针对具体的业务场景需求、定义数据分析及挖掘问题;
2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型,对数据挖掘方案进行验证、开发、改进和优化,实现数据挖掘的功能应用;
3、搭建高扩展高性能的数据分析模型库,作为数据分析团队的基础工具;
4、完成领导安排的其他工作。
职责描述:
1、负责文本数据处理,如格式转换、分词处理、实体抽取、专业词典整理等;
2、自然语言处理相关工具开发;
3、协助训练nlp模型。
任职要求:
1、计算机相关专业(本科2年以上);
2、精通c/c++或java,熟悉python、bash?shell等脚本语言;
3、熟悉正则表达式,了解常用分类、聚类算法及相应工具;
4、熟悉使用基本分类、聚类算法及相应工具;
5、具备nlp相关工作(特别是数据处理与分析)经验,了解nlp基本知识;
6、其他:耐心、细致;较强的逻辑思维能力;性格踏实稳定,抗压能力强。
职责:
1、负责对数据进行清理、甄别、归类和整合等,提升数据质量;
2、设计多维度分析模型,并能根据实际情况给出数据分析结果;
3、针对海量用户行为和内容信息,构建和优化用户画像。
任职要求:
1、本科计算机或统计学相关专业,3年以上相关工作经验;
2、熟悉关系型据库,SQL技能娴熟;
3、熟悉Hadoop, Hive, Spark分布式平台;
4、Scala\python\JAVA至少熟练掌握一种编程语言;
5、熟悉数据可视化技术;
6、熟悉大规模数据挖掘、机器学习等相关技术;
7、对用户画像分层,推荐系统有经验者优先考虑。
1、负责生产环境Mysql数据库系统高可用、高性能架构方案,分库分表策略,数据库扩展方案;
2、排查数据库故障,分析和解决疑难问题,提出预防方案;
3、制定数据库监控策略、备份策略、容灾策略,探查系统潜在的问题和可能的性能瓶颈并进行优化;
4、对开发工程师的SQL语句进行审核及SQL优化;
5、负责redis、memcache等非关系数据库的管理和扩展,能够根据业务需求完成系统设计、架构设计工作;
6、参与前瞻性新技术研究,解决数据库相关疑难问题。
1.负责直播业务相关数据仓库的数据模型设计;
3.参与数据仓库ETL流程设计、开发和优化,解决ETL过程相关技术问题;
3.参与项目规划,数据采集设计,数据仓库开发,模型开发,报表开发等;
4. 总结数据仓库建模的方法,负责数据产品平台化和系统化;