精通数据分析与挖掘,玩转数字世界
加米谷数据分析与挖掘

数据分析与挖掘数据分析和挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

Analytic Visualizations(可视化分析):可视化可以直观的展示数据,让数据自己说话,让观众听到结果。 Data Mining Algorithms(数据挖掘算法):集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。 Predictive Analytic Capabilities(预测性分析能力):让分析员根据可视化分析和数据挖掘的结果做出一些判断。 Semantic Engines(语义引擎):语义引擎需要被设计成能够从“文档”中智能提取信息。 Data Quality and Master Data Management(数据质量和数据管理):数据质量和数据管理是管理方面的最佳实践。 数据存储,数据仓库:数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。

成都数据分析师工资收入水平
社会需求

移动互联网使得IT信息数据量越来越大,数据库越来越庞大,各行各业产生数据的主体对数据分析需求越来越高。数据经过分析和挖掘才能产生价值,服务业政府、金融、互联网及各种实体行业。

据分析及挖掘技术内容
技术内容

数据分析及挖掘需要掌握大数据相关技术,需要搭建数据分析框架,掌握数据分析基本原理,了解数据分析及挖掘相关算法,能把分析的结果用可视化的方法呈现出来。

学习数据分析与挖掘,助您实现高薪就业
数据分析师 数据分析师收入水平 数据分析师收入水平
数据挖掘工程师 数据挖掘工程师收入水平 数据挖掘工程师收入水平
算法工程 算法工程收入水平 算法工程收入水平

专注于打造全流程的数据分析与挖掘工程师
掌握Python基本知识,能熟练运用到项目 Python基础
数据库 掌握文档数据库的用法,能熟练运用到项目
掌握网络爬虫相关知识点及开发技术,灵活在项目中运用。 高阶应用
进军数据分析与挖掘 掌握数据分析及处理的相关知识点,能灵活在项目中运用。
掌握数据分析处理高阶知识点,能灵活在项目中运用 项目实战

理论+代码+实战+实操的独有课程体系
加米谷大数据开发课程体系包括5个板块、9个阶段、200+模块以及4个真实项目实战。
第一阶段 Python基础 学习内容:Python基础 学习目标:基本语法、数据结构、算法及函数、文件系统 ... 等 学习效果:掌握Python基本知识,能熟练运用到项目 加米谷Python基础
第二阶段 关系型数据库MySQL 学习内容:关系型数据库MySQL 学习目标:数据库设计、数据库范式及ACID特性、视图及索引 学习效果:掌握关系型数据库MySQL的用法,能熟练运用到项目 关系型数据库MySQL
第三阶段 文档数据库MongoDB 学习内容:文档数据库MongoDB 学习目标:Mongodb初识与部署、基本与高级操作、运维、编程 学习效果:掌握文档数据库MongoDB的用法,能熟练运用到项目 文档数据库MongoDB
第四阶段 内存数据库Redis 学习内容:内存数据库Redis 学习目标:Redis基础、Redis操作、Redis编程 学习效果:掌握内存数据库Redis的用法,能熟练运用到项目 内存数据库Redis
第五阶段 网络爬虫 学习内容:网络爬虫 学习目标:urllib.lib库、requests库、Scrapy分布式爬虫... 等 学习效果:掌握网络爬虫相关知识点及开发技术 网络爬虫
第六阶段 数据分析 学习内容:数据分析 学习目标:数据分析工具讲解、数值计算包、Pandas与数据库... 等 学习效果:掌握数据分析相关知识点,能灵活在项目中运用 数据分析
第七阶段 数据处理 学习内容:数据处理 学习目标:数据清洗和准备、数据合并和重塑、数据汇总和组操作 学习效果:掌握数据处理相关知识点,能灵活在项目中运用 数据处理
第八阶段 数据分析处理进阶 学习内容:数据分析处理进阶 学习目标:Matplotlib、时间序列分析/算法、机器学习... 等 学习效果:掌握数据分析处理高阶知识点,能灵活在项目中运用 数据分析处理进阶
第九阶段 项目实战 学习内容:项目实战 学习目标:4个数据分析与挖掘项目的实战 学习效果:通过项目实战串联所学知识点,深化理解,熟练掌握 项目实战

数据分析与挖掘课程明细
从理论到实训代码到云端实操环境到项目实战,手把手教您从0掌握数据分析与挖掘技术,带您走进数据时代。

第一阶段(python基础)

python入门 1、Python版本特性介绍 2、Python应用场景及趋势发展 3、Python开发环境搭建 4、Python开发工具及运行环境 5、标识符与关键字,注释 6、Python在各系统中的安装 7、应用场景及数据存储设计 8、Python程序开发基础指南 9、如何运行python代码

python基本语法 1、Python选择与循环 2、Python字符串处理 3、可视化python编程 4、数据及类型操作 5、Python对象、数字、序列 6、Python映射和集合类型 7、Python条件和循环 8、Python文件和输入输出 9、python错误和异常

python高级语法 1、函数和函数式编程 2、Python面向对象编程 3、Python正则表达式 4、Python函数编程 5、Python多线程编程 6、Python图形界面编程 7、Python数据库编程创建 8、Python扩展

Python编程开发 1、PYQT实现GUI工具 2、如何运行python代码 3、Python在Linux中的开发 4、GitHub的使用 5、python程序开发 6、Python api使用及二次开发

第二阶段(关系型数据库MySQL)

数据库设计 1、数据库设计及运行管理 2、数据库设计过程讲解 3、概念结构设计与ER图 4、逻辑结构设计与ER转换规则 5、数据流图与数据字典 6、数据库设计物理模型 7、数据库事务与隔离级别

数据库范式及ACID特性 1、数据库的范式的实例 2、数据库设计三大范式应用 3、数据库管理系统事务 4、数据库ACID的四大特性 5、数据库四大特性应用 6、分库分表大数据解决方案 7、分库分表实施与分析

数据库基础 1、数据库概念介绍 2、MySQL安装与登录 3、数据库创建与删除 4、表结构创建/查看 5、字段类型与数据类型 6、字段增加,重命名,删除

视图及索引 1、记录的增加,修改,删除 2、表查询 3、条件查询 4、模糊查询 5、视图创建与操作 6、索引创建与操作

第三阶段(文档数据库MongoDB)

Mongodb初识与部署 1、Mongodb介绍 2、Mongodb应用场景 3、Mongodb快速部署 4、Mongodb配置指南

Mongodb基本操作 1、Mongodb数据库操作 2、Mongodb collection操作 3、Mongodb文档操作

Mongodb高级操作 1、Mongodb存储过程 2、Mongodb聚合管道 3、Mongodb批量写 4、Mongodb MapReduce

Mongodb运维与编程 1、Mongodb数据导入/导出/备份/恢复 2、Mongodb安全 3、Mongodb权限控制 4、Mongodb包引入 5、Mongodb Python API

第四阶段(内存数据库Redis)

Redis精讲 1、REDIS分布式缓存介绍 2、REDIS网络模型与内存管理 3、REDIS的数据一致性问题 4、REDIS支持的KEY类型 5、REDIS水平动态扩展 6、REDIS数据淘汰策略

Redis操作 1、REDIS访问工具 2、REDIS shell api

Redis编程 1、REDIS包引入 2、REDIS Python API

第五阶段(网络爬虫)

urllib.lib库 1、Python urllib认识 2、urllib库的基本操作 3、urllib基本get请求 4、urllib基本post请求 5、代理与API 6、超时配置与会话对象

requests库 1、通过pip安装requests 2、发送请求与传递参数 3、Response对象与文件上传 4、身份验证 5、Cookies与会话对象 6、超时与异常 7、CSS选择器与bs4 8、BeautifulSoup基本介绍,安装与基本语法 9、BeautifulSoup的基本运算符与语法定位

css选择器与Xpath 1、CSS选择器基本使用 2、Xpath基本介绍 3、Xpath基本语法 4、XPath 轴与表达式 5、Xpath的基本运算符 6、Xpath语法定位 7、常用的反爬虫技术

爬虫高级技术 1、多线程与多进程爬虫 2、代理设置与Cookie操作 3、动态网页内容的抓取 4、Selenium与PhantomJS 5、模拟表单登录

第六阶段(数据分析)

数据分析工具讲解 1、numpy基本讲解 2、scipy基础认识 3、pandas基本讲解 4、jupyter基本认识 5、matplotlib认识 6、其他数据分析工具

数值计算包学习 1、数值计算包工具介绍 2、Numpy多维数组 3、数组的属性与操作 4、基本的数组运算 5、Scipy工作原理介绍 6、SciPy交互工作

数据处理包Pandas 1、本地环境安装 2、加载工具库 3、Pandas创建对象 4、操作行和块 5、窥视数据 6、运算符与表达式 7、缺失值处理、合并于分组

Pandas与数据库 1、与SQL/Excel 对比 2、数据体量与工具选择 3、范式中的切片与分组 4、Pandas索引与排序 5、Pandas数据回归 6、文本转化为虚拟变量

第七阶段(数据处理)

数据清洗和准备 1、数据质量要求与来源 2、数据清洗原理 3、缺失数据处理 4、相似重复数据检测 5、异常数据处理与逻辑错误检测 6、数据清洗的模型 7、数据清洗框架和模型

数据处理:合并和重塑 1、合并数据集 2、数据DataFrame合并 3、数据轴向连接 4、重塑层次化索引 5、字符串对象方法 6、正则表达式运用

数据汇总和组操作 1、数据样本分位数 2、数据聚合运算 3、面向列的多函数应用 4、定义不同列的函数 5、通过函数进行分组 6、分组运算和转换 7、透视表和交叉表

第八阶段(数据分析处理进阶)

Matplotlib实践 1、Matplotlib基本介绍 2、Matplotlib可视化包认识 3、2D与3D图表图表使用 4、Matplotlib图像显示 5、Matplotlib应用 6、从网络加载数据

绘图与可视化 1、图例、标题和标签 2、条形图和直方图 3、散点图与堆叠图 4、因子变量绘图 5、各类复杂图形绘制 6、多变量的可视化 7、多变图形分析

统计学基础 1、统计和统计数据 2、数据的图表展示 3、数据的概括性度量 4、总量指标和相对指标 5、平均指标和变异指标 6、抽样估计与假设检验 7、相关与回归

时间序列分析基础 1、时间序列及分析指标 2、平稳序列预测 3、趋势性序列预测 4、复合序列因素分析 5、主要统计量 6、ARIMA模型 7、模型识别余参数估计

第九阶段(项目实战)

个人用户信用评估 针对脱敏的几十个维度的用户数据,以及银行提供的黑名单,建立个人用户的信用评估模型;在建模过程中涉及到用户数据缺失值处理,特征筛选,特征量化,类别不平衡策略,模型参数调优;涉及到SPSS数据分析,pandas,sklearn工具的使用;通过该项目的学习,完整掌握各类数据分析软件,分析流程以及相关算法。

运营商数据统计分析 对运营商用户真实浏览记录,利用浏览数据分类,以及爬虫抓取数据扩充标签,统计用户浏览行为,给用户贴上对应标签,针对个人用户以及群体用户的特征,进行相关数据推荐;涉及到数据全量与增量统计,实时计算,协同过滤等技术与算法,分布式爬虫部署,以及反爬虫策略;通过该项目学习,完整掌握数据抓取技术,海量数据实时计算,以及主流用户推荐算法。

电商网站评价情感分析 针对某互联网电商平台上的商品数据,抓取其评论数据,进行情感分析,并抽取评论关键词,分析用户最关心的商品问题;涉及到爬虫知识,数据筛选,清洗,去重以及贝叶斯,LDA算法等;通过该项目的学习,加深对数据处理流程的理解以及对自然语言处理知识的认识。

股票数据拟合与推荐 针对网上获取的实时股票数据,利用多种方法对数据进行短期拟合,评估拟合效果,并在拟合多支股票的基础上,进行有价值股票的推荐;涉及到时间序列数据拟合,预警等技术;通过该项目的学习,加深对时间序列分析与理解。

真实项目贯穿整个学习流程
  • 个人用户信用评估
  • 运营商数据统计分析
  • 股票数据拟合与推荐
个人用户信用评估
项目名称:个人用户信用评估

项目简述:针对脱敏的几十个维度的用户数据,以及银行提供的黑名单,建立个人用户的信用评估模型;在建模过程中涉及到用户数据缺失值处理,特征筛选,特征量化,类别不平衡策略,模型参数调优,SPSS,pandas,sklearn工具的使用;通过该项目的学习,完整掌握各类数据分析软件,分析流程以及相关算法。

运营商数据统计分析
项目名称:运营商数据统计分析

项目简述: 针对某运营商用户真实的浏览记录,利用浏览数据的分类,以及爬虫抓取的数据扩充标签,统计用户的浏览行为,给用户贴上对应标签,针对个人用户以及群体用户的特征,进行相关数据的推荐;涉及到数据全量与增量统计,实时计算,协同过滤等技术与算法,分布式爬虫部署,以及反爬虫策略;通过该项目的学习,完整掌握数据抓取技术,海量数据实时计算,以及主流用户推荐算法。

股票数据拟合与推荐
项目名称:股票数据拟合与推荐

项目简述:针针对网上获取的实时股票数据,利用多种方法对数据进行短期拟合,评估拟合效果,并在拟合多支股票的基础上,进行有价值股票的推荐;涉及到时间序列数据拟合,预警等技术;通过该项目的学习,加深对时间序列分析与理解。

现在预报名
顶部