阿里云开发训练营(阿里云培训课程)

本文目录：

• 1、阿里云MaxCompute——开发（一、数据类型）
• 2、一个小白学习学习数据分析师有多难
• 3、大数据分析师主要是做什么的？没有基础能学吗？
• 4、阿里云企业级互联网架构实践系列-EDAS 开发(续)
• 5、国际人学校在线实训阿里云项目有人参加过吗？
• 6、大学生阿里云大数据在线实训值得报名吗?

阿里云MaxCompute——开发（一、数据类型）

目前，MaxCompute一共支持4个数据类型版本：1.0数据类型版本、2.0数据类型版本、HIVE兼容数据类型。

各版本基础数据类型差异

Maxcompute项目空间选择数据类型版本时，需要根据所需版本具体的定义数据类型属性参数。目前，根据兼容开源主流产品的思想一般采用HIVE兼容数据类型版本，学习过程中也以此为主。

HIVE兼容数据类型：

1.基本数据类型：TINYINT、SMALLINT、INT、BIGINT、BINARY、FLOAT、DOUBLE、DECIMAL、VARCHAR、CHAR、DATE、DATETIME、DATETIME、TIMESTAMP、BOOLEAN

2.复杂数据类型：ARRAY、MAP、STRUCT

开源 Apache Hive 数据类型 ：

1.数值类型： TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、 (NUMERIC)

2.时间类型： TIMESTAMP、DATE、 （INTERVAL）

3.字符串类型： STRING、VARCHAR、CHAR

4.其他类型： BOOLEAN、BINARY

5.复杂类型： ARRAY、MAP、STRUCT、 (UNIONTYPE)

一个小白学习学习数据分析师有多难

以下是一个文科生小白转行数据分析的人生历程，分享给你，相信可以帮助正处人生十字路口的朋友或正处于迷茫摇摆时期的人们一些启发或借鉴。

1、在选择数据分析师这条路之前，一定要思考再三，虽然这条路看着光鲜靓丽（至少职业的薪酬收入类比其他行业不会好不少），但也是一条艰难前行之路，充满着未知、荆棘和困惑，尤其是对于文科出身的我，付出的努力更是一般理工男的好几倍吧应该……

2、虽然数据分析这个行业有着天然的专业鄙视链（文理科的逻辑思维功底、编程语言接受程度上以及数理统计基础实实在在的存在差别，这也是甲方更信赖理工科出身的重要原因，因为社科或文艺类专业，很少有学校会严格地按照数理逻辑去制定学生的课程培养计划），但是并不代表文科生没有任何机会，因为大学以前，其实我们都没正式接触过编程或统计学，大学本科更多的是提升一个人的思维、而不是过硬的专研能力。所以文科专业的朋友，兴趣和决定也是重要因素，不能单单凭借客观的专业背景就否定自己。

3、如果你要坚定的选择这条路，就必须克服各种依赖症，比如安装一个R语言或Python软件，从庞大的数据中得出客观的结论过程，用学到的知识去分析数据的价值等等，一定要动手动脑去实战，不要单凭以前的文科思维（更注重思维的创造和个性的发扬），理性思维和客观科学更重要。因为这种学习习惯决定着你必然会被同行的有心者远远地摔在后面，百度、谷歌、Stack Overflow永远向你免费敞开大门；

4、动手实践和实习参与项目是很好的数据科学或者数据分析的开端，只学不练假把式，只有直接用于实战，才能看出来你学的东西到底有多少能够落地，能够用于提升业务的价值；

5、在求职以前，倘若时间允许，把R语言、Python（数据科学相关模块）、SQL（可以选择一个平台，比如MySQL）这三大关卡早点过了。（如果你不想再天天加班补的话）；

6、如果你还是在校学生，学会分清各种事情的轻重缓急，比如各种无聊拉人凑场子讲座、听课发礼品的营销洗脑课，各种……的无效应酬社交，如果全部都用在数据分析的学习上，你会发现你的时间多了很多，自然你也可以更早地追上同行的脚步；

7、脚踏实地的去走自己的路，不会的多写、多看、多问（问真正有价值的问题）、多总结、多交流，给自己足够的转行周期（如果你是科班出身的【统计、数学、计算机】，也许会走的顺风顺水，但也不可以掉以轻心，倘若不是，请一定要慎重选择，起码要给自己一到两年的转行缓冲期【具体视自己的专业背景和技术实力而定】，什么7天精通机器学习、三个月精通人工智能，你自己敢信嘛？）

8、学会融会贯通不同领域的知识，触类旁通、横向迁移，这样学起来才有越学越有通透的感觉，否则你只能增加笔记本的厚度，徒增烦恼罢了。

其实文科生学习数据分析或零基础转行的痛快和纠结大家都有，但任何的时间节点上，倘若一直停滞不前、犹豫不决，那么所有可以有或可能有的机会都会错失。庆幸我虽然浑浑噩噩，一路上也是披荆斩棘，但时光不负我，付出终究收获成果！愿所有文科生想进入数据分析行业或转行的小伙伴一切都顺利。

大数据分析师主要是做什么的？没有基础能学吗？

1、懂业务。从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。

2、懂管理。一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。

3、懂分析。指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

4、懂工具。指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。

5、懂设计。懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则

6.需要有一定的计算机，系统，编程能力。dmer 的熟练使用。

阿里云企业级互联网架构实践系列-EDAS 开发(续)

前提： 关闭windows 防火墙，可以ping 通 EDAS所在IP

修改配置：假设EDAS 轻量级配置中心IP 是 10.10.10.10

修改hosts 文件 添加配置如下：

10.10.10.10 jmenv.tbsite.net

添加jvm 参数：

-Dvipserver.server.port=8080

-Daddress.server.domain=10.10.10.10

-Daddress.server.port=8080

-Dvipserver.client.port=8080

-Dpandora.location=D:/hsf.sar.jar

如果本地有多个IP可以通过需要配置一下hosts 来指定注册的IP

先打开 cmd 输入hostname 命令 获取本机名称，假设是 computer1

假设需要使用的本地IP是 11.111.1.1（确保此IP和EDAS的网络之间是同的）

在hosts 文件中添加如下配置：

11.111.1.1 computer1

-Dpandora.location=D:/hsf.sar.jar

指定的是潘多拉地址

添加需要的配置项：

1. 找到 ConfigCenter类，添加配置中心需要的groupID和DataID

其中groupId：是项目的包名称，确保唯一，建议网上国网统一使用 com.sgcc.osg 作为groupID。dataID，用于标识单个配置项。

2. 找到EDASConfigContextRefresher 在 registerDiamondListenersForApplications方法中添加 addListener第一参数是 ConfigCenter.DATA_ID,第二个参数是ConfigCenter.GROUP_ID。

loadConfiguration(compositePropertySource, environment, ConfigCenter. DATA_ID , ConfigCenter. GROUP_ID );

loadConfiguration方法前两个参数固定， 后面是 之前在ConfigCenter中添加的DATA_ID, 和GROUP_ID。

在本地开发的时候，应用启动前需要先在轻量级配置中心。添加配置项。

点击添加：

[图片上传失败…(image-8cefb1-1597155336559)]

在弹出框中输入在本地ConfigCentre.java 中配置的 groupID， 和dataId输入进去。

content 里面可以添加任意键值对。

@RestController

@RefreshScope //需要 动态刷新必加

public class Demo{

@Value(“${key1}”)

private String key1;

@Value(“${key2}”)

private String key2;

}

配置项：如下图每一个groupid, dataId，和content 对应一个配置项

分发 轻量级配置中心的时候 通过 压缩文件分发，不要copy 解压后的文件夹

如果应用列表没有数据，不能说明应用无法注册到分布式服务总线，而是应用启动失败，或者EDAS鉴权配置有问题

l 检查应用启动日志，查看是否正常启动。

如果抛出其他异常导致无法启动需要联系业务同学确认。

l 如果没有报错需要确认EDAS_SERVICE_ID 环境变量是否过程, 不能超过36

如果分布式服务总线的 服务列表是空的，就说明这个微服务没有注册到分布式服务总线

l 应用正常启动后（通过启动日志判断，出现pandora started说明启动完成），

l 查看 /etc/resolv.conf 确保EDAS的nameserver 放在首位。

l 查看 /home/admin/logs/vipsrv-logs/vipclient.log 中

l 如果有 403 access denied. 说明是容器所在宿主机的时间没有同步。需要联系云操系统的同事进行时间同步。时间同步后重启容器就可以注册成功。

l 如果有 error code 500 需要检查dncs-server 服务是否正常。

l 登录edas 物理机

l docker ps|grep dncs-server

l docker exec -it docker_id bash

l cd /home/admin/bin

l 运行sh chekc_dncs.sh

l 如果 check_dncs.sh 运行异常说明dncs-server出现问题。

l 登录edas 物理机

l docker ps|grep dncs-server

l docker exec -it docker_id bash

l cd /home/admin/bin

l 运行sh chekc_dncs.sh

l 如果 check_dncs.sh 运行异常说明dncs-server出现问题

l 出现异常后可以进行 docker restart docker_id 重启dncs-server 容器,容器重启后大概需要3-7分钟启动dncs-server 的业务，可以使用/home/admin/bin/check_dncs.sh 检查是否启动完成

l 登录edas 物理机

l docker ps|grep dncs-server

l docker exec -it docker_id bash

l cd /home/admin/bin

l 运行sh chekc_dncs.sh

l 如果 check_dncs.sh 运行异常说明dncs-server出现问题

l dmesg |grep java

l 如果出现Out of memory: Kill process xxxx(java) 说明 dncs-server 进程由于OOM被linux 系统kill

l edas 鉴权体系的隔离不同账户之间不可能互相访问

l 不同集群使用不同的k8s集群做实现，不同k8s 集群的网络是不可以相通的

l 如果使用HSF协议，HSF协议内部兼容了服务的负载均衡

l 如果使用spring cloud 框架下的RESTful 协议，由spring cloud 的Ribbon组件提供负载均衡

l 如果使用spring cloud 框架下的RESTful 协议，由spring cloud 的Ribbon组件重试，可以在application.properties 中配置ribbon 的重试策略

由于edas应用的启动依赖于pandora 容器所有需要在Junit 测试类上面添加如下配置引入pandora 容器的启动：

国际人学校在线实训阿里云项目有人参加过吗？

国际人学校在线实训阿里云项目有参加过。在线实训阿里云项目教育范围：

经营电信业务；服务：计算机软硬件、电子产品、数码产品的技术开发、技术服务，企业管理咨询与计算机信息技术咨询；设计、制作、代理、发布国内广告，成年人的非文化教育培训、成年人的非证书劳动职业技能培训（涉及前置审批的项目除外）。

批发、零售：计算机软硬件，电子产品（除专控），数码产品；会务服务，承办展览，展览展示设计；智能化设计咨询及改造。

云计算价值：

阿里巴巴集团首席战略官曾鸣，曾系统性地概括了云计算对于企业的价值。

1、移动+云计算=实现了IT服务的“在线化“，让技术的门槛大幅降低。

2、云计算是公共服务，是可变成本，可按需使用，不再是固定资产投入，创业公司的成本压力由此大幅下降。

3、云计算将数据变成生产资料和企业资产。

大学生阿里云大数据在线实训值得报名吗?

大学生阿里云大数据在线实训值得报名，随着信息通信技术的发展，各行各业信息系统采集、处理和积累的数据量越来越多，全球大数据储量呈爆炸式增长。近几年全球大数据储量的增速每年都保持在40%，2016年甚至达到了87.21%的增长率。

阿里云ACP大数据认证是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证，通过ACP认证证明你可以基于阿里云的产品制定有效的技术解决方案和企业最佳实践。

不管是大数据工程师证书，还是数据分析师证书，每个职业的相关技能认证，其实都是一种锦上添花的作用，毕竟技术类的工作都是要看你的实际操作水平的。企业都喜欢主动的、善于思考的人才，这样才能更好地成长起来，解决工作当中的实际问题。

本文来源：https://www.yuntue.com/post/149710.html | 云服务器网，转载请注明出处！