# 数据可视化

数据可视化的主要任务是将数据转换为易于感知的图形。

## 一、可视化流程

很多人认为数据可视化无非就是数据几组数据，生成各自图表（或图形）等等。其实数据可视化大致可分为：

1. 信息可视化
2. 科学可视化
3. 可视化分析

之前所提到的简单图表只是信息可视化中最常见的几种。面对不同的数据体积以及不同的可视化目标，可视化系统的复杂度很可能就会超出想象。

### 通用的可视化流程

可视化整体可分为三步：分析 -》 处理 -》 生成。

### 1. 分析

分析分为三部分：任务、数据和领域。

首先，要分析该次可视化的出发点和目标是什么。遇到什么问题、展示什么信息、要得出什么结论、验证什么假说等等。数据承载的信息是多种多样的，不同的展示方式的侧重点也是不一样的（说白了，想清楚要干什么，才能确定要过滤什么数据、怎样处理数据最后怎样展示数据）。

其次，分析数据（见**数据模型**）。

最后要针对不同的领域，进行响应的分析。可视化的侧重点要跟随领域做出相应变化。

### 2. 处理

处理可分为两部分：对数据的处理、对视觉编码的处理。

在可视化之前，要对数据进行数据清洗、数据规范、数据分析等数据处理。
所谓视觉编码即指如何使用位置、尺寸、灰度值、纹理、色彩、方向、形状等视觉通道，以映射要展示的数据维度。

### 3. 生成

将之前的分析和设计实现。

## 二、数据模型

数据说白了就是可定性或可量化的一组数据。为了更准确更形象地表达数据，先了解一些数据相关的概念。

### 1. 数据模型与概念模型

数据为什么可以代表世界？带着这个问题，来了解数据和概念两个模型。

**数据模型** 是一组数字或符号的组合，其包含着数据的定义、类型等，可以进行各类数学操作。
**概念模型** 描述的是事物的语义或状态行为等。

现实世界 =》 概念模型 =》 数据模型

现实世界可以用概念模型描述，而概念模型又可以用数据模型来描述。经过两层抽象，数据便可以描述现实世界。

### 2. 数据类型

一个东西属于哪一类，取决于用什么标准划分，数据亦然。

按数据在计算机中的存储，数据可分为浮点数、整数、字符等；从关系模型的角度来说，数据可以分为实体和关系两类；从数据结构来说，数据可以分为一维、二维、三维、多维、时间序列、空间序列、树型、图型等等。接下来说一说和数据可视化有关的分类方法。

按照测量标度来分，数据一般分为四类：类别型、有序型、区间型和比值型。

- 类别型：用于区分事物。如：人可分为男女。
- 有序型：用于表示对象间的顺序关系。如：人的身高可以从矮到高。
- 区间型：用于对象间的定量比较。如：身高 160cm 和身高 158cm。
- 比值型：用于数值间的比例关系。如：6 是 3 的 2 倍。

在数据可视化中，通常不区分区间型和比值型，通一称为 **数值型** 。

### 3. 举个例子

| id  | 类型 | 款式 | 尺码 | 销量 | 年增长 |
| ---- | ---- | ---- | ---- | ---- | ---- |
|  1  | 男款 | 上衣 |  L   |  50  |  10%   |
|  2  | 女款 | 上衣 |  S   |  35  |   5%   |
|  3  | 女款 | 裤子 |  M   |  40  |  20%   |
|  4  | 男款 | 上衣 |  XL  |  30  |  15%   |

如表所示，不难看出：

- _id_ 和 _尺码_ 属于 _有序型_ 数据。
- _类型_ 和 _款式_ 数据 _类别型_ 数据。
- _销量_ 和 _年增长_ 属于 _数值型_ 数据。

## 三、视觉编码

### 1. 什么是视觉编码？

视觉编码描述的是将数据映射到最终可视化结果上的过程。

编码二字，编可以说是指设计、映射的过程，码是指一些图形符号。图形符号和信息间的映射关系可以使人迅速获取信息。可以说图形符号中携带了信息（称之为编码了一些信息）。而人从这些符号中读取信息时，可以称作时解码了一些信息。
人解码信息靠的是眼睛，人的视觉系统。如果说图形符号是编码信息的工具或通道，那么人的视觉系统便是解码信息的通道。通常把这种 **图形符号 《--》 信息 《--》 视觉系统** 的对应过程称为 **视觉通道**。

### 2. 常用的视觉通道

1967 年，Jacques Bertin 初版的《Semiology of Graphics》一书提出了图形符号与信息的对应关系，奠定了可视化编码的理论基础。该书中把图形符号分为两种：

- 位置变量：一般指二维坐标
- 视网膜变量：尺寸、数值、纹理、颜色、方向和形状

后来又补充了 **长度**、**面积**、**体积**、**透明度**、**模糊/聚焦** 和 **动画** 等视觉通道。

### 3. 视觉编码设计原则

首先说一下视觉通道的性质：

- 定性（又称分类）性质 ：适用于类别型数据。如颜色或形状。
- 定量（或定序）性质：适用于有序型和类别型数据。如长度、大小适合于编码数值/量的大小。
- 分组性质：具有相同视觉通道的数据可以分为一组，便于识别。

最后说一下视觉编码设计的两大原则：

- 表达性、一致性：可视化的结果应充分表达了数据要表达的信息，且无多余。
- 有效性、理解性：可视化之后应当比其他数据表达方案更加有效，更加容易让人理解。

数据可视化编码除了视觉通道还需考虑：

- 色彩搭配
- 交互
- 美学因素
- 信息密度
- 直观映射、隐喻

等等。

## 参考文献

- [[1] 浙江大学-陈为、巫英才数据可视化课程](http://www.cad.zju.edu.cn/home/vagblog/?page_id=1302)
- [[2] 陈为 沈则潜 陶煜波. 数据可视化[M]. 电子工业出版社, 2013.](https://book.douban.com/subject/25760272/)
- [[3] CSE512 Data Visualization (Spring 2016)](https://courses.cs.washington.edu/courses/cse512/16sp/)


数据可视化的主要任务是将数据转换为易于感知的图形。

数据可视化

## 一、关于工作

### 1. 工作是什么

刚实习的时候，想的很简单--希望将来工作可以月薪过万。如今还是并不快乐，也许是因为钱不够，也许是认识到在一定阶段内，个人能力所能得到回报就是这些，这样就会想一些其他的“虚”的。

子曰．“君子不器。”世界不会因平凡而变得精彩，与其平平淡淡地活着，不如多做多看，也许能做出一番自己的贡献。现在有很多人嘲笑说，互联网公司只会从小商小贩嘴里抢食，永远都是在做**模式创新**，而不是硬核的**科技创新**。但是我相信**外卖**也好、**买菜**也好，一定程度上是驱动了社会进步的，每个公司的使命是不一样的，也是能够为人民的生活带来美好的。

所以工作也好，生活也好，对个人来说：

1. 不断地自我塑造，打造“自己”这个产品
2. 不断地驱动自我进步，努力实现自我价值

### 2. 作为工程师

也许工程师本质上就是计算机，而计算机的组成部分，只有 4 个：**输入信息、存储信息、处理信息、输出信息**。业务本身是多变的，做什么其实不重要，作为工程师，要能够把在业务中所遇到的“业务难题、复杂链路、技术难点”等抽象，作为自己成长的养料，让自己这台计算机持续学习，持续优化。

### 3. 作为团队成员

团队，本质上构建了一个计算集群，而我们就是其中一个计算节点。对于团队来说，个人积极地完成输出就是最大的贡献，这个输出应当包含：学习、沉淀、分享、负责和影响。努力做最好的自己，认真生活，快乐工作，分享传播，和伙伴们共同进步。

## 二、关于成长

### 1. 永存的困惑

毫不夸张地说，这 3 年我没有不困惑的时候。面对困惑，我只能不断寻找答案，不断提升自己的认知，多读书，多看前辈的思考（计算机系列图书，大多都会写到**站在巨人的肩膀上**），去探知困惑的本质。这也许是一个漫长的过程，这时候可能就需要找点事干，比如看点代码、写点代码，让自己安静下来。

### 2. 历史与现实

从古至今很多事情本质上是没有变化的，历史的经验还是很有现实指导意义的。世界不是表面上那么简单的，不仅仅只是黑白对立面，好与坏而已，要辩证地去看待。历朝历代，风气云涌，都是摸着石头过河，都是不断探索，艰难前行，在这个历程中要接受现实，不断调整，不要忘了初心即可。

### 3. 发展与未来

对于个体来说，永远要把自我提升作为第一位。阿里常说，今天最好的表现，是明天最低的要求（听着有些 PUA）,自我整体上还是需要不断超越的，要找到自己成长的方法。对我来说，整体上还是分为：**硬技能** 和 **软技能**。

#### 3.1 硬技能

对于**硬技能**，就是自身的技术实力，整体上的规划还是以下方面的持续学习。

- 操作系统
- 计算机网络
- 计算机组成原理
- 数据结构与算法
- 数据库系统（MySQL、MonogoDB 等）
- 编程语言的学习与精进
- Devops

#### 3.2 软技能

做事的永远是人，人与人之间是要沟通合作的。为了达到良好的沟通合作效果，需要个体具备：抽象能力、沟通能力、演讲能力、协作能力等。对此，我目前的感悟不多，也是在不断学习。

## 三、关于价值观

现在各行各业都很卷，年轻人们貌似也很难受（卷也是年轻人在卷，矛盾🐱），但是又好像无解，我认为这是价值观的原因。价值观是一种精神力量，一定程度上影响了我们如何看待事物、如何做事。

从国家到个人，组织到个人，团队到个人，无外乎都有文化价值观这种东西，比如实现中华民族伟大复兴，满足人民对美好生活的向往。我相信每一个人都是向往美好生活的，但是做事要付出代价的，为了美好生活，是需要付出努力的（而且努力不一定有结果），所以需要文化价值观这一精神力量来驱动个体前进。文化价值观本身没有错，做事的是人，你怎么做，和你最后获得什么样的结果，一定是有关系的。

阿里对员工的要求是：**聪明、自省、乐观、皮实**，同时也需要我们具备三个主义：**理想主义、现实主义、乐观主义**。遇到一些难受的事情，可以多想想应该用怎样的价值观去对待。

愿我们都能够，**面对现实，勇敢追求**。


时间总是过得飞快，从 18 年到 21 年，转眼就工作 3 年了。按照阿里 1 年新、3 年醇、5 年陈的说法，提笔写一下 3 年的感受。

写在工作 3 年

## 此生理想、近期规划、今日功课

> 此生理想、近期规划、今日功课。 --马鹤凌（马英九父亲）

1. 理想要远，不怕够不着，就怕已经快够着了

大多数人在当下并不能真正地想出自己的理想是什么。**不刻意去追寻理想，活在当下**也许是一个好的实践。专注于解决问题，积累经验。也不要给自己设限，用于尝试多种可能，逐步排除掉自己不想要的。

2. 规划要近，太远会觉得还有很多时间

不做远期规划，不然容易变成一直拖着。做短期内的计划，保持节奏让工作和学习有序前行。

3. 行动要在现在

一个人很有可能要工作 20 年以上，这是一场长跑。在这场长跑中，很多当下的问题只是浪花一朵，比如晋升、绩效、涨薪等，很多看似不可能的行动变为可能，比如掌握 n 种编程语言、研究内核等。为了跑好这场长跑，还是要做好每日功课。

- 给自己一个安静的环境，省出学习时间
- 持续学习
- 健康的体魄

## 学习和成长

一个人很有可能要工作 20 年以上，现在才工作了多久？作为技术同学，所掌握的某个技术很有可能一夜之间就过时了，要居安思危，逃离舒服区。

关于学习，基础知识很重要，要关注现实和实用。可以大量购买和阅读书籍，同时做好知识管理。

关于成长，抛出一个问题：3年开发经验，是学习了1年，重复工作了2年，还是有一定的进步？

## 执行

### 要事优先

讲事情按照**重要**和**紧急**分为4个象限。

```bash
                  紧急
                   |
                   |
                   |
                   |
不重要 <--------------------------> 重要
                   |
                   |
                   |
                   |
                 不紧急
```

用自己价值观来判断，不要在不重要的事情上浪费时间。

### 无视不重要的事情

```bash
                  紧急
                   |
                   |
                   |
                   |
                   --------------> 重要
                   |
                   |
                   |
                   |
                 不紧急
```

**重要但不紧急**的事情迟早会变成**重要且紧急**的事情，所以大部分时间应该花在**重要不紧急**的事情上，不要等到紧急的时候去**救急**。

### 目标分解

在执行时，目标往往很大，需要进行适当的分解，以便执行。没有分解的目标，很难有阶段性成果，会发现一直在做一件事，然后还做不好。任务一定要具体、可量化、可执行。


## 参考

1. [⾼⼯的个人发展规划](https://speakerdeck.com/baidufe/gong-cheng-shi-de-ge-ren-fa-zhan-gui-hua)
2. [About Time and Knowledge Management](https://github.com/zenany/zenany.github.io/blob/master/_posts/about_time_and_knowledge_management.md)




关于时间管理和知识管理，不要停止思考。

关于个人发展

此生理想、近期规划、今日功课

## 计算机的组成部分

- 输入（信息）
- 存储（信息）
- 处理（信息）
- 输出（信息）

这就是计算机的组成部分。


## 电路和逻辑

每个计算机的输入输出实际上都是信息，都能通过电子信号的开/关来表示（也就是 1 和 0）。计算机需要改变输入的信息，为了这个，使用上百万个很小的电子元件来组成电路。电路之间组合形成逻辑运算。

## 数据和二进制

### 二进制

二进制只有两个数字：0、1。相对于十进制，每进一位乘 2 即可。

### 数据

所有的数据都可以转换成二进制数字来表示，也就是 1 和 0，然后在计算机内部转换成电信号。

## 硬件和软件

计算机设备里面的一大堆电路、芯片、电线、扬声器等就是硬件。其他你在计算机设备里看不到的就是软件，也就是计算机上的所有程序、运行的代码等。
计算机通过**操作系统**的特殊程序来管理软件如何使用硬件。

## 存储、CPU、输入和输出

所有的计算机都在做同样的 4 件事：输入信息、存储信息、处理信息、输出信息。每一件事通过不同的部分来完成。

1. 输入设备从外部世界获取输入，并转换为二进制信息
2. 存储来保存这些信息
3. CPU 来处理信息
4. 输出设备获取信息，转换为物理输出

## 总结

无论你用计算机做什么，计算机所做的都是：从物理世界输入信息，存储和处理信息，输出到物理世界。



无论你用计算机做什么，计算机所做的都是：从物理世界输入信息，存储和处理信息，输出到物理世界。


计算机工作原理

## IP 地址和 DNS

### IP地址

IP地址是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。

联想到物理世界，如果需要快递送上门，需要填写你家的具体地址才可以，IP地址标记了互联网中每一个节点的地址。

### DNS

IP地址是一串数字（形如：127.0.0.1），难以记住这么多节点的地址，所以需要网址（形如：www.baidu.com ）这种更加语义化的名称来记忆。
为了完成网址到IP地址的映射，计算机就需要使用 DNS 查询网络名称，获取对应 IP 地址。

## 数据包、路由和可靠

互联网如何传递信息?

### 数据包

现实生活中发射火箭，需要将火箭运输到发射中心。但是火箭的实际体积非常大，所以可能的情况是：火箭被拆分，然后由多个车辆运输到指定地点，到发射中心后再组装。

在互联网中，传递大图、视频等到另一个计算机，数据量也是很大的，所以数据都会被拆分成多个数据包进行传递。

### 路由

将数据拆分成多个数据包后，每个数据包都有它的来源和去向的互联网地址。这时候，通过称为路由器的特殊计算机就像流量管理器一样，可以使数据包顺利通过网络。

路由器用于跟踪发送数据包的多条路径，根据数据包的目的 IP 地址选择最便宜（最便宜不是说成本，而是时间和政治等多个非技术因素）的可用路径。


### 可靠

通常，数据传输的最佳路径并不一定是最直接的，会有多个路径选择，这样可以保证即使发生了一些错误（比如其中几条路径断了），也可以继续发送数据包（走其他路）。这就是互联网的最基本原则--可靠。

数据包传输到目的地址后，TCP 会对数据包进行签收组装，如果发现缺失，会通知源地址重新发送这些数据包。

## 电话线、网线和 WIFI

大图或视频是如何从一台设备传输到另一台设备呢？通过互联网，用来传递信息的现实物理系统。

互联网类似现实生活的邮政服务，但是在传送的物理层面上不同，互联网使用二进制（0 和 1）传递数据。现在我们已经可以利用**电力**、**光**和**无线电波传**递二进制数据。

因为光的传播速度很快，而且信号衰减很弱（举个栗子：你开始干劲十足要学习，但是没过一会蔫了，没精神了，你的衰减速度就很强，不可靠🐶），所以在世界范围内铺设了大量的海底光缆。

如果不使用线路传输，进行无线传输，一般都是用无线电波信号来传递，设备把二进制数据转换成无线电波不同的频率，接收端收到后再转换回二进制数据。


## 加密和公钥

互联网是一个开放的系统，但是我们可能会使用它传输一些私密数据（比如：银行卡密码）。为了不让他人得知你的银行卡密码，就需要对数据进行加密输出，接收方再进行解密得到正确的银行卡密码。

### 对称加密

**当发送方和接收方都使用相同的秘钥进行加解密时，称为对称加密。**
举个例子，小红和小明约定将数字 +5 进行传输，小红要把数字 2 告诉小明，她对着小明大喊数字是 7 （其他人听到的是 7），但是小明知道数字被 +5 了，解密（7 - 5）后得知小红想说的是 2。

### 非对称加密

但是，互联网是开放的，不可能让单独的两台机器私下约定秘钥，所以计算机使用**非对称加密**，即公钥可以与任何设备交换不共享的私钥，公钥用于加密数据，但是只有访问私钥的设备才能解密。
举个例子，你家的邮箱槽口是公开的，任何人都可以放入邮件，但是只有你自己有钥匙打开这个邮箱，读取别人的邮件，同样的你也可以将邮件放入别人的邮箱，整个过程，任何人都没有对方的邮箱钥匙（这个例子中，槽口是公钥，钥匙是私钥，放进去以后，别人没钥匙，不知道邮件内容是啥）。

## 网络安全与犯罪

网络犯罪带来了巨大的社会问题，可能是个人的、经济的，甚至是国家安全问题。比如，数亿个信用卡号码被盗。也行下一场世界大战不是用传统武器，而是通过计算机切断国家的供水、能源和运输系统。

计算机病毒是一种可执行程序，通常是无意中安装的，它们会伤害用户和他们的计算机。那么病毒是如何进入你的计算机的呢？

- 诱使受害者安装一个程序，欺骗程序的目的，比如伪装成安全更新程序
- 计算机存在漏洞，病毒可以在不需要授权的情况下自行安装

病毒进入计算机后，可以读取、删除文件，控制其他程序，甚至允许其他人远程操作你的电脑。

### 分布式拒绝服务

利用计算机病毒，黑客可以占领全球数百万计的计算机，然后利用它们组成一支数字大军，也就是僵尸网络，攻击和摧毁网站，这就是分布式拒绝服务。拒绝服务是指用过多的请求去淹没一个网站，当攻击来自多个计算机时，称之为分布式拒绝服务。

### 钓鱼诈骗

网络罪犯常用的另一个手段是发送大量垃圾邮件（多种手段，比如：模仿官方网站/钓鱼网站
、诱使点击短信链接等），试图欺骗人们分享敏感的个人信息，这就是网络钓鱼诈骗。

### 个人防护

大多数计算机犯罪并不是系统软件漏洞，而是个人信息防护没有做到位，无意中泄露了隐私敏感信息，做好个人防护还是很重要的。

- 使用强密码，不要使用弱密码，比如你的名字、生日等
- 访问网址时，检查网址是否正确，防止进入钓鱼网站
- 经常安装系统更新，不要不更新
- 不要安装不信任的软件
- 不要乱点短信中的链接

## 搜索引擎如何工作

互联网是由多个网页所连接而成的网，网页间通过超链接彼此相连。搜索引擎通过名为**蜘蛛**的程序在网页中爬行，搜集网页中的信息。蜘蛛每访问一个页面，便会顺着页面中的超链接去访问另一个页面，同时将收集到的信息存到**搜索索引**的特殊数据库。

当你使用搜索引擎提问时，搜索引擎会根据问题到搜索索引中查找包含这些字的网页清单，这样便会得到数以百万计的网页，所以需要对网页进行排序。每个搜索引擎都会使用自己的算法，对网页进行排序。比如，搜索引擎可能会检查你搜寻的字是否出现在网页的标题上，这些词是否彼此相连。

## HTTP 和 HTML

打开浏览器，输入网址，访问网页，那么网络浏览器是如何工作的？

当你在浏览器中输入一个地址，并点击 enter 之后，你的计算机就开始与称之为服务器的另一台计算机对话（这个距离通常是数千公里），服务器通过称之为**HTTP**的语言与你的计算机对话。然后服务器将**HTML**代码返回给你的计算机，你便可以在你的浏览器看到网页。


## 总结

HTTP 和 DNS 管理着 HTML 、媒体文件或 Web 上的任何内容的发送和接收。为了完成数据的发送和接收，TCP/IP和路由器网络，以小数据包的形式分解和传输信息。这些数据包本身由二进制序列组成，序列分别为 1 和 0，并通过电线、光纤和无线网络实际发送。


HTTP 和 DNS 管理着 HTML 、媒体文件或 Web 上的任何内容的发送和接收。为了完成数据的发送和接收，TCP/IP和路由器网络，以小数据包的形式分解和传输信息。这些数据包本身由二进制序列组成，序列分别为 1 和 0，并通过电线、光纤和无线网络实际发送。