Skip to content

Commit c4b9836

Browse files
committed
add posts
1 parent 6d5768c commit c4b9836

40 files changed

+48
-82
lines changed

_config.yml

Lines changed: 1 addition & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -21,9 +21,7 @@
2121
title: YF Robotics Lab
2222
email: yfrobotics@gmail.com
2323
description: >- # this means to ignore newlines until "baseurl:"
24-
Write an awesome description for your new site here. You can edit this
25-
line in _config.yml. It will appear in your document head meta (for
26-
Google search results) and in your feed.xml site description.
24+
YF Robotics Lab
2725
baseurl: "" # the subpath of your site, e.g. /blog
2826
url: "" # the base hostname & protocol for your site, e.g. http://example.com
2927
twitter_username: yfrobotics

_posts/2020-10-18_community-campaign.md renamed to _posts/2020-10-18-community-campaign.md

Lines changed: 3 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,9 @@
11
---
22
layout: post
3-
title: "Welcome to Jekyll21212"
4-
date: 2024-11-12 03:51:06 +0000
5-
categories: jekyll update3
3+
title: "写在云飞机器人实验室改版之际"
4+
date: 2020-10-18 03:51:06 +0000
5+
categories: jekyll update
66
---
7-
# 写在云飞机器人实验室改版之际
87

98
云飞实验室自2010年成立至今,风风雨雨已十载。
109

_posts/2020-11-29_nvidia-jetson-nano-intro-and-guidance.md renamed to _posts/2020-11-29-nvidia-jetson-nano-intro-and-guidance.md

Lines changed: 22 additions & 23 deletions
Original file line numberDiff line numberDiff line change
@@ -1,22 +1,21 @@
11
---
22
layout: post
3-
title: "Welcome to Jekyll!"
4-
date: 2024-11-12 03:51:06 +0000
5-
categories: jekyll update2
3+
title: "Nvidia Jetson Nano介绍与使用指南"
4+
date: 2020-11-29 03:51:06 +0000
5+
categories: jekyll update
66
---
7-
# Nvidia Jetson Nano介绍与使用指南
87

98
[toc]
109

11-
![jetson-outofbox.JPG](assets/nvidia-jetson-nano-intro-and-guidance/jetson-outofbox.JPG)
10+
![jetson-outofbox.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/jetson-outofbox.JPG)
1211

1312
> 本文介绍了Nvidia Jetson Nano的硬件参数、性能、使用方法及个人主观的使用体验。
1413
1514
## 1. Jetson简介
1615

1716
Jetson Nano是Nvidia在TX2和Xavier获得成功后推出的低配版GPU运算平台。我在Jetson Nano 2019年3月刚上市的时候就入手了一块开发套件(英国Pimoroni购入,110磅)。这次乘着短暂的假期,来补一下对它的评测。谈一个硬件平台,首先绕不开的就是它的纸面参数。在官方的资料上,Jetson Nano公布的参数如下:
1817

19-
![5ea1fa3fce538f099800009c](assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009c.png)
18+
![5ea1fa3fce538f099800009c](/assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009c.png)
2019

2120
Nano最大的特色就是包含了一块128核Maxwell架构的GPU,虽然已经是几代前的架构,不过因为用于嵌入式设备,从功耗、体积、价格上也算一个平衡。Nano的计算能力不高,勉强可以使用一些小规模、并且优化过的网络进行推理,训练的话还是不够用的。A53的CPU中规中矩,隔壁的树莓派4已经升级为A72。4GB的内存并不能完全使用,因为其中有一部分(1GB左右)是和显存共享的。Jetson Nano的最大优势还是在体积上,它采用核心板可拆的设计,核心板的大小只有70 x 45 mm,可以很方便的集成在各种嵌入式应用中。同时它的功耗也非常低,有两种模式:
2221

@@ -27,29 +26,29 @@ Nano最大的特色就是包含了一块128核Maxwell架构的GPU,虽然已经
2726

2827
Jetson Nano Developer Kit的整体做工十分好,符合Nvidia的一贯质量,这里分享几个图片:
2928

30-
![DSC00697.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00697.JPG)
29+
![DSC00697.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00697.JPG)
3130

3231
▲ Jetson Nano开发套件的背面,可见做工十分精良 ▲
3332

34-
![DSC00704.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00704.JPG)
33+
![DSC00704.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00704.JPG)
3534

3635
▲ Jetson Nano套件的核心板为可拆卸设计,将主板拆卸后会露出一路M.2接口的单路PCIE,可接无线网卡 ▲
3736

38-
![DSC00703.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00703.JPG)
37+
![DSC00703.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00703.JPG)
3938

4039
▲ Jetson Nano核心板的背面,也是安装SD卡的位置 ▲
4140

4241
Jetson Nano的硬件布局如下 (对应A02版本; B01版本除了电源按钮接口和额外一路CSI外,其他布局基本相同):
4342

44-
![5ea1fa3fce538f099800009c](assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f0998000099.png)
43+
![5ea1fa3fce538f099800009c](/assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f0998000099.png)
4544

4645
值得注意的是,Jetson Nano除了之前提到的核心板分离式设计(J2),还包括了一个M.2接口,可以用来外接无线网卡。除此之外,Jetson Nano有与树莓派兼容的外设接口(J41);风扇接口(J15);摄像头接口(J13);以及USB和HDMI。另外J40是按键接口,类似PC主板上的接口,各个接口的说明如下,不用的话直接悬空:
4746

48-
![5ea1fa3fce538f099800009c](assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009d.png)
47+
![5ea1fa3fce538f099800009c](/assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009d.png)
4948

5049

5150

52-
![DSC00698.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00698.JPG)
51+
![DSC00698.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00698.JPG)
5352

5453
▲ Jetson Nano的外设接口,从左至右分别为:电源接口、HDMI、DisplayPort、USB、以太网接口及USB供电接口 ▲
5554

@@ -79,7 +78,7 @@ Jetson整个系列型号的对比如下:
7978

8079
官方给出了常见CNN模型在使用TensorRT下得出的帧率(FP16, batch size = 1):
8180

82-
![fdc5b8d044de7024501e0f3bcf67da88.png](assets/nvidia-jetson-nano-intro-and-guidance/fdc5b8d044de7024501e0f3bcf67da88.png)
81+
![fdc5b8d044de7024501e0f3bcf67da88.png](/assets/nvidia-jetson-nano-intro-and-guidance/fdc5b8d044de7024501e0f3bcf67da88.png)
8382

8483
可见大部分模型为可用状态(FPS > 10),其中ResNet、Mobilenet和Tiny Yolo性能优异,可以达到30帧,已经可以用于移动场景了。注意这里使用的是Nvidia自己优化的TensorRT,而不是标准的Tensor库。Nvidia没有公布太多具体的细节,但是提到使用了kernel auto-tuning、dynamic tensor memory、layer fusion和quantization (FP16/INT8) 等方法来加速网络的执行效率,这点还是非常优秀的。
8584

@@ -95,7 +94,7 @@ Jetson整个系列型号的对比如下:
9594

9695
Jetson Nano在使用的时候**一定要用一个风扇压一下**,不然会因为被动散热能力不够而频繁死机。我用的是Noctua NF-A4x20 5V PWM。散热片的上方有四个安装风扇的固定孔,需要用自攻螺丝固定。我这里为了不造成破坏,用了四个捆扎带固定风扇。
9796

98-
![DSC00696.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00696.JPG)
97+
![DSC00696.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00696.JPG)
9998

10099
▲ Jetson Nano安装Noctua 5v风扇 ▲
101100

@@ -106,11 +105,11 @@ Jetson Nano在使用的时候**一定要用一个风扇压一下**,不然会
106105

107106
Jetson机身只有Ethernet有线网络,不包括无线网卡,使用的时候有时候不是很方便。官方推荐使用的AC8265这款2.4G/5G双模网卡,同时支持蓝牙4.2。我这里使用的是微雪AC8265网卡 + 天线套件:
108107

109-
![ac8265.jpg](assets/nvidia-jetson-nano-intro-and-guidance/ac8265.jpg)
108+
![ac8265.jpg](/assets/nvidia-jetson-nano-intro-and-guidance/ac8265.jpg)
110109

111110
安装过程非常简单,将核心板拆卸开,露出M2接口,然后将网卡插入,用一个螺丝固定即可:
112111

113-
![DSC00705.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00705.JPG)
112+
![DSC00705.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00705.JPG)
114113

115114
▲ 为Jetson Nano安装无线网卡 ▲
116115

@@ -121,7 +120,7 @@ Jetson机身只有Ethernet有线网络,不包括无线网卡,使用的时候
121120

122121
Jetson包含CSI相机接口(A01有一路;B02版本有两路),可以接树莓派摄像头(基于MX219),相机接口在如下位置(安装时注意接口的正反,信号触点面朝里):
123122

124-
![DSC00699.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00699.JPG)
123+
![DSC00699.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00699.JPG)
125124

126125
▲ Jetson Nano CSI相机接口及电源按钮接口 ▲
127126

@@ -138,7 +137,7 @@ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM),width=3820, height=2
138137

139138
这么贵重的电路板还是建议使用一个外壳保护一下的。虽然有些外壳的安装步骤较为繁琐,但是可以有效的防止电路板受到损坏,还是值得的。淘宝上有很多选择,但英国这里可选的余地有限(也很贵),最后买了以下这款全金属外壳:
140139

141-
![DSC00711.JPG](assets/nvidia-jetson-nano-intro-and-guidance/DSC00711.JPG)
140+
![DSC00711.JPG](/assets/nvidia-jetson-nano-intro-and-guidance/DSC00711.JPG)
142141

143142
▲ Jetson Nano安装好后外壳后的样子。我选的这款金属外壳含电源按钮、天线固定口和相机支架 ▲
144143

@@ -214,13 +213,13 @@ gsettings set org.gnome.Vino require-encryption false
214213

215214
相关的示例可以在以下文件夹里找到:
216215

217-
![5ea1fa3fce538f099800009c](assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009a.png)
216+
![5ea1fa3fce538f099800009c](/assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009a.png)
218217

219218
关于JetPack的更多内容可见: [https://www.developer.nvidia.com/embedded/jetpack](https://www.developer.nvidia.com/embedded/jetpack)
220219

221220
除了JetPack,Nvidia还提供了以下开发工具:
222221

223-
![5ea1fa3fce538f099800009c](assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009b.png)
222+
![5ea1fa3fce538f099800009c](/assets/nvidia-jetson-nano-intro-and-guidance/5ea1fa3fce538f099800009b.png)
224223

225224
除此之外,官网上还能找到很多Jetson的相关资源:
226225

@@ -257,17 +256,17 @@ $ sudo ldconfig
257256

258257
Inference Example 1. [Classifying Images with ImageNet](https://github.com/dusty-nv/jetson-inference/blob/master/docs/imagenet-console-2.md)
259258

260-
![b5ccc214a6798454da0d1a84bc8408a6.png](assets/nvidia-jetson-nano-intro-and-guidance/b5ccc214a6798454da0d1a84bc8408a6.png)
259+
![b5ccc214a6798454da0d1a84bc8408a6.png](/assets/nvidia-jetson-nano-intro-and-guidance/b5ccc214a6798454da0d1a84bc8408a6.png)
261260

262261

263262
Inference Example 2. [Locating Objects with DetectNet](https://github.com/dusty-nv/jetson-inference/blob/master/docs/detectnet-console-2.md)
264263

265-
![cfb588fb34b575ba582b064b728d4385.png](assets/nvidia-jetson-nano-intro-and-guidance/cfb588fb34b575ba582b064b728d4385.png)
264+
![cfb588fb34b575ba582b064b728d4385.png](/assets/nvidia-jetson-nano-intro-and-guidance/cfb588fb34b575ba582b064b728d4385.png)
266265

267266

268267
Inference Example 3. [Semantic Segmentation with SegNet](https://github.com/dusty-nv/jetson-inference/blob/master/docs/segnet-console-2.md)
269268

270-
![86d69d1696ddfbe9de08c52f609f1b1b.png](assets/nvidia-jetson-nano-intro-and-guidance/86d69d1696ddfbe9de08c52f609f1b1b.png)
269+
![86d69d1696ddfbe9de08c52f609f1b1b.png](/assets/nvidia-jetson-nano-intro-and-guidance/86d69d1696ddfbe9de08c52f609f1b1b.png)
271270

272271

273272
除此之外还包含了若干如何Training的教学,感兴趣的朋友自行前往阅读。

_posts/2020-12-23_how-far-is-cyberpunk.md renamed to _posts/2020-12-23-how-far-is-cyberpunk.md

Lines changed: 13 additions & 12 deletions
Original file line numberDiff line numberDiff line change
@@ -1,14 +1,15 @@
11
---
22
layout: post
3-
title: "Welcome to Jekyll!"
4-
date: 2024-11-13 03:51:06 +0000
5-
categories: jekyll update2
3+
title: "赛博朋克的生活离我们多远"
4+
date: 2020-12-23 03:51:06 +0000
5+
categories: jekyll update
66
---
7-
![d0b2202e8be6b8d9155d56b0b844f6d4.png](assets/how-far-is-cyberpunk/d0b2202e8be6b8d9155d56b0b844f6d4.png)
7+
8+
![d0b2202e8be6b8d9155d56b0b844f6d4.png](/assets/how-far-is-cyberpunk/d0b2202e8be6b8d9155d56b0b844f6d4.png)
89

910
最近最火热的话题莫过于游戏《赛博朋克2077》了,我本身是一个游戏迷,对于这款充满未来元素与机器科技的游戏就更加期待了。这两天,我不断收到知友们关于“赛博朋克中的科技到底离我们还有多远?”问题的邀请,借由此机会我想对赛博朋克世界中的内容 --- 主要是科技元素的可行性 --- 进行一些讨论。赛博朋克世界中的主要科技元素基本相似,以下就围绕在《赛博朋克2077》游戏中出现的元素进行讨论。
1011

11-
![cyperpunk-outline.png](assets/how-far-is-cyberpunk/赛博朋克.png)
12+
![cyperpunk-outline.png](/assets/how-far-is-cyberpunk/赛博朋克.png)
1213

1314

1415

@@ -36,15 +37,15 @@ categories: jekyll update2
3637
义肢的核心技术并不是机械,而是机械如何与人进行结合,成为“仿生人 (Cyborg)”。仿生人具有异于常人的能力,可以通过义眼获得更好的视觉系统,义腿获得更好的速度和弹跳力,甚至可以扩充记忆能力以及获得连接互联网数据的能力。
3738

3839
义肢的核心技术就是如何使人和大脑相连接,这点需要依赖大脑科学和认知神经科学。目前state-of-the-art已经可以“读取”大脑的基本指令,实现义手的控制,并且已经可以达到非常可观的精度:
39-
![5cec22d6c6ddd8e4074009bd5fed2ada.png](assets/how-far-is-cyberpunk/5cec22d6c6ddd8e4074009bd5fed2ada.png)
40+
![5cec22d6c6ddd8e4074009bd5fed2ada.png](/assets/how-far-is-cyberpunk/5cec22d6c6ddd8e4074009bd5fed2ada.png)
4041
▲ Open Biotics研发的机械手义肢 ▲
4142

4243
在军工领域,也已经有了体外骨骼,为士兵提供更强的能力。当然他们的原理并非阅读大脑信号,而是将操作者的行为进行了放大:
43-
![9b9a0482c2a4212c16be896420fa98f2.png](assets/how-far-is-cyberpunk/9b9a0482c2a4212c16be896420fa98f2.png)
44+
![9b9a0482c2a4212c16be896420fa98f2.png](/assets/how-far-is-cyberpunk/9b9a0482c2a4212c16be896420fa98f2.png)
4445
▲ 体外骨骼 ▲
4546

4647
然而真正做的赛博朋克中的仿生人,我们不仅需要读取大脑的信息,还需要可以“写入”。比如义眼需要可以修改人的视觉信号,刺激相应的神经,“仿真”出和人眼一样的信号从而“欺骗”大脑。在这个领域,Elon Musk的脑机接口Neruallink (https://neuralink.com/) 被视为这个方向的代表。
47-
![7d5a3a0ad2e56c7953b86428560a90e2.png](assets/how-far-is-cyberpunk/7d5a3a0ad2e56c7953b86428560a90e2.png)
48+
![7d5a3a0ad2e56c7953b86428560a90e2.png](/assets/how-far-is-cyberpunk/7d5a3a0ad2e56c7953b86428560a90e2.png)
4849
▲ Neruallink脑机接口概念图 ▲
4950

5051
目前在脑机接口领域的研究很有限,主要还是以在鼠类/猴类上进行简单行为为主。因为“写入”可能会反向损伤大脑,研究的难度比“读取”大很多,所以进展缓慢。期待这方面在未来的十年会有小突破。然而要完全实现脑机交互,十年是不够的,可能需要20-50年,离我们现在的生活还比较远。
@@ -53,7 +54,7 @@ categories: jekyll update2
5354
### 2.2. 机器人
5455
在《赛博朋克2077》中出现的机器人以传统的机器人形象为主,依然是冰冷的机器,而没有刻意像《底特律:变人》中一样强调机器也有可能有情感。我想这是因为赛博朋克世界中更想强调“人越来越像机器”而不是“机器越来越像人”。在赛博朋克游戏中出现的最先进的机器人应该是主线任务中Militech的这款Spider Bot:
5556

56-
![13656aa6ba06b18ed7c96991d705a9ff.png](assets/how-far-is-cyberpunk/13656aa6ba06b18ed7c96991d705a9ff.png)
57+
![13656aa6ba06b18ed7c96991d705a9ff.png](/assets/how-far-is-cyberpunk/13656aa6ba06b18ed7c96991d705a9ff.png)
5758
▲ Spider Bot by Militech in Cyberpunk 2077 ▲
5859

5960
游戏中主要展现了它全地形攀爬以及具有光学隐形能力。对于全地形攀爬(包括附着在天花板上),应该可以通过磁力吸附,相关技术我在2014年的时候研究过,但是这里的难点是它的吸附着力点面积很小。解决方法是:增大磁场生成功率的同时要减轻自重。这点只能通过提高能量密度实现,即需要更好的动力系统。
@@ -66,12 +67,12 @@ categories: jekyll update2
6667
### 2.3. AR与VR
6768
赛博朋克中的另一个元素就是AR和VR。AR的场景即是V可以通过义眼的扫描增强功能,读取周围物体和人物的信息。这一点结合图像识别和5G网络,在现如今已经可以小规模实现。然而想要大规模实现,需要有完善的数据库、图像语义识别能力、高速的移动网络,其中也涉及了一些隐私数据的保护等伦理问题。
6869

69-
![676c17fc7ae7de07c3e4201536d886b4.png](assets/how-far-is-cyberpunk/676c17fc7ae7de07c3e4201536d886b4.png)
70+
![676c17fc7ae7de07c3e4201536d886b4.png](/assets/how-far-is-cyberpunk/676c17fc7ae7de07c3e4201536d886b4.png)
7071
▲ 2077中的扫描功能 ▲
7172

7273
游戏中的另一个元素是VR,这一点就是很多人沉迷于一种叫“超梦/BD”的技术。超梦是一种将别人的经历(包括感官上的)录制下来,之后播放者可以复现的一种技术。严格意义上来说,超梦并不是VR,而是一种5D电影,在传统3D的基础上,增加了视觉和感官。它既是一种类似电影的沉浸式体验,也因为体验者有“我即是电影中主角的错觉”从而产生了与传统电影完全不同的体验。这一点上,实现的主要技术依然是人脑接口技术,因为要将人的感官复现,必须要能读取到人诸如嗅觉、视觉、触觉等感官的信号。以此为基础的话,录制和播放本身就和我们现在录短片、看短片一样。
7374

74-
![7239fccc40500cad4539071749171a60.png](assets/how-far-is-cyberpunk/7239fccc40500cad4539071749171a60.png)
75+
![7239fccc40500cad4539071749171a60.png](/assets/how-far-is-cyberpunk/7239fccc40500cad4539071749171a60.png)
7576
▲ 使用超梦需要使用专用的接入设备 ▲
7677

7778
AR与VR技术在推广中受到了很大的阻挠,其原因还是因为设备无法小型化/技术不成熟/使用场景模糊。然而比起目前的实现方式来说,它们之后更多的会隐藏在我们每一个设备中,无处不在,你却不再感受得到它们。比如在你的汽车挡风玻璃上,在你的镜子里。虽然我们现在总是把这两个技术放在一起来说,但对比两个技术,AR有更多的“实用”因素,它强调扩展信息,而VR更强调的是“体验”,这也决定了它们之后会有截然不同的技术道路。
@@ -80,7 +81,7 @@ AR与VR技术在推广中受到了很大的阻挠,其原因还是因为设备
8081
### 2.4. 强大的AI与计算机网络
8182
以上几乎所以技术都依赖于强大的AI辅助以及有复杂的计算机网路作为支撑。游戏中一个很重要的元素就是你可以进入Cyber-space. 在赛博朋克的世界里,cyber-space是一个比物理世界更宏大的存在。黑客们在其中找到生活的空间,人也可以逃避现实生活的无情,而沉浸在虚拟的网络世界中。这一点在很多科幻电影中已经都有体现,如Ready Player One/头号玩家。AI一定程度上帮助了我们工作和生活,另一个程度上又让我们产生了过强的依赖性,以至于离开它们我们就无法继续生活下去了。在赛博朋克的世界中,就出现了逃离这种生活的反抗者,他们寻求自我,摆脱高科技的奴役。
8283

83-
![79b8e70ec47d2d8ff31474d5538e5971.png](assets/how-far-is-cyberpunk/79b8e70ec47d2d8ff31474d5538e5971.png)
84+
![79b8e70ec47d2d8ff31474d5538e5971.png](/assets/how-far-is-cyberpunk/79b8e70ec47d2d8ff31474d5538e5971.png)
8485
▲ 2077中的Cyber-space ▲
8586

8687
然而,游戏中表现的这种场景离我们甚远,是科技发展到一定阶段所会带来的社会问题。目前我们的阶段还处在非常初期的阶段,我们看见了深度学习在一些领域上崭露头角,尤其是DeepMind、OpenAI、Tesla和国内的腾讯、阿里、百度等公司的成果。但是想要让AI更加渗入进生活的方方面面,还需要研究和开发人员的不懈努力。AI的发展(以及一切科技)都是螺旋中上升的,我们需要静观其变,给予它们充分的时间去发展。同时,我们也要谨记科技不是用来作恶的。我们在技术发展的过程中,一定要把握好这把双刃剑,需要约法三章,避免科技得到滥用(如智能摄像头、匿名身份识别、点对点武器打击)。

0 commit comments

Comments
 (0)