△点击上方“Python猫”关注 ，回复“ 1 ”领取电子书
来自机器之心
在深度学习时代，谷歌、Facebook、百度等科技巨头开源了多款框架来帮助开发者更轻松地学习、构建和训练不同类型的神经网络。而这些大公司也花费了很大的精力来维护 TensorFlow、PyTorch 这样庞大的深度学习框架。
除了这类主流框架之外，开发者们也会开源一些小而精的框架或者库。比如今年 4 月份，特斯拉人工智能部门主管 Andrej Karpathy 开源了其编写的微型 autograd 引擎 micrograd，该引擎还用 50 行代码实现了一个类 PyTorch api 的神经网络库。目前，micrograd 项目的 GitHub star 量达到 1200 星。
不久前，天才黑客 George Hotz（乔治・霍兹）开源了一个小型 Autograd Tensor 库 tinygrad，它介于 PyTorch 和 micrograd 之间，能够满足做深度学习的大部分要求。上线不到一个月，该项目在 GitHub 上已经获得 1400 星。
项目地址：https://github.com/geohot/tinygrad
根据 GitHub 内容，下文对 tinygrad 的安装与使用做了简要介绍。感兴趣的同学也可通过 George Hotz 的 YouTube 视频进行学习。
视频地址：https://www.youtube.com/channel/UCwgKmJM4ZJQRJ-U5NjvR2dg
tinygrad 的安装与使用
「tinygrad 可能不是最好的深度学习框架，但它确实是深度学习框架。」
George 在项目中保证，tinygrad 代码量会永远小于 1000 行。
安装
tinygrad 的安装过程非常简单，只需使用以下命令：
`pip3 install tinygrad --upgrade`
示例
安装好 tinygrad 之后，就可以进行示例运行，代码如下：
1`from tinygrad.tensor import Tensor` 2 3 4`x = Tensor.eye(3)` 5 6 7`y = Tensor([[2.0,0,-2.0]])` 8 9 10`z = y.matmul(x).sum()` 11 12 13`z.backward()` 14 15 16`print(x.grad) # dz/dx` 17 18 19`print(y.grad) # dz/dy`
使用 torch 的代码如下：
1`import torch` 2 3 4`x = torch.eye(3, requires_grad=True)` 5 6 7`y = torch.tensor([[2.0,0,-2.0]], requires_grad=True)` 8 9 10`z = y.matmul(x).sum()` 11 12 13`z.backward()` 14 15 16`print(x.grad) # dz/dx` 17 18 19`print(y.grad) # dz/dy`
满足对神经网络的需求
一个不错的 autograd 张量库可以满足你对神经网络 90％的需求。从 tinygrad.optim 添加优化器（SGD、RMSprop、Adam），再编写一些 minibatching 样板代码，就可以实现你的需求。
示例如下：
1`from tinygrad.tensor import Tensor` 2 3 4`import tinygrad.optim as optim` 5 6 7`from tinygrad.utils import layer_init_uniform` 8 9 10 11 12 13`class TinyBobNet:` 14 15 16` def __init__(self):` 17 18 19` self.l1 = Tensor(layer_init_uniform(784, 128))` 20 21 22` self.l2 = Tensor(layer_init_uniform(128, 10))` 23 24 25 26 27 28` def forward(self, x):` 29 30 31` return x.dot(self.l1).relu().dot(self.l2).logsoftmax()` 32 33 34 35 36 37`model = TinyBobNet()` 38 39 40`optim = optim.SGD([model.l1, model.l2], lr=0.001)` 41 42 43 44 45 46`# ... and complete like pytorch, with (x,y) data` 47 48 49 50 51 52`out = model.forward(x)` 53 54 55`loss = out.mul(y).mean()` 56 57 58`loss.backward()` 59 60 61`optim.step()`
支持 GPU
tinygrad 通过 PyOpenCL 支持 GPU。但后向传播暂时无法支持所有 ops。
1`from tinygrad.tensor import Tensor` 2 3 4`(Tensor.ones(4,4).cuda() + Tensor.ones(4,4).cuda()).cpu()`
ImageNet 推断
「麻雀虽小，五脏俱全。」tinygrad 还能够支持 full EfficientNet，输入一张图像，即可得到其类别。
`ipython3 examples/efficientnet.py https://upload.wikimedia.org/wikipedia/commons/4/41/Chicken.jpg`
如果你安装了 webcam 和 cv2，则可以使用以下代码：
`ipython3 examples/efficientnet.py webcam`
注意：如果你想加速运行，设置 GPU=1。
测试
运行以下代码可执行测试：
`python -m pytest`
此外，乔治・霍兹还计划添加语言模型、检测模型，进一步减少代码量、提升速度等。
天才黑客乔治・霍兹
该项目的创建者是著名黑客乔治・霍兹，别号 Geohot。
他于 1989 年出生在美国新泽西州，曾就读于罗切斯特理工学院生物工程专业和卡内基梅隆大学计算机科学系。
然而，乔治・霍兹在自己的 LinkedIn 主页上教育经历描述里是这么写的：
在罗切斯特理工学院就读期间，他的社团活动是「在宿舍黑 iPhone」……
这是他著名的黑客经历之一。2007 年，17 岁的乔治・霍兹成功破解 iPhone 手机，使手机不再局限于 AT&T 网络，而是支持其他 GSM 网络。2009 年，他开发出一款针对 iOS 3.1.2 的越狱软件 blackra1n。2010 年，乔治・霍兹宣布不再进行越狱软件的开发。
然而，他的黑客行动并未停止。
2009 年起，乔治・霍兹开始破解 PlayStation 3（PS3）。2010 年初，他宣布得到了 PS3 系统内存的读写权限和处理器的高级控制权。2011 年 3 月，乔治・霍兹被索尼起诉，后和解。
此外，乔治・霍兹还破解过三星手机等产品。
就工作经历而言，他曾在谷歌、Facebook、SpaceX 工作过。目前，他在自己创立的自动驾驶公司 comma.ai 任职。
2015 年，乔治・霍兹创立了人工智能创业公司 comma.ai，旨在基于机器学习算法构建自动驾驶技术。乔治・霍兹开发出自动驾驶套件 Comma One，只需 1000 美元，用户就能将传统汽车升级成自动驾驶版本。不过，后来这一计划被取消。
2020 年，在 CES 大会上，comma.ai 展出了其最新产品 —— 辅助驾驶设备 Comma Two，售价 999 美元。
comma.ai 公司还开源了辅助驾驶系统 openpilot，参见：https://github.com/commaai/openpilot。
参考链接：https://zh.wikipedia.org/wiki/% E4% B9%94% E6% B2% BB% C2% B7% E9%9C%8D% E5%85% B9
https://en.m.wikipedia.org/wiki/George\_Hotz
**Python猫技术交流群开放啦！**群里既有国内一二线大厂在职员工，也有国内外高校在读学生，既有十多年码龄的编程老鸟，也有中小学刚刚入门的新人，学习氛围良好！想入群的同学，请在公号内回复『 交流群』，获取猫哥的微信 （谢绝广告党，非诚勿扰！）~
近期热门文章推荐：
Python 多线程小技巧：比 time.sleep 更好用的暂停写法！
Python 为什么要在 18 年前引入布尔类型？且与 C、C++ 和 Java 都不同？
感谢创作者的好文
本文分享自微信公众号 - Python猫（python_cat）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。