 |
gaocegege |
gaocegege
gaocegege.com/Blog/
Shanghai, China
gaocegege
gaocegege
上海交通大学 划水专业
| 分享创造 • gaocegege envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？） 2022 年 9 月 9 日 • 最后回复来自 gaocegege | 19 |
| 问与答 • gaocegege 如何对深度学习训练进行性能调优？ 2022 年 9 月 1 日 |
| 分享创造 • gaocegege [ANN] 关于复式记账语言 Beancount 过分难用这件事 2022 年 4 月 23 日 • 最后回复来自 wdssmq | 39 |
| 分享创造 • gaocegege [ANN] 把支付宝、微信等账单转为 BeanCount 记账的命令行工具 2021 年 8 月 13 日 • 最后回复来自 TripleZ | 3 |
| 水 • gaocegege 腾讯 2022 校招 CSIG 推荐 2021 年 8 月 7 日 • 最后回复来自 gaocegege | 1 |
| 酷工作 • gaocegege [校招][字节跳动-基础架构团队] 北京/上海/南京/杭州/深圳都有职位 2020 年 9 月 1 日 • 最后回复来自 QZhan | 16 |
| 分享创造 • gaocegege [GitHub 开源项目] Managing Machine Learning/Deep Learning Models like Docker Images 2020 年 7 月 22 日 • 最后回复来自 gaocegege | 4 |
| 酷工作 • gaocegege [上海][B 轮][15-30k] 招聘云原生 AI Infra 工程师，经验不限，直接参与上游 Kubeflow 社区贡献 2020 年 1 月 25 日 • 最后回复来自 gaocegege | 6 |
| 分享创造 • gaocegege [ANN] Processing.R – R 语言做数据可视化的另一种思路 2017 年 5 月 14 日 |
| 分享创造 • gaocegege [For GiHub Maintainer] 一个希望可以方便 Miantainer 的 CLI 2017 年 4 月 28 日 • 最后回复来自 gaocegege | 1 |
gaocegege 最近回复了
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 9 日 |
@hsfzxjy
> 比如像我比较熟悉和习惯构建容器，在我看来这就是借 Python 语法实现的一个 DSL ，并没有解决我太多的痛点，反而在遇到问题时这个 DSL 会显得特别蹩脚。当然我可能不是你们的目标用户~
谢谢建议，如果你有兴趣的话，我们可以约一次线上的时间交流一下。关于你日常工作中在构建时遇到的问题，和现在你一般都是如何解决的。这对我们非常有帮助~
> 比如像我比较熟悉和习惯构建容器，在我看来这就是借 Python 语法实现的一个 DSL ，并没有解决我太多的痛点，反而在遇到问题时这个 DSL 会显得特别蹩脚。当然我可能不是你们的目标用户~
谢谢建议，如果你有兴趣的话，我们可以约一次线上的时间交流一下。关于你日常工作中在构建时遇到的问题，和现在你一般都是如何解决的。这对我们非常有帮助~
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 9 日 |
@hsfzxjy 谢谢建议
嗯对于这样的 heuristics ，我们是希望在支持了 envd Hub 之后，由用户提供不同的 build func ，envd 本身提供的原语需要能够支持用户利用它写出各种各样的 build func 。
对于你说的这个例子，一个类似于这样的 build func 可以被定义：
```python
def build_torch_extension():
os.environ("TORCH_CUDA_ARCH_LIST", "3.5 5.2 6.0 6.1 7.0+PTX 8.0" TORCH_NVCC_FLAGS="-Xfatbin -compress-all")
...
```
在使用的时候可以：
```python
load("build_torch_extension")
def build():
build_torch_extension()
```
作为一个帮助解决 dirty work 的项目，我们希望能够通过扩展性来解决各种不同场景的问题，因为不同场景的 dirty work 都不太一样，我们也很难把所有的 heuristics 都集成在项目里
当然最简单的框架和 CUDA 的版本映射，这个倒是不复杂。
嗯对于这样的 heuristics ，我们是希望在支持了 envd Hub 之后，由用户提供不同的 build func ，envd 本身提供的原语需要能够支持用户利用它写出各种各样的 build func 。
对于你说的这个例子，一个类似于这样的 build func 可以被定义：
```python
def build_torch_extension():
os.environ("TORCH_CUDA_ARCH_LIST", "3.5 5.2 6.0 6.1 7.0+PTX 8.0" TORCH_NVCC_FLAGS="-Xfatbin -compress-all")
...
```
在使用的时候可以：
```python
load("build_torch_extension")
def build():
build_torch_extension()
```
作为一个帮助解决 dirty work 的项目，我们希望能够通过扩展性来解决各种不同场景的问题，因为不同场景的 dirty work 都不太一样，我们也很难把所有的 heuristics 都集成在项目里
当然最简单的框架和 CUDA 的版本映射，这个倒是不复杂。
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 9 日 |
@hsfzxjy 嗯嗯，cog 是在内存里维护了一个 map ，把每个 pytorch tf 版本对应的 cuda 版本记在了里面。我们后面也有计划提供一个 func ，来让使用者指定是否要自动推理合适的 cuda 版本
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 9 日 |
@hsfzxjy 默认用 install.cuda 配置的就是带 devel 的，不过现在只支持 11.6 和 11.2 ，也可以用
base(image="") 自定义 base image
base(image="") 自定义 base image
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 8 日 |
@hsfzxjy 你想用的是哪个版本嘞？
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 8 日 |
@houshuu 欢迎试用反馈哦
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 8 日 |
@hsfzxjy 这样，学习了
这个例子是参考了 2017 年的一个 mnist streamlit 的 demo ，可能有点非最佳实践
这个例子是参考了 2017 年的一个 mnist streamlit 的 demo ，可能有点非最佳实践
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 8 日 |
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 8 日 |
| 回复了 gaocegege 创建的主题 › envd：配置深度学习炼丹环境的新选择（也是适合拿来学习 golang 的项目？）2022 年 9 月 8 日 |
嗯对，如果不冲突的话是可以的。所以我们也在设计语法让用户自己决定是不是需要并行。
有冲突就需要 fallback 到串行。
有冲突就需要 fallback 到串行。