winchang
V2EX  ›  程序员

想研究 Spark RPC 的主 er,有福了

By winchang at 2022 年 9 月 4 日 · 3296 次点击

为啥说有福?

  • 把 rpc 模块从 spark 源码里面拆出来,可以独立运行
  • 代码量少了 N 倍,不在惧怕海量代码
  • 对比 Akka Actor ,实现 Hello World

看大型源码库不易,期待您的鼓励: https://github.com/changzhiwin/spark-rpc

15 条回复  •  2023-01-03 21:48:46 +08:00
lmshl
   1
lmshl  
   2022 年 9 月 4 日
感觉不如去研究 ScalaPB 或者 akka-grpc ,那才是真正的通用 RPC 框架

真要是对比 RPC 框架的话也不应该拿 Akka actor 对比,Akka remote/cluster/sharding 那都是做分布式系统建模的,压根不是给通用 rock 场景准备的方案
lmshl
   2
lmshl  
   2022 年 9 月 4 日
*typo: rock -> rpc
tyrantlucifer
   3
tyrantlucifer  
   2022 年 9 月 4 日
不错,好东西,支持一下。
winchang
   4
winchang  
OP
   2022 年 9 月 4 日
@lmshl 你说没问题,不是要对比出个啥子。
只是在研究 spark core 的时候,顺便把 rpc 理解了下。
又因为早期 spark 的版本是用的 akka ,后面 Spark 采用了自己实现的简版 rpc 。
纯粹技术学习,不是为了说明好与坏。
lmshl
   5
lmshl  
   2022 年 9 月 7 日
@winchang 如果有意向研究 Scala 方向的技术的话,建议沿着你 quill + http4s 那条路(changzhiwin/mvc-quill)接着走,比如从 quill 层直接返回 cats-effect 的 IO ,全程不参与 Future 。还有用 Tagless final 来替换 class 构造参数的注入形式等等
winchang
   6
winchang  
OP
   2022 年 9 月 7 日
@lmshl 你说这个路子,国内很少有应用的,工作机会少是个问题。
lmshl
   7
lmshl  
   2022 年 9 月 7 日
@winchang 扎心了,扎心了

不过说真的,我要是失业了,我就学好英语去卷国外的远程工作,函数式方向时薪能给到 $100/h 左右
winchang
   8
winchang  
OP
   2022 年 9 月 7 日
@lmshl 学好英语,是比编程、看源代码至少难一个数量级的事情。卷国外远程,需要流利的英语口语(我过的亏,是写不出来的)。
winchang
   9
winchang  
OP
   2022 年 9 月 7 日
@lmshl 介绍个机会,我大概率能把 quill + http4s 研究的明明白白。
hepin1989
   10
hepin1989  
   2022 年 10 月 14 日
给 Akka 贡献点吧,thanks , 给 fork 贡献点也行
winchang
   11
winchang  
OP
   2022 年 11 月 13 日
@hepin1989 你们有贡献 Akka ?
hepin1989
   12
hepin1989  
   2022 年 11 月 14 日
@winchang 我个人有一些的。
winchang
   13
winchang  
OP
   2022 年 11 月 14 日
@hepin1989 follow you
winchang
   14
winchang  
OP
   2022 年 11 月 14 日
akka 的 LICENSE 换了吧,玩法有不一样吗?
sinboy1988
   15
sinboy1988  
   2023 年 1 月 3 日 via Android
start ➕1 ,关注
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
© 2026 V2EX · 37ms · 3.9.8.5