golang并发（同步）多任务高性能执行&聚合

taskgroup

golang并发执行多任务(网络i/o、磁盘i/o、内存i/o等)，并聚合收集多任务执行结果与执行状态（如任务组执行失败，返回首个必要成功任务的错误信息, 且会立即停止后续任务的运行）。

使用文档、 项目github

使用: go get github.com/mlee-msl/taskgroup

功能特点

• 并发安全的执行多个任务
• 将多个任务的执行结果与执行状态进行聚合
• 通过扇出/扇入模式，结合线程安全channel实现高效协程间通信
• 多任务复用(共享)同一协程，避免了因协程频繁创建或销毁带来的开销，一定程度上也减少了上下文切换（特别是，内核线程与用户协程间的切换）的频次
• early-return，当出现必要成功的任务失败时，停止执行所有goroutine后续的其他任务

  vs官方扩展库errgroup

  • errgroup 没有任务添加阶段，直接会使用协程执行指定的任务

    可通过限制协程数量上限，控制并发量（指定buffer size的channel实现）,当协程数达到上限时，需要等待现有任务执行结束，然后开启新的协程，会增加协程创建或销毁的成本

    另外，当协程量不指定时（默认协程量不受限），随着任务量的增加，会增加内核态线程与用户态协程间的上下文切换成本

  • errgroup可支持带有取消Context的模式，但实际上，该种模式下仍需要所有执行任务的goroutine执行完毕（每个任务都会绑定到新的goroutine上）
  • 仅返回了首个出现错误的接口(任务)状态，未将所有接口(任务)的执行结果（或执行状态）进行收集

    性能

    • cpu性能

      go test -benchmem -run=^$ -bench ^BenchmarkTaskGroupHigh$ -cpu='1,2,4,8,16' -benchtime=10x -count=5 -cpuprofile='cpu.pprof' .

    • 内存性能

      go test -benchmem -run=^$ -bench ^BenchmarkTaskGroupHigh$ -cpu='1,2,4,8,16' -benchtime=10x -count=5 -memprofile='mem.pprof' .

    • 阻塞性能

      go test -benchmem -run=^$ -bench ^BenchmarkTaskGroupHigh$ -cpu='1,2,4,8,16' -benchtime=10x -count=5 -blockprofile='block.pprof' .

    • 锁性能

      go test -benchmem -run=^$ -bench ^BenchmarkTaskGroupHigh$ -cpu='1,2,4,8,16' -benchtime=10x -count=5 -mutexprofile='mutex.pprof' .

      其他

      • 核心功能的测试用例均采用Fuzz Test模糊测试，并测试通过，模糊测试用例
      • 包中提供的核心功能，均有Example Test样例用例，并执行通过，样例用例

        关于

        • 欢迎大家对 项目github 进行star、fork
        • 欢迎大家积极共建，提一切可能的Issues，进行PR（MR）