@Richard Wei 写得很不错，我再来简单说一下 ADMM 在分布式统计学习方面的应用。
我也是最近看了 Boyd 2011 年的那篇文章，之后自己做了一些片面的总结（只针对分布式统计学习问题）：
交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解优化问题的计算框架, 适用于求解分布式凸优化问题，特别是统计学习问题。 ADMM 通过分解协调（Decomposition-Coordination）过程，将大的全局问题分解为多个较小、较容易求解的局部子问题，并通过协调子问题的解而得到大的全局问题的解。
ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。
完整的总结在我的博客上，此文可以作为 ADMM 的快速入门：
用ADMM实现统计学习问题的分布式计算 · MullOver
