“熵”与“流”——从“复杂到生命”系列之二

张江集智俱乐部

提纲

关注热力学

统计物理、熵

生命之流

熵

永动机与热力学定律第一类永动机（第一定律）第二类永动机（第二定律）

能源

ΔE

ΔQ

ΔW

耗散掉的热

有用功ΔQ= TΔS>0

克劳修斯熵

ΔE= ΔQ+ ΔW

ΔQ>0

自然系统的“目的性”

香水会扩散到空气中破镜不能重圆屋子会堆满尘土

自发现象

非自发现象将香水装入瓶子中铸造新的镜子把屋子打扫干净

两个实例

热二定律不仅仅适用于“物理”系统

统计物理的目标

微观：大量分子

解释宏观量：压强、体积、温度、能量、熵解释宏观热力学定律，例如理想气体状态方程： PV/T=C

其中，熵的解释最关键

一个简单实例 (其实就是大数定律 ) 有 N=6个随机数 (x1,x2,…,x6)，每个 xi只能取值 0或者 1

一个观察者，由于观测手段上的缺陷，只能看到 N=6个数的和，而不知道每个数具体是几

一次试验就是产生 N=6个随机数，观察者得到一次具体的观测数值（ N个数的和值）

重复进行多次试验，观察者将会得到什么结论？ 观察者得到最多的结果是 3，而 0或者 6几乎很难观察到

当 N非常大的时候，观察者只能得到结论 N/2，其他结果“消失了”

解释

000000000001000010……

111111

微观态 (共 2^6个 )

000111001101……

0

123

6

45

宏观态

C(6,0)=1

C(6,1)=6C(6,2)=15C(6,3)=20

C(6,6)=1

C(6,4)=15C(6,5)=6

观察

一个宏观态 X对应的微观态数目W(X)

熵 S(X)=k lnW(X)

玻尔兹曼登场

一个物理模型

一个假想的容器，里面有 N=6个不同小球，小球的速度大小固定，方向随机取值，匀速直线运动（忽略小球间的碰撞，碰到器壁将反弹）。假设小球每个时刻只能占领一个格子

第一步：定义微观状态

……

假设共有 N=6个小球，m=140个方格，则微观状态共有：mN个

第二步：引入关键假设因为每个小球等可能地选择方格所以每个微观状态都是等可能的

玻尔兹曼引入了关键假设： 每个微观状态都等概率地被访问 这个叫做等概率假设

第三步：引入宏观态

由于我们对系统的观察能力有限，不能看到微观的格子，而只能看到宏观的格子（左、右两个大格子）

3 3 4 2 6 0 …… 宏观态

第四步：计算状态数一个宏观态对应多少微观态？

6 0……

W=C(6,6)706

=706个

5 1

W=C(6,5)706

=8*706个

3 3W=C(6,3)706

=20*706个

……

……

……

第五步：计算熵 S=k ln W解释：

熵就是我们观察到的一种宏观表现损失的该系统有关细节信息的度量

熵最大的状态就是我们能观察到的最可能状态 如果粒子数非常巨大，那么熵最大的那个状态将占有绝对优势

第六步：还原热力学

通过最大化熵得到宏观态性质压强、温度、能量等全部获得解释

能量小球 热量分散于各个大方格的小球 功某一个大方格所集中的小球 温度小球的平均密度 热从高温流向低温小球从密度大的地方流向密度小的地方系统总的熵增大

热力学的规律可以全部被导出

时间箭头与观察者

微观状态

宏观状态最可能（熵最大）状态

观察

玻尔兹曼试图从牛顿动力学导出热二定律，结果失败 因为：时间箭头是一种观察者眼中的“幻觉”

总结统计物理是一种研究系统的方法熵是联系微观到宏观的一种量第二定律不存在于微观物理规律中我们观察到的世界不是必然这样子的，而是最可能是这样子的

统计物理是一种方法，具有“腾飞”的潜力

统计物理“开始腾飞”

从玻尔兹曼到吉布斯 Gibbs简化 Boltzman的熵公式

其中 i表示一个宏观状态， n为总宏观状态数 pi表示该宏观状态对应的微观状态数 /总的可能微观状态数

n

iiiGibbsBoltzman ppSS

1

log

从统计物理到最优化 Gibbs将统计物理问题变成了一个最优化求解问题，例如：

Eep

pts

pppppS

n

iii

n

ii

n

iiinG

1

1

121

1..

log),...,,(max 最大化熵

概率的“归一化”约束

平均能量不变（ E为常数， ei常数为第i个宏观态（能级）的能量数值）

正则系综（ Canonical Ensemble）

统计物理的跨学科应用目前，统计物理已经渗透到各种学科例如，

组合优化、约束满足问题可以转化为一个统计物理问题

该问题的原型叫做 Spin Glass模型 物理中的相变行为也存在于组合优化问题中

从统计物理到信息论 Shannon给 Gibbs的熵公式赋予了新的解释

忘掉宏观态和微观态一个系统可能有 n种状态 {1,2,…,n}取每个状态的概率是 pi

则该系统包含的信息量是对于一个陌生的系统，由于我们了解它的信息最少，所以，最小化 I，得到分布 pi

pi最大的那个 i就是最可能的状态

n

iii ppS

1

log

n

iii ppSI

1

log

Jaynes学派的统计物理通常，人们认为统计物理是本质， Shannon的信息论是受到统计物理的启发而得出的

Jaynes学派正相反，认为 Shannon的信息熵是本质，统计物理不过是一种统计推断的理论

Jaynes学派将统计物理变成了一门“主观猜测”的学问

Jaynes学派能走多远？

关注流动

流动与秩序

贝纳得花纹

普遍的流动规律

M

Fo

Fi

4/3MF West和 Banavar的解释都用到了“最大流”假说

非平衡态统计物理的新进展？ 生态学中， 1922年 Lotka提出“Maximum Power P

rinciple” 物理学中讨论多年的Maximum Entropy Production

Principle Bejan从传热学中悟出了Maximum Flux Principle R.C. Dewar在 2003年的时候在 Physica A上发表了一篇论文Information theory explanation of the fluctuation theorem, maximum entropy production and self-organized criticality in non-equilibrium stationary states

最大流现象

流动速度最大的路径是时间最短的那条

蚂蚁觅食的启示

最快的路径会被自然选出

寻求统计解释？ R.C. Dewar沿袭 Jaynes的思想，将统计物理看作一种统计推断的算法；

该算法不仅可以用到分子小球上，也可以用到系统的“小流动”上；

下面给出 Dewar统计解释的“ Jake演绎的通俗版本”

统计解释 给定一个网络 从 A到 B有 3条路径：

ACEFB ACFB ADB

每 1秒都有一个粒子从 A流入

每个粒子在每个节点进行随机选择一条边转移

粒子到 B点就消失

A

B

C

D

E

F

最短的路径具有最大的流动是因为观察者时间尺度的跳跃！

A

B

C

DE

F

A

B

C

DE

F

A

B

C

DE

F

A

B

C

DE

F

A

B

C

DE

F

A

B

C

DE

F

A

C

D

F

A

C

D

F

A

C

D

F

微观态

EE E

BB

B

5

4

22

2

3

4

每间隔 9秒观察一次得到时间宏观态

ADB路径：重复 4次

ACFB：重复 2次

ACEFB：重复 1次

宏观态得到流量A

B

C

D

E

F

最可能的流动路径，对应最短的路程

最大化熵产生原理 将每段小流动看作系综在状态空间中的概率转移，流动路径对应系统演化路径

一个远离平衡态的系统会自发熵增，演化到终态（平衡态）。

一个路径上的 <熵增 /时间 >为该路径的平均“熵产生”

每条路径对应的概率 p看作流过该路径的流量

从非平衡态到平衡态的演变路径中，一条最快的路径（熵产生最大）会被重复最多（流动最大）

从非平衡态 A到任意状态 B （可以为非平衡），按照同样的推理也可以得到一条“最可能”（重复最多）的路径，它是熵产生最大的路径

任何时候，我们开始一个从 A点的演化，将最有可能观察到熵产生最大的那条演化路径

熵平衡态

初始态

Dewar的原思路 对于任意一条演化路径 r，定义概率 pr

最大化路径信息熵： 满足一系列约束：

系统的初始条件 系统的边界条件 物质、能量守恒条件

求最大路径信息熵得到分布 其中 σ为该路径的熵产生， λ为优化过程中的拉格朗日系数，可看作广义的温度， Z 是配分函数

Dewar得到了非平衡态的正则统计系综，解释了试验证实了的涨落定理、最大熵产生原理和自组织临界性

r rr ppS log

))(exp()(

1~

Zpr

总结热力学第二定律（熵最大化）作为一种系统的目标会作用到不同对象上（可以是分子，可以是流动）

最大化信息熵可作为一种元优化而导出各种具体的优化（如最大流、最大熵产生）

熵来源于观察者观察客观世界的缺陷（忽略信息）

统计物理、最大熵原理蕴含着达尔文的自然选择原理（最适者生存最可能者生存）

参考文献

关于热物理我读过的一本关于热二定律的最好的科普书：

关于熵和信息论

张学文的《组成论》（浅显易懂、大胆想象）

Jaynes的个人主页：

http://bayes.wustl.edu/etj/etj.html

惭愧：按理说《信息论》应该介绍一些 Shannon的书，可惜我没怎么读过

关于统计物理的跨学科应用介绍此人主页：

http://cnls.lanl.gov/~chertkov/ 这上面有很多信息，包括统计物理如何用于组合优化问题的书籍和文章，感兴趣的朋友好好挖一挖

有关 3/4幂律及其解释建议我写的综述性科普文章： http://www.swarmagents.com/complex/compl

exsys/flow.htm主要是第一、和第二两篇，连接出很多文章原文（包括West和 Banavar的）

Scaling in Biology

http://www.douban.com/subject/2874811/ http://www.douban.com/subject/2568009/

有关最大熵产生相当详细的一篇综述

http://www.swarmagents.com/thesis/detail.asp?id=207&type=0

一本书 http://www.swarmagents.com/thesis/detail.asp?id

=214

Dewar的两篇文章 http://www.swarmagents.com/thesis/detail.as

p?id=208&type=0 （很“物理”，不过有些地方给人感觉过于任意和粗糙）

http://www.swarmagents.com/thesis/detail.asp?id=211 （比较正规、数学化）

有关热力学与进化论 Survival of the likeliest http://www.swarmagents.com/thesis/

detail.asp?id=209&type=0

有关热力学与生物 请关注：

Eric Smith http://www.santafe.edu/profiles/?pid=75

他曾经对最可能路径的理论非常着迷，但现在不再搞这个了，他认为该理论不完全，原因是他想搞清楚熵的更深层含义，请看一篇他的文章

(Energy Flows and Organization of Life) http://www.swarmagents.com/thesis/detail.asp?id=212 注意：他认为生命不仅仅是在最大化流，虽然它在某种程度上来说是在最大化流，具体请看这篇文章