他們發(fā)現(xiàn)，2004年，Herbert Jaeger和Harald Haas利用一個(gè)隨機(jī)連接人造神經(jīng)元的網(wǎng)絡(luò)在儲(chǔ)水池計(jì)算中形成“儲(chǔ)水池”，從而學(xué)習(xí)有三個(gè)混沌協(xié)變變量的動(dòng)力學(xué)方程。在使用三組數(shù)字進(jìn)行訓(xùn)練之后，這個(gè)網(wǎng)絡(luò)可以預(yù)測(cè)未來(lái)很長(zhǎng)一段時(shí)間內(nèi)三個(gè)變量的值。不過(guò)，當(dāng)有多個(gè)相互作用的變量時(shí)，計(jì)算量會(huì)變得很龐大。

但是，需要一個(gè)更有效的方案來(lái)將儲(chǔ)水池計(jì)算與大型混沌系統(tǒng)聯(lián)系起來(lái)，因?yàn)檫@些混沌系統(tǒng)具有大量相互作用的變量。例如，需要跟蹤沿著火焰前進(jìn)方向的每一點(diǎn)在三個(gè)空間方向上的速度分量。

他們花了幾年時(shí)間才找到了明確的解決方案。Pathak說(shuō)：“我們利用的是空間擴(kuò)展混沌系統(tǒng)中相互作用的局部性。”

局部性意味著變量在一個(gè)地方受到附近變量的影響，但不受遠(yuǎn)處變量的影響。利用它可以從本質(zhì)上將問(wèn)題分塊。也就是說(shuō)，可以將問(wèn)題并行化，用一個(gè)神經(jīng)元儲(chǔ)水池來(lái)學(xué)習(xí)系統(tǒng)的一小塊，另一個(gè)儲(chǔ)水池學(xué)習(xí)另一塊，如此類推，并且使相鄰域輕微重疊以表示它們之間的相互作用。

只要將計(jì)算機(jī)資源按比例分配給每個(gè)任務(wù)，并行化處理，就可以使用儲(chǔ)水池計(jì)算的方法來(lái)處理幾乎任意大小的混沌系統(tǒng)。

具體解釋：三步走

儲(chǔ)水池計(jì)算分三步。假設(shè)你想用它來(lái)預(yù)測(cè)火災(zāi)蔓延的情形，那么首先，選取火焰鋒面的五個(gè)不同點(diǎn)測(cè)量火焰的高度，然后隨著火焰跳動(dòng)前行繼續(xù)測(cè)量鋒面上這些點(diǎn)的火焰高度。

將這些數(shù)據(jù)流輸入到儲(chǔ)水池中隨機(jī)選擇的人造神經(jīng)元。輸入的數(shù)據(jù)觸發(fā)神經(jīng)元釋放信號(hào)，繼而觸發(fā)相鄰的神經(jīng)元并在整個(gè)網(wǎng)絡(luò)中級(jí)聯(lián)傳輸信號(hào)。

第二步是使神經(jīng)網(wǎng)絡(luò)從輸入數(shù)據(jù)中學(xué)習(xí)不斷演進(jìn)的火焰鋒面的動(dòng)力學(xué)方程。要做到這一點(diǎn)，在輸入數(shù)據(jù)時(shí)，還需要監(jiān)測(cè)儲(chǔ)水池中隨機(jī)選擇的幾個(gè)神經(jīng)元的信號(hào)強(qiáng)度。以五種不同方式對(duì)這些信號(hào)進(jìn)行加權(quán)和組合可產(chǎn)生五個(gè)數(shù)字輸出。

這樣做的目的是調(diào)整用于計(jì)算輸出的各種信號(hào)的權(quán)重，直到這些輸出始終與下一組輸入，也就是在比火焰鋒面略晚的位置測(cè)得的新的五個(gè)高度，相匹配。所要的就是，把輸出作為下一點(diǎn)的輸入。

為了得到正確的權(quán)重，這個(gè)算法簡(jiǎn)單地將每組輸出，或者說(shuō)五點(diǎn)中的每一點(diǎn)的預(yù)測(cè)火焰高度，與下一組輸入或?qū)嶋H火焰高度進(jìn)行比較，每次增加或減少各種信號(hào)的權(quán)重，只要可以使它們的組合給出五個(gè)輸出的正確值。

從一個(gè)時(shí)間步長(zhǎng)到下一個(gè)，隨著權(quán)重的調(diào)整，逐步改善預(yù)測(cè)，直到算法能夠穩(wěn)定預(yù)測(cè)一個(gè)時(shí)間步長(zhǎng)后的火焰狀態(tài)。

第三步，就可以真正去做預(yù)測(cè)了。了解了系統(tǒng)動(dòng)力學(xué)方程的“儲(chǔ)水池”可以揭示系統(tǒng)如何演進(jìn)。神經(jīng)網(wǎng)絡(luò)本質(zhì)上會(huì)自適應(yīng)。輸出反饋為新輸入，其輸出又再反饋為輸入，以此循環(huán)，從而預(yù)測(cè)火焰鋒面五個(gè)位置的高度將如何演進(jìn)。其他并行的“儲(chǔ)水池”預(yù)測(cè)其他地方的火焰高度的演進(jìn)。

傳統(tǒng)上，預(yù)測(cè)混沌系統(tǒng)的常用方法是某一時(shí)刻盡可能準(zhǔn)確地測(cè)量其條件，使用這些數(shù)據(jù)校準(zhǔn)物理模型，然后向前演進(jìn)模型。如果要預(yù)測(cè)未來(lái)八倍時(shí)長(zhǎng)的演進(jìn)，需要對(duì)一個(gè)典型系統(tǒng)的初始條件進(jìn)行100,000,000次以上的測(cè)量。

這就是為什么利用機(jī)器學(xué)習(xí)技術(shù)幾乎能夠知道真相了。

神經(jīng)網(wǎng)絡(luò)和混沌理論

最近，麻省理工學(xué)院和蘇黎世聯(lián)邦理工學(xué)院的研究人員取得了與馬里蘭團(tuán)隊(duì)相似的結(jié)果，使用“長(zhǎng)短期記憶”神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有周期性循環(huán)的特征，使其能夠長(zhǎng)時(shí)間存儲(chǔ)臨時(shí)信息。

Ott和他的同事們已經(jīng)快可以將他們的預(yù)測(cè)技術(shù)用于實(shí)際應(yīng)用。在《混沌》雜志即將發(fā)表的新研究中，他們展示了如何通過(guò)混合數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法和傳統(tǒng)的基于模型的預(yù)測(cè)，改進(jìn)對(duì)像Kuramoto-Sivashinsky方程式這樣的混沌系統(tǒng)的預(yù)測(cè)。

Ott認(rèn)為這是改進(jìn)天氣預(yù)報(bào)和其他類似工作的更好的途徑，因?yàn)槲覀儾⒉豢偰苷业酵暾母叻直媛蕯?shù)據(jù)或完美的物理模型。

“我們應(yīng)該做的就是利用我們已有的經(jīng)驗(yàn)。如果我們?nèi)狈δ承┲R(shí)，就應(yīng)該使用機(jī)器學(xué)習(xí)來(lái)填補(bǔ)所這些空白。”

儲(chǔ)水池式預(yù)測(cè)本質(zhì)上可以校準(zhǔn)模型;在Kuramoto-Sivashinsky方程式的情況下，精確的預(yù)測(cè)可以延伸到12個(gè)李亞普諾夫時(shí)長(zhǎng)。

李亞普諾夫時(shí)間的長(zhǎng)度因不同系統(tǒng)而異，從毫秒到數(shù)百萬(wàn)年不等(對(duì)于天氣預(yù)報(bào)情況來(lái)說(shuō)是幾天)。這個(gè)時(shí)間越短，系統(tǒng)就越敏感就會(huì)越容易產(chǎn)生蝴蝶效應(yīng)，狀態(tài)的發(fā)散會(huì)更快。

目前還不清楚究竟為什么儲(chǔ)水池算法如此擅長(zhǎng)學(xué)習(xí)混沌系統(tǒng)的動(dòng)力學(xué)模型，只是知道計(jì)算機(jī)可以根據(jù)響應(yīng)數(shù)據(jù)進(jìn)行自調(diào)節(jié)，直到計(jì)算公式與混沌系統(tǒng)的動(dòng)態(tài)完全一致。

研究人員現(xiàn)在正打算使用混沌理論來(lái)更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部機(jī)制。