這裡記錄每週值得分享的科技內容,週五發佈。
本雜誌開源,歡迎投稿。另有《誰在招人》服務,發佈程序員招聘信息。合作請郵件聯繫([email protected])。
封面圖

北京的護城河公共綠道,位於鼓樓附近。(via visuals_china@instagram)
神經網絡算法的發明者
上週的《李飛飛自傳》讀後感,還有後續。
那篇文章的結尾是,2012年一支加拿大團隊使用神經網絡算法,奪得了 ImageNet 比賽冠軍。
今天就來說說,這支加拿大團隊的故事。

大家看了就知道了,神經網絡算法是怎麼誕生的,背後的推手又是誰。
(1)傑弗裡·辛頓(Geoffrey Hinton,1947-)

辛頓出生於英國,後移居加拿大。他是神經網絡算法的奠基人和主要發明者。
神經網絡的概念,是上世紀40年代後期提出的(提出人不是辛頓)。當時的想法是,既然人類通過神經網絡進行思考,那麼只要讓機器模擬神經網絡,機器就能思考了。
但是,那只是一個概念,並沒有具體的算法。機器怎麼模擬思考,人們並不知道。
1984年,辛頓在加州大學擔任博士後,與兩個同事一起提出了反向傳播算法。
這個算法可以建立多層網絡,產生一個輸出結果,讓神經網絡變成了現實,也是後來更高級算法的基礎。
由於它需要多層計算,後一層在前一層的結果上學習,所以被稱為"深度學習",辛頓因此成為"深度學習之父"。
辛頓後來因為這個貢獻,獲得了圖靈獎(2018年)和諾貝爾物理學獎(2024年)。
(2)楊立昆(1960-)

楊·安德烈·勒坎(Yann André Le Cun,中文名楊立昆)是法國人。上個世紀80年代,他是多倫多大學博士後。
這一時期,辛頓也來到了多倫多大學任教,擔任他的指導教師。
所以,楊立昆是辛頓的大弟子,繼承和發展了辛頓的算法。他的主要成就是,為神經網絡引入了卷積算法,並且做出了第一個有實際用途的神經網絡。
1990年代,他用神經網絡識別銀行支票的手寫數字,成功獲得了企業的採用。

但是,這個應用也暴露了卷積神經網絡的弱點:它需要大量樣本的訓練,耗費巨大的算力。銀行支票只需要識別10個阿拉伯數字,如果是更多樣化的場景,當時的計算能力難以做到。
學術界因此認為,卷積神經網絡只適用特定的、計算量較小的場景,不具備推廣的價值。這導致這種算法,以及辛頓和楊立昆,被冷落了二十年。
這二十年,楊立昆一直混跡於企業實驗室和大學教研室。等到世界重新認識卷積神經網絡,他在2018年與辛頓一起獲得了圖靈獎,現在是 Meta 公司的副總裁和 AI 首席科學家。
(3)亞歷克斯·克里澤夫斯基(Alex Krizhevsky,1986-)

亞歷克斯·克里澤夫斯基是烏克蘭人,少年時隨家人移民到加拿大。2007年,他進入多倫多大學,成為辛頓的博士生。
這時距離楊立昆提出卷積神經網絡,已經過去快20年了。辛頓始終沒忘記它,他鼓勵亞歷克斯和稍後要提到的伊爾亞·蘇茨克維,使用這種算法,去挑戰李飛飛的 ImageNet。
亞歷克斯就寫了一個程序,用 ImageNet 的1500萬圖片,來訓練他的卷積神經網絡。但是,計算量太大了,他的個人計算機根本跑不動,他就買了兩塊 Nvidia 顯卡,每天24小時一刻不停地運算。
事實證明,卷積神經網絡+大訓練集+高速計算硬件,超過了其他一切已知的算法。最終,他們的三人團隊以巨大優勢,奪得了2012年第三屆 ImageNet 算法比賽冠軍。
這件事轟動了業界,各大互聯網公司紛紛邀請辛頓和他的學生加入。百度也伸出橄欖枝,邀請辛頓擔任首席科學家,但是最後輸給了谷歌。
2013年,谷歌以4400萬美元收購了辛頓成立的空殼公司,將辛頓、亞歷克斯、伊爾亞三個人一起招入麾下。
2017年,亞歷克斯辭職,現在一家創業公司研究 AI 技術。
(4)伊爾亞·蘇茨克維(Ilya Sutskever, 1986-)

伊爾亞·蘇茨克維出生於前蘇聯,後去了以色列,然後來到加拿大。他是亞歷克斯·克里澤夫斯基在多倫多大學的博士同學,也是辛頓的博士生。
他與亞歷克斯組成團隊,共同贏得了2012年的 ImageNet 算法比賽。辛頓作為指導老師,也是團隊一員。
他在2013年跟隨辛頓加入谷歌,2015年辭職,成為 OpenAI 的聯合創始人和首席科學家,後來是 ChatGPT 的主要作者之一。2024年,他離開 OpenAI,現在創立了自己的 AI 公司。
(5)安德烈·卡帕斯(Andrej Karpathy,1986-)

安德烈·卡帕斯出生於斯洛伐克,15歲隨家人來到加拿大,在多倫多大學讀完了本科。
他跟伊爾亞·蘇茨克維很可能大學裡就認識。但是,他沒在多倫多大學讀博士,而是去了斯坦福大學,指導老師就是李飛飛。
他的方向也是卷積神經網絡,博士期間開設了斯坦福大學第一門深度學習課程,擔任主講。
2015年,他跟隨伊爾亞一起加入 OpenAI,成為主要研究人員。
2017年,他離開 OpenAI,去了特斯拉,擔任特斯拉 AI 總監,2022年離職。
(6) 總結
上面五人是神經網絡算法的主要創立者和推動者。沒有他們,就不會有今天的 AI 大模型。
但是,單單靠他們的算法,AI 不會成功。因為算法需要大量的數據進行訓練,而訓練需要高速計算的硬件。這三者缺一不可。
只有等到2012年,才萬事俱備。神經網絡算法 + 李飛飛的 ImageNet 訓練集 + Nvidia 高速顯卡,同時出現了。
歷史於是翻開了新的一頁,AI 時代正式來臨。
科技動態
(1)一家深圳公司推出了,可能最炫酷的樹莓派機箱。

它自帶機箱顯示屏、RGB 燈光、風扇、NVMe SSD 擴展板,很適合用作 NAS 和 AI 邊緣計算。

(2)芬蘭嘗試在馴鹿的鹿角,塗上熒光粉。

這是為了方便司機在夜間看到馴鹿,目前每年在芬蘭公路上被撞死的馴鹿有4000頭。
(3)在線會議軟件 Google Meet,推出實時語音翻譯,首先提供西班牙語版本。

在線會議時,對方說西班牙語,你聽到的卻是英語,而且聲音、語調和情感都不變。
(4)意大利開源硬件公司 Arduino,研發出了可降解 PCB(電路板),減輕對環境的汙染。

這種可降解電路板,將電路印刷在植物亞麻材料上,而不是傳統的玻璃纖維和樹脂。
不過,電路板上的銅無法降解,需要在丟棄電路板之前先回收。
(5)一家美國創業公司,準備發射衛星,將 AI 機房建在太空。

它依靠24小時的太陽能供電,也不用擔心散熱。
該公司希望通過這種方法,解決 AI 服務器的耗電和冷卻問題。
文章
1、手機的 Linux 桌面環境(英文)
作者出門不帶筆記本,只帶手機,再配上藍牙鍵盤和 AR 眼鏡。

他的安卓手機在獲取 root 權限後,通過 chroot 安裝了 Linux 發行版,從而可以運行桌面環境。

2、AI 應用的核心邏輯(英文)

作者提出,AI 應用(AI agent)的核心邏輯只需要9行代碼。
3、瀏覽器默認屏蔽的端口(英文)

你可能不知道,瀏覽器無法打開下面的網址localhost:6000,原因是6000是瀏覽器默認屏蔽的端口。
4、推薦 RustDesk 遠程桌面(英文)

Mac 電腦訪問 Windows 電腦,一種方法就是使用遠程桌面,作者推薦遠程桌面工具 RustDesk。
5、HTML <dialog> 的 CSS 技巧(英文)

HTML 有一個原生的彈窗元素<dialog>,本文介紹兩個配套使用的 CSS 技巧。
6、Git 配置詳解(英文)

本文詳細解釋 Git 配置命令 git config 的幾個最常見的設置。
工具
1、Pyrefly

Meta 公司發佈的 Python 代碼的類型檢查器,參見介紹文章。

新發布的一個開源瀏覽器,基於 Firefox,國外評價非常高,使用體驗好,參見介紹文章。
3、xtool

Xcode 的替代品,在 Linux/Win/macOS 開發 iOS 應用。

在線批量轉換文件,基於 WebAssembly 技術,完全本地完成,還可以編輯圖片。(@xiaoshangmin 投稿)
5、耗子面板

Go 語言開發的服務器管理面板。(@devhaozi 投稿)
6、Goravel

Go 語言的 Web 開發框架,與 PHP 的 Laravel 框架保持一致,方便快速上手。(@devhaozi 投稿)
開源的遊戲變速工具,通過調整 Windows 系統時間函數來實現遊戲速度變化。(@game1024 投稿)

後端的 JS 相冊應用,瀑布流展示圖片,指定圖片目錄,直接運行即可。(@SimonAKing 投稿)
9、Jwno

網友開源的 Windows 10/11 平鋪窗口管理器,鍵盤驅動。(@agent-kilo 投稿)
10、星河小程序

滴滴公司開源的跨平臺開發框架,支持將小程序打包成為安卓、iOS、鴻蒙和 Web 四個平臺的原生 App。(@dos1in 投稿)
AI 相關
1、aTrain

一個跨平臺、圖形界面的自動語音識別工具,基於 Whisper 模型,支持識別50多種語言,參見介紹文章。

在線的免費圖像處理工具,提供多種 AI 功能,比如圖片增強、去除水印、風格轉換等十幾種。(@worminone 投稿)
資源
1、萬物博物館
一個跨平臺的桌面軟件,將維基百科變成一個虛擬博物館。

每件展品與維基百科的一篇文章相對應,牆上的畫框就是文章圖片,講解牌就是文章內容。

走廊則根據文章的鏈接通向其他展廳,有幾乎無限的展廳可以參觀。

圖片
《星球大戰》的第一部電影,拍攝於1976年,裡面有一個機器人 R2-D2,會四處走動,做各種動作,還會說話。

其實,它根本沒那麼高科技,拍攝的時候,就是裡面藏了一個真人演員。

2、冰為什麼體積大?
水變成冰以後,體積會增大10%,密度因此小於水,使得冰可以浮在水面上。
那麼,冰的體積為什麼會增大呢?
答案是冰的分子結構,跟水的分子結構不一樣。

上圖左側是液態水的分子結構,右側是冰的分子結構。其中,白色節點為氫原子,紅色節點為氧原子。
可以看到,液態水是緊密聚合的網絡結構,冰則是中空的網絡結構。也就是說,冰的分子結構不是那麼密合,所以體積就變大了。
文摘
Slack 是一家即時通信的軟件公司。它的官網有一個"公司介紹"的頁面,通常來說該頁面的 URL 會是slack.com/about,但是 Slack 沒有采用這種做法。
它將這個頁面命名為is,並分拆成若干個子頁面。
所以,"公司介紹"頁面的 URL 是slack.com/is。
子頁面的 URL 如下。
- slack.com/is/team-communication
- slack.com/is/everything-in-one-place
- slack.com/is/wherever-you-are
這樣的好處是單單看 URL,就知道頁面想要傳遞的信息,URL 本身就是對公司的一種宣傳。
這種 is 的巧妙做法,後來被廣泛借鑑。碰巧的是,is也正好是一個頂級域名,代表冰島(iceland)。很多名人就申請了 is 域名,作為個人主頁。
比如,藝術家傑西卡·希斯切(Jessica Hische)的個人網站,域名就是jessicahische.is,她介紹自己的頁面 URL 就都是jessicahische.is/xxx的形式。
言論
1、
我們很快會跟大家分享一個低調的研究成果。我們會給它起一個比 chatGPT 更好的名字,以防它流行起來。
-- Sam Altman,OpenAI 的 CEO
2、
加爾定律經常被引用:"一個有效的複雜系統,總是從一個有效的簡單系統進化而來。"
但是,它的推論很少被引用:"一個從零開始設計的複雜系統永遠不會有效,你必須從一個可以運行的簡單系統開始。"
-- Stack Staves
3、
宇宙有兩種可能:要麼我們是孤獨的,要麼我們並不孤獨。這兩種可能性都同樣令人恐懼。
-- 阿瑟·克拉克,英國著名科幻小說家
4、
太陽繞銀河系公轉一圈需要2.3億年,上一圈的時候,地球的主宰還是恐龍。
-- Reddit 網友
5、
我關注了一些教育工作者,他們都報告了同樣的現象:他們的學生什麼事情都用 ChatGPT,結果什麼也沒學到。
最終可能會出現這樣一代人,自己的智力很低下,完全依賴於他們不理解的技術,一旦技術崩潰,他們永遠無法從頭開始重建。
-- 尼爾·斯蒂芬森(Neal Stephenson),美國科幻小說家,"元宇宙"一詞的創造者
往年回顧
創業雖然好,不敢推薦了(#302)
互聯網創業變難了(#252)
三個有啟發的學習方法(#202)
從北大到技校(#152)
(完)












