The Importance of Semantics

我覺得「語意」這個東西越來越重要，對我來說。就是其實有很大部分的 UI 操作事實上都是可以被語意化的，只要你能給這個動作命名就等於你語意化了他。以前的 UI 的語意化是掛在 accessibility 之下的，以及 menu action 之下。但因為 AI agent 的關係，語意化現在是掛在 automation 之下比較多。可能是因為語言本身就是抽象的工具——如果你要描述一件事的話，用語言是最普遍與簡單的。看看比手畫腳這個遊戲就知道了：拿掉語言之後，要表達一個概念有多麻煩！因此做為機器操作的抽象的 automation，在以往是以動作積木為主（n8n、Shortcuts），等到 LLM 出來之後馬上就拱手讓位變成另一個後端 app。自然語言變成自動化機制的王。

以前的 app 強調 UI，很多時候是因為 GUI 用螢幕坐標系與符號來表示語意的時候更加簡潔，比如說一個文件新增按鈕就比「我要新增一份空白文件」這句話簡單，或者直接按下粗體按鈕比使用 strong HTML 標籤簡單。而當時能夠用語言來做抽象的範圍有限，比如說段落風格樣式或者 workspace 設定等 preset，或者各種 scripting，以及範本都算。問題是抽象的目的是針對使用者需求去客製化的，而以前就只能靠使用者去自訂，結果還是得用到 GUI。

LLM 改變了這點。它就是讓操作的顆粒度變得更粗：我不用說「這邊變成粗體」而是說「我要強調某某概念」，然後整份文件就會往這個方向調整，調整的幅度與方式都可以自訂（你可以限定它不動內文只動樣式）。你不用說「新增一份空白文件」或者選擇一份範本，因為你可以直接把原始資料丟給他，然後說「幫我做成一份報告」。

以個別的動作來說，GUI 是比語言好用的。但是更高抽象層次的「我要達成一個目標」來說，語言比 GUI 好用，因為語言可以抽象而 GUI 很難。

說到底，語言就是最成熟的符號系統，而符號就是一種抽象。不是說藝術什麼的不能抽象，相反的，藝術的抽象能力可以更深，但是藝術的抽象能力並不是日常操作用的，而是長時間沉澱與吸收用的。

所以我是覺得，對自然語言的運用，對語意的熟練度，也包括了解自己的需求、思考、分析能力，會是未來電腦操作能力的重點。Believe it or not，這比程式語言還要困難。「如何運用語言來組成正確的語意以傳達自己的意念」絕對比想像中還難。首先是你不會有一個 compiler 去做決定論式的判定，一切都是非決定論式的，且無法直接驗證的。然後你的溝通對象不只有個體差異，不同時間不同狀態的接收偏好也都不一樣。撇除外部的不確定因素，光是如何確定你的句子語意正確就很困難了。很多時候我自己寫的東西連我自己都無法理解。要寫出一個語意精準且完整、可以在不需要太多脈絡的情況下被正確理解的段落是需要長時間練習的事情。

這都還是基礎的語言操作能力。當你要操作的領域越來越抽象，比如說哲學，那語意的不穩定性就會越來越高。就是如果自然語言很簡單的話，那人類史上就不會有那麼多誤會與歧義的爭論了。

要如何能精準的用自然語言傳達意義，也就是如何操作語意，將會是下個世代的重點能力。