原諒我這篇拖那麼久才寫，因為我中間再搞科學研究與數據分析，為了搞那個計算器搞得我無暇顧及其他，連創挑都忙到忘了辦。108Please respect copyright.ＰＥＮＡＮＡxCVNmr3VS0
108Please respect copyright.ＰＥＮＡＮＡnX8AcaclzU
總之，這幾天才總算把計算器弄好，然後可以談談新版本的定錨法。108Please respect copyright.ＰＥＮＡＮＡaPj1KtxChk
108Please respect copyright.ＰＥＮＡＮＡBEjAk5nwwn
之前Phase1在作文筆分析的時候，有一個很頭痛的問題就是，現今能公開給大眾使用的AI其實都是LLM，LLN的本質其實是一種預測或遙測，就是利用機率統計學，算出最可能的答案然後回答提問者。108Please respect copyright.ＰＥＮＡＮＡUMu7ACpG6q
108Please respect copyright.ＰＥＮＡＮＡTU5leEe6G7
對LLM來說，它最重要的算力都會用在分析機率上面。實際上它的計算能力非常差，是的，你問"1+1"它能回答你"2"，不是因為它會算，而是他知道這時侯回答2對的機率最大，得分最高。108Please respect copyright.ＰＥＮＡＮＡzrGXxyGCwU
108Please respect copyright.ＰＥＮＡＮＡC6U1QZJkDQ
回到主題，所以要LLM算字數是很糟糕的決定，我在前幾個版本就是過於相信LLM的計算能力要他自己算，所以誤差非常大。108Please respect copyright.ＰＥＮＡＮＡjI5JHK4iRC
108Please respect copyright.ＰＥＮＡＮＡ8Ot0hyZD3D
後來改成直接輸入google doc計算出來的字數才有改善，也因此開發出第一版的定錨法，也就是Token定錨法。108Please respect copyright.ＰＥＮＡＮＡA1hozGv7G6
108Please respect copyright.ＰＥＮＡＮＡqLEGlCF46h
AI沒辦法算字，但它好歹能算Token，但就跟小孩數數一樣，你讓他從1數到2000還沒問題，算超過2000就會出現注意力消失問題，後續也就算不準了。108Please respect copyright.ＰＥＮＡＮＡfAZQACvZsY
108Please respect copyright.ＰＥＮＡＮＡ4uHzi4Qrpy
那這問題困擾我很久，因為雖然我們可以要LLM照Token去計算，但這是球員兼裁判的問題，沒有一個客觀的計數器，我們很難保證LLM真的算對了。重點是LLM是會說謊的，為了得高分它可以假裝自己有算。108Please respect copyright.ＰＥＮＡＮＡkVziquSliD
108Please respect copyright.ＰＥＮＡＮＡJnFRSneqvn
那麼追根究柢問題在哪呢？就是LLM用的語言屬於高為矩陣語言，一個字可能有4096以上的變量。所以LLM的算力都用在處理這些變量上面，而算力又跟硬體限制綁定。108Please respect copyright.ＰＥＮＡＮＡPkh0dIaCEj
108Please respect copyright.ＰＥＮＡＮＡTPl7CSsufY
所以一個爛的AI，通常讀到一半就沒辦法維持注意力，但為了高分它還是會選擇說謊。一個很好的AI，它可以維持更久的注意力，甚至可以更快回答問題。108Please respect copyright.ＰＥＮＡＮＡPwmoFv01ae
108Please respect copyright.ＰＥＮＡＮＡXB4ooMxZnx
現在好的AI基本上都是要付錢的，就連我設計的評文系統，交給免費的AI去分析也有一半以上都是他自己猜的。108Please respect copyright.ＰＥＮＡＮＡxhN1wCk2Eo
108Please respect copyright.ＰＥＮＡＮＡ57fn1VpUuE
就這個問題，我跟各種AI討論許久，最後得到一個結論就是：108Please respect copyright.ＰＥＮＡＮＡGlVCol9qVX
108Please respect copyright.ＰＥＮＡＮＡTfB4eKqU7R
既然用文字給AI看它看不完，那我們把文字轉換成高維矩陣它不就能看完了嗎？108Please respect copyright.ＰＥＮＡＮＡo2WGhGkOLG
108Please respect copyright.ＰＥＮＡＮＡTAPRXB7W30
這就像丟幾個字的內容跟丟一張圖的內容差不多時，看一張圖會比幾百個字更快更輕鬆理解是差不多的道理。108Please respect copyright.ＰＥＮＡＮＡEiYdplSQMb
108Please respect copyright.ＰＥＮＡＮＡBJxdrBXRYX
之所以會想這個方法，是因為我發現如果直接輸入文字給LLM，它在讀取途中一定會因為注意力消失而有不同程度的扭曲。同一句話丟給LLM，可能LLM還能夠精確判斷是同一句話，但當一句話變成幾句話，幾句話變成一篇文章或報告時，大部分LLM就會陷入注意力消失，而沒辦法把同一篇文章當成同一篇文章來看。108Please respect copyright.ＰＥＮＡＮＡ3c8WMTZNxs
108Please respect copyright.ＰＥＮＡＮＡNqCm4Siy4W
這就是為甚麼Phase1的實驗時，我除非改版不然不會主動多分析幾次，因為分析越多次可能誤差越大。108Please respect copyright.ＰＥＮＡＮＡd0EnTakODo
108Please respect copyright.ＰＥＮＡＮＡPjfcDjP836
即使有Token定錨法可以定期加重權重，也依然無法改變LLM隨著解析文本字數增加而注意力不可抑制地下降。108Please respect copyright.ＰＥＮＡＮＡvsvbidaEDZ
108Please respect copyright.ＰＥＮＡＮＡVZFM9rjIvp
但是當我把文字改成拓樸後，欸，就直接繞過一個Token一個Token去算的步驟了，因為拓樸化是數學方法，只要背景條件相同，計算出來的值都是固定的。108Please respect copyright.ＰＥＮＡＮＡU7ThRIgrDq
108Please respect copyright.ＰＥＮＡＮＡVt0WdWT94E
而拓樸化的文字就像一張地圖，只是上面不是用文字而是用不可變的數字構成。
也因此，當我發現這個方法後，其實就找到了長文本分析的鑰匙，可以某種程度避開注意力消失問題，而讓LLM 能透過另一種方式集中注意力。108Please respect copyright.ＰＥＮＡＮＡcrq58Hk8WT
108Please respect copyright.ＰＥＮＡＮＡEBEycjqCtZ
但是把文字算成拓樸化是很麻煩的一件事，所以這兩個月我都在做這件事。主要方法也是用AI的工具，根據Ai 如何將文字換成Token的方式想出來的。108Please respect copyright.ＰＥＮＡＮＡGpBkv8C4Gg
108Please respect copyright.ＰＥＮＡＮＡ8iFIdvJmfK
所以我們前面已經有Token定錨法，這部分是完全由AI 去處理，誤差很大，除非用RAG限制，那我本身是在Google Notebook LM這個筆記平台進行操作，算是用RAＧ避開了很多問題，但偶爾還是會出現兩次分析錨點都不同的情況。
現在有了拓樸定錨，就沒那麼多問題了。拓樸定錨的方式就是利用拓樸化的文本特徵去對標文本中的劇情特徵，找出最顯著的指標作為錨點。108Please respect copyright.ＰＥＮＡＮＡQ5dS9DnD4o
108Please respect copyright.ＰＥＮＡＮＡPDlUHX9JpC
接著將拓樸與原文本套在一起算出顯著特徵的座標，些最顯著的特徵逆算出來的文本原文就會成為定錨點，這個定錨點因為拓樸的顯著特徵，會很容易被LLM注意到，就能藉此提升LLM的注意力，讓它有辦法繼續讀下去。108Please respect copyright.ＰＥＮＡＮＡ9Brwb1g1cA
108Please respect copyright.ＰＥＮＡＮＡEW4AAbFbM4
前面講了兩個定錨法：Token定錨法跟拓樸定錨法，最後都還是需要用外部程式去計算，只問Ai是很容易被騙的。我這兩個月的工作就在把這件是搞好，一天睡不到四小時。108Please respect copyright.ＰＥＮＡＮＡKzxjyxhRz0
108Please respect copyright.ＰＥＮＡＮＡV78KkB4zDv
但原型好歹是弄出來了，只要把這個定錨法套用到Phase1進行雙軌定錨，應該能針對十萬字以上的長文做出分析評論。108Please respect copyright.ＰＥＮＡＮＡBLx822T8pY
108Please respect copyright.ＰＥＮＡＮＡqssifSkpDX
至於十萬字以下的，其實靠Notebook LM就夠了。108Please respect copyright.ＰＥＮＡＮＡ18Rfnuf8q7
108Please respect copyright.ＰＥＮＡＮＡVIk8CJfmB2
快講完了，最後補充一個第三軌：語意對標法108Please respect copyright.ＰＥＮＡＮＡfx8Vxko6DS
108Please respect copyright.ＰＥＮＡＮＡEY7yw8TeaC
語意對標法其實比拓樸對標法還麻煩，因為他還得考慮原文本的內容，製作一個完整的索引去算。108Please respect copyright.ＰＥＮＡＮＡ3ZzxpDKq4o
108Please respect copyright.ＰＥＮＡＮＡONl3TBu7VT
算完後，這東西也不是拿來分析文本的，它是來改寫文本的。這東西主要是要做成檢索用的路標，它可以透過文本中任何一句話去作作改編，生成文章。108Please respect copyright.ＰＥＮＡＮＡUg1YQZeAtC
108Please respect copyright.ＰＥＮＡＮＡZzkplE9Yq7
簡而言之，這個第三軌是生成小說的主要功能，它可以幾乎很精確地抓出哪些字符合使用者提問的需求。因為這東西太邪道了，所以我就點到為止。108Please respect copyright.ＰＥＮＡＮＡBwro8baJV3
108Please respect copyright.ＰＥＮＡＮＡVBJYAfEpUb
主要還是用在長文本分析的部分，拓樸對標跟Token定錨，個人覺得對十萬字到百萬字左右的分析表現已經夠用了。
and then Add to home screen.