Tokenizer 分詞

正在載入編輯器

Tokenizer 動畫|句子拆解為 LLM Token

Tokenizer 分詞

關於「Tokenizer 分詞」

一句句子拆散成不同顏色的 Token 方塊並排列成行,每塊都標示自己的 Token ID。

把自訂句子拆成帶 Token ID 的彩色方塊,適合 LLM、自然語言處理與 AI 解說影片。

屬於科技與 AI類別。第一次接觸這類圖像?請閱讀怎樣為影片製作神經網絡圖動畫。

透明背景匯出和匯入剪輯軟件的方法,請參閱透明背景影片指南;每次下載均免費,並受商業授權涵蓋。

類別
科技與 AI
時長
7.5 秒,最長 60 秒
播放
播放一次
控制項
13 項可編輯
格式
MP4 · WebM · PNG序列
透明
WebM或PNG序列
解像度
720p至8K
畫面比例
16:9 · 9:16 · 1:1 · 4:5
適用軟件
Premiere Pro · After Effects · DaVinci Resolve · Final Cut Pro · CapCut · Figma
授權
包含商業用途
費用
免費 · 無需帳戶 · 無浮水印

常見問題

「Tokenizer 分詞」可以自訂哪些內容?

內容:文字。字體排版:字體。樣式:背景、文字顏色、主色、輔助色、強調色和粗細。版面:畫面比例和縮放。動態:時長、速度和隨機變化。

「Tokenizer 分詞」有多長?

「Tokenizer 分詞」預設長 7.5 秒,匯出前可以設定任何長度,最長 60 秒。它只播放一次。

如何使用「Tokenizer 分詞」

Tokenizer 分詞回答甚麼是 token 這個問題,幾乎每條大型語言模型解說和收費說明都會遇到。展示你自己的句子拆成小塊之後,再解釋上下文限制和按 token 計費就容易得多。

  • 在「文字」輸入短句,八個英文詞以內,token 小塊才夠大看得清。
  • 如果較長的句子把小塊推到直向畫面的邊緣,就調低「縮放」。
  • 調慢「速度」,觀眾先看到完整的句子,然後才看到它拆開成幾行。

相關動畫

  • 注意力頭

    每個詞輪流關注其他詞,連線粗細反映它給予的權重,各注意力頭依次循環。

  • 提問到回答

    提示詞逐字輸入對話框,按下傳送後,答案在流光下逐個 Token 串流回來。

  • AI 程式碼補全

    編輯器面板逐行輸入你的程式碼,AI 建議以半透明文字接在游標後出現,接受後變為實色。

  • 十六進制數據流

    一列列閃爍的十六進制字元以不同速度與深度向下流動,最前方的字元特別明亮。

  • 文件檢索

    一個問題掃過一排文件,最相符的段落連同分數亮起,並飛入答案之中。

  • 正常運行時間軸

    九十日的狀態條逐一長出,停機日子被框出並標註,正常運行百分比同步向上計數。

  • 光纖脈衝

    一束玻璃光纖在畫面中漂移,光脈衝沿每條纖維全程奔走。無縫循環。

  • 向量嵌入聚類

    散落的向量移向帶標籤的群組,接著一個查詢點落入,並連向最接近的鄰居。