中國電信公布國際專利申請：“3D數字人唇形驅動辦法、裝置、電子設備及存儲介質”

證券之星消息，根據企查查數據顯示，中國電信（601728）公布了一項國際專利申請，專利名為“3D 數字人唇形驅動方法、裝置、電子設備及存儲介質”，專利申請號為 PCT/CN2023/140585，國際公布日為 2024 年 6 月 27 日。

該專利方法包括：獲取輸入的文本信息；基于從文本到語音 TTS 技術，將文本信息轉化為音素序列、音頻數據和時間戳信息（其中時間戳信息包含音素序列中各個元素的時間戳）；根據時間戳信息，對音素序列中相應的靜音音素進行刪除處理，對刪除處理后的音素序列進行預設倍數采樣，得到 bs 動畫系數序列；根據 bs 動畫系數序列、音頻數據、預設音素唇形映射表以及特殊音素的預設優化，渲染生成 3D 數字人的唇形動畫。其中預設音素唇形映射表包含多種音素與 3D 數字人唇形之間的映射關系，特殊音素包括雙唇音、唇齒音和齒擦音。

今年以來中國電信已公布的國際專利申請 116 個，較去年同期增加了 87.1%。結合公司 2023 年年報財務數據，2023 年公司在研發方面投入了 130.52 億元，同比增 23.59%。

這種 3D 數字人唇形驅動方法提高了 3D 數字人唇形驅動的魯棒性與流暢度，具體來說，通過構建預設音素唇形映射表、對音素序列進行處理和特殊音素優化等操作，可以使生成的 3D 數字人唇形動畫更加自然和準確，減少對大量訓練數據的依賴，并且能夠更好地應對各種情況，提高唇形驅動的效果和穩定性。

特殊音素的預設優化方式舉例如下：設置 3D 數字人在雙唇音（如 b、p、m 等）發音前，上嘴唇與下嘴唇接觸；在唇齒音（如 f、v 等）發音前，下嘴唇觸碰上牙齒；在齒擦音（如 z、c、s、j、q、x、zh、ch、sh 等）發音時，上下牙齒之間的距離滿足預設距離。

在渲染生成唇形動畫之前，可能還會對 bs 動畫系數序列進行三次樣條差值采樣、衰減、平滑處理，或者在其預設位置添加靜音音素后再進行平滑處理等操作。

該技術在虛擬數字人、人機交互、影視娛樂等領域可能具有廣泛的應用前景，例如可以為虛擬客服、虛擬主播等提供更加自然和逼真的唇形表現，提升用戶體驗。同時，也有助于推動相關產業的發展和創新。具體的應用方式和效果可能還需要根據實際情況進行進一步的開發和優化。