今日、ボブ社長が非常に興味深いツールであるRhubarb Lip Syncを紹介しました。これはコマンドラインツールで、音声録音から二次元キャラクターの口パクアニメーションを自動生成することができます。既存の録音に基づいて口パクアニメーションを作成する必要があるプロジェクト、例えばコンピュータゲームやアニメーション映画などに使用できます。
プロジェクトアドレス：https://github.com/DanielSWolf/rhubarb-lip-sync
効果を見てみよう
口の形状の種類
Rhubarb Lip Syncは、6〜9種類の異なる口の形状を使用することができます。最初の6つの口の形状（Ⓐ-Ⓕ）は基本的な形状であり、キャラクターのために描くべき絶対最小数です。これらの6つの口の形状は、ハンナ・バーベラ・スタジオによって「スクービー・ドゥ」や「フリントストーン」などの番組のために考案されました。それ以来、これらは2Dアニメーションの事実上の標準となり、ディズニーやワーナーブラザーズなどのスタジオで広く使用されています。
6つの基本的な口の形状の他に、三种類の拡張形状があります：Ⓖ、Ⓗ、およびⓍ。これらはオプションです。すべての三つを描くことも、一つまたは二つだけを選択することも、あるいは全く使用しないことも可能です。
Ⓐ - 「P」、「B」、「M」のような音を発するときに使用される閉じた口の形状です。これはⓍの形状とほぼ同じですが、唇の間に軽い圧力があります。
Ⓑ - 少し開き、歯を食いしばったような口の形状です。この形状は通常、「K」、「S」、「T」などのほとんどの子音に使用されます。「bee」の中の「EE」のようないくつかの母音にもこの形状が使われます。
Ⓒ - 開いた口の形状です。この形状は「EH」（men）や「AE」（bat）のような母音に使用されます。文脈によっては、いくつかの子音にも使用されます。ⒶまたはⒷからⒹへのアニメーション中に、この形状は中間の移行形状としても使用されます。ですので、アニメーションⒶⒸⒹとⒷⒸⒹが滑らかに見えるようにしてください！
Ⓓ - 大きく開いた口の形状です。この形状は「AA」（father）のような母音に使用されます。
Ⓔ - やや丸みを帯びた口の形状です。この形状は「AO」（off）や「ER」（bird）のような母音に使用されます。ⒸまたはⒹからⒻへのアニメーション中に、この形状は中間の移行形状としても使用されます。口がⒸよりも開かないように注意してください。ⒸⒺⒻとⒹⒺⒻは滑らかなアニメーションになるようにしてください。
Ⓕ - すぼめた口の形状です。この形状は「UW」（you）、「OW」（show）、「W」（way）のような音に使用されます。
Ⓖ - 上の歯が下唇に触れるような口の形状で、「F」（for）や「V」（very）のような音に使用されます。この拡張形状はオプションです。あなたの芸術スタイルが十分に詳細であれば、全体的なアニメーションの見た目を大幅に改善します。使用しないことを決定した場合は、extendedShapesオプションで指定できます。
Ⓗ - この形状は長い「L」の音に使用され、舌が上部の歯の後ろに上がります。口は少なくともⒸの形状ほど開いている必要がありますが、Ⓓのように大きく開くことはありません。この拡張形状はオプションです。あなたの芸術スタイルや頭の角度によっては、舌が完全に見えない場合もあります。そのような場合には、この追加の形状を描く必要はありません。使用しないことを決定した場合は、extendedShapesオプションで指定できます。
Ⓧ - アイドル状態。この形状は話す間隔に使用されます。キャラクターが歩いているが話していないときにも同じ形状を使用します。これはⒶとほぼ同じですが、唇の間の圧力が少し少ないです：Ⓧの場合、唇は閉じているがリラックスしています。この拡張形状はオプションです。アイドル状態のⓍと閉じた話し口の形状のⒶとの間に可視的な違いがあるかどうかは、あなたの芸術スタイルと個人的な好みによるものです。使用しないことを決定した場合は、extendedShapesオプションで指定できます。
使用環境
Rhubarb Lip Syncは以下のアプリケーションと統合されています：
Adobe After Effects
MohoとOpenToonz
Spine（Esoteric Software提供）
Vegas Pro（Magix提供）
Visionaire Studio
さらに、Rhubarb Lip Syncのコマンドラインインターフェース（CLI）を使用して、さまざまな出力形式（TSV/XML/JSON）のファイルを生成することもできます。
<?xml version="1.0" encoding="utf-8"?>
<rhubarbResult>
<metadata>
<soundFile>C:\Users\Daniel\Desktop\av\hi\hi.wav</soundFile>
<duration>0.47</duration>
</metadata>
<mouthCues>
<mouthCue start="0.00" end="0.05">X</mouthCue>
<mouthCue start="0.05" end="0.27">D</mouthCue>
<mouthCue start="0.27" end="0.31">C</mouthCue>
<mouthCue start="0.31" end="0.43">B</mouthCue>
<mouthCue start="0.43" end="0.47">X</mouthCue>
</mouthCues>
</rhubarbResult>