新しい表現を模索してみる (Pixiv Fanbox)

皆さん、こんにちは！

最近、UnityのBarracudaと言う面白そうな技術を試してました。UnityのBarracuda自体は、2020年頃からあるのですが、最近いじってみた感じです。

Barracudaとは

Barracudaは、Unityでニューラルネットワークを利用した推論を行うためのライブラリです。すごく簡単に言うと、機械学習のデータをUnity上で使えるようにする機能です。

Waifu2xBarracudaをやってみた

手始めに、Waifu2xBarracudaをやってみました。Waifu2xを使えば、低解像度の画像をAIによって高解像度に変換できます。

イイ感じ！

流石に動画だと処理負荷が大きいので、静止画に適用するのが良さそうです。例えば、Shoostでスクリーンショットや背景画像の解像度を上げるのに役立ちそう。（実装するかは決めてませんが。。）

画像から深度推定をやってみた

他にも画像から深度推定を行う技術も試してみました。

画像からDepth値を測定して、画像に奥行きの情報を追加することが出来ました。

これで何が出来るかと言うと、例えば、ライティングを付けたり、被写界深度を付けたりも出来るようになります。

↑ポイントライトを配置してみた。

↑被写界深度を入れてみた。

細かい形状を判定するのは難しいので、単純に立体表現を作成することはできませんが、表現力のちょっとした強化には使えるかもしれませんね。

この2つは、前からやってみたかったことなので、検証が出来て良かったです！うまく使えば何かが出来そうな予感がします。

というわけで、最近はいろいろな技術を試して、新しい可能性を模索していました。

今回の技術はこちらのGitHubから試せます。

Waifu2x

monocular-depth-unity