RIFE

RIFE は、深層学習に基づくリアルタイム動画フレーム補間モデルであり、中間フレームを効率的に予測して動画のフレームレートを向上させ、動画の滑らかさやアニメーション制作などの分野で広く利用されています。

モデルを手動でダウンロードし、raspberrypi5 にアップロードするか、以下のコマンドでモデルリポジトリを取得します。

ヒント

git lfs がインストールされていない場合は、先にgit lfs インストール手順を参照してインストールしてください。

git clone https://huggingface.co/AXERA-TECH/RIFE.axera

ファイル説明：

m5stack@raspberrypi:~/rsp/RIFE.axera $ ls -lh
total 52K
-rw-rw-r-- 1 m5stack m5stack 1.1K Sep 29 14:28 build_config.json
-rw-rw-r-- 1 m5stack m5stack    0 Sep 29 14:28 config.json
drwxrwxr-x 2 m5stack m5stack 4.0K Sep 29 14:28 model
-rw-rw-r-- 1 m5stack m5stack 6.9K Sep 29 14:28 ms_ssim.py
-rw-rw-r-- 1 m5stack m5stack 1.8K Sep 29 14:28 README.md
-rw-rw-r-- 1 m5stack m5stack   88 Sep 29 14:28 requirements.txt
-rw-rw-r-- 1 m5stack m5stack 9.2K Sep 29 14:28 run_axmodel.py
-rw-rw-r-- 1 m5stack m5stack 9.2K Sep 29 14:28 run_onnx.py
drwxrwxr-x 2 m5stack m5stack 4.0K Sep 29 14:28 video

仮想環境を作成

python -m venv rife

仮想環境を有効化

source rife/bin/activate

依存パッケージをインストール

pip install https://github.com/AXERA-TECH/pyaxengine/releases/download/0.1.3.rc1/axengine-0.1.3-py3-none-any.whl
pip install -r requirements.txt

実行

python3 run_axmodel.py --model ./model/rife_x2_720p.axmodel --video ./video/demo.mp4

実行結果：

(rife) m5stack@raspberrypi:~/rsp/RIFE.axera $ python3 run_axmodel.py --model ./model/rife_x2_720p.axmodel --video ./video/demo.mp4
[INFO] Available providers:  ['AXCLRTExecutionProvider']
[INFO] Using provider: AXCLRTExecutionProvider
[INFO] SOC Name: AX650N
[INFO] VNPU type: VNPUType.DISABLED
[INFO] Compiler version: 4.2 77cdc0c2
./video/demo.mp4, 128.0 frames in total, 25.0FPS to 50.0FPS
The audio will be merged after interpolation process
 99%|██████████████████████████████████████▋| 127/128.0 [02:45<00:01,  1.30s/it] 

Next Overview

Linux PC

CM4Stack

CoreMP135

AI Accelerator Card

LLM-8850 Card

Quick Start

Vision Models

Large Language Models

Multimodal Models

Audio Models

Generative Models

Advanced Usage

LLM

リアルタイム音声アシスタント

OpenAI ボイスアシスタント

XiaoZhi ボイスアシスタント

XiaoLing ボイスアシスタント

AtomS3R-M12 Volcengine Kit

オフライン音声認識

Unit ASR

Home Assistant

Home Assistant OS

ESPHome

Industrial Control

StamPLC

IoT Measuring Instruments

Air Quality

Module13.2 PPS

VAMeter

T-Lite

Ezdata

Ethernet Camera

PoECAM

Wi-Fi Camera

TimerCAM

Unit CamS3/-5MP

AI Camera

UnitV2

M5StickV/UnitV

LoRa & LoRaWAN

TTN (The Things Network)

Meshtastic

Motor Control

Unit Roller485/CAN

Develop Tools

Hobby Kit

ファームウェアの初期化