Module LLM UiFlow2 快速上手

概述

Module LLM模块能够搭配不同的 M5 主控使用，本教程将以M5Core系列主控举例如何在UiFlow2中编程控制 Module LLM

准备工作

• 参考UiFlow Web IDE 教程，了解使用 UiFlow2 的基本流程，并参考M5Core 固件烧录与程序推送教程 完成设备 UiFlow 固件烧录和 UiFlow2 连接。

案例程序

以下提供了一些基础使用案例程序，你可以根据自己的需求，导入到 UiFlow2 中进行使用。

• examples:
  • get_model_list: 获取 Module LLM 的模型列表
  • kws_asr: 通过 KWS 实现唤醒 -> 触发 ASR 实现语音转换文本。 (KWS+ASR)
  • text_assistant: 通过文本方式输入内容至 LLM 模型，完成推理后以文本形式输出。 (LLM)
  • new_text_assistant: 新的初始化演示，添加模型初始化参数。注意，'temperature', 'top_p', 'top_k', 'repetition_penalty' 等参数配置，仅在软件版本 llm_llm >= 1.9 生效，请参考参考Module LLM 软件包更新教程，对 ModuleLLM 预装的软件底包升级。
  • tts: 通过 TTS 单元实现文本转换语音播放。 (TTS)
  • melotts: 通过 MeloTTS 实现文本转换语音播放。 (TTS)
  • voice_assistant: 通过 KWS 实现唤醒 -> 触发 ASR 实现语音转换文本 -> 将其转换内容作为 LLM 输入用作推理 -> 最后将推理输出结果通过 TTS 输出语音。 (KWS+ASR+LLM+TTS)
  • yolo11n with UVC: 通过 USB 摄像头读取视频流，将视频流送入 yolo11, 推理输出识别结果。
  • vlm: 通过 CoreS3 摄像头读取图像，将图像发送到 VLM，并推断输出结果。

相关链接

• Module LLM UiFlow2 API

教程视频