電子產(chǎn)業(yè)一站式賦能平臺(tái)

PCB聯(lián)盟網(wǎng)

搜索
查看: 131|回復(fù): 0
收起左側(cè)

視覺AI MPU-高算力、低功耗、實(shí)時(shí)性常見問題

[復(fù)制鏈接]

418

主題

418

帖子

4293

積分

四級會(huì)員

Rank: 4

積分
4293
跳轉(zhuǎn)到指定樓層
樓主
發(fā)表于 2024-10-11 12:06:00 | 只看該作者 |只看大圖 回帖獎(jiǎng)勵(lì) |倒序?yàn)g覽 |閱讀模式
轉(zhuǎn)自 | 瑞薩嵌入式小百科

之前由瑞薩主辦了關(guān)于“瑞薩RZ/V2H視覺AI MPU-高算力、低功耗、實(shí)時(shí)性”在線研討會(huì)。然后今天分享一下視覺AI MPU-高算力、低功耗、實(shí)時(shí)性常見的問題。Q1
RZ/V2H高算力主要體現(xiàn)在哪些方面?
集成四核Arm? Cortex?-A55 (1.8GHz) Linux處理器以及瑞薩自有DRP-AI3加速器,提供高達(dá)8 TOPS(dense模型)/80 TOPS(sparse模型)的AI推理能力。

Q2
RZ/V2H如何兼顧低功耗和高性能呢?
瑞薩利用自己的DRP核心IP做AI的運(yùn)算。實(shí)現(xiàn)8 TOPS(dense模型)/80 TOPS(sparse模型)AI算力以及10 TOPS/W的高能效。

軟、硬結(jié)合系統(tǒng)性地實(shí)現(xiàn)AI模型的高算力和低功耗
  • 模型量化:從傳統(tǒng)的16位浮點(diǎn)運(yùn)算更改為8位整數(shù)運(yùn)算
  • 模型裁剪:采用靈活的N:M修剪方法AI系統(tǒng)架構(gòu)實(shí)現(xiàn)高功效
  • 通過數(shù)據(jù)重用技術(shù)減少外部存儲(chǔ)器通信
  • 使用輸入的零數(shù)據(jù)控制功耗
  • 操作流程調(diào)度

    Q3
    Sparse和dense模型是有什么區(qū)別?
    Dense是稠密算法,通常來講大部分原生模型都是Dense類型,它的模型參數(shù)較多,精度高,同時(shí)消耗較高的算力。Sparse是對原生模型進(jìn)行分支裁剪,將復(fù)雜模型進(jìn)行簡化來減少模型參數(shù),這樣可以在同樣算力的平臺(tái)上運(yùn)行Sparse模型來達(dá)到更高的幀率。用戶可以根據(jù)調(diào)節(jié)剪枝系數(shù),來滿足對幀率和精度綜合要求。

    Q4
    RZ/V2H相關(guān)資料在哪里查閱?
    RZ/V2H已量產(chǎn)上市,在RZ/V2H主頁可以獲得產(chǎn)品介紹、用戶手冊、開發(fā)板及開發(fā)板設(shè)計(jì)、軟件及開發(fā)工具以及相關(guān)視頻培訓(xùn)等內(nèi)容。

    RZ/V2H產(chǎn)品頁:
    https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/rz-mpus/rzv2h-quad-core-vision-ai-mpu-drp-ai3-accelerator-and-high-performance-real-time-processor
    Renesas RZ/V AI應(yīng)用網(wǎng)站https://renesas-rz.github.io/rzv_ai_sdk/latest/Q5
    使用DRP-AI進(jìn)行開發(fā)需要哪些軟件工具和環(huán)境資源?
    瑞薩提供全套開發(fā)的AI SDK軟件包,AI開發(fā)工具及AI應(yīng)用一站式網(wǎng)站,即使是AI剛?cè)腴T的用戶,也可以利用AI應(yīng)用一站式網(wǎng)站提供的資源和指導(dǎo)來開發(fā)相應(yīng)的AI應(yīng)用。

    RZ/V2H AI Software Development Kit
    https://www.renesas.cn/cn/zh/software-tool/rzv2h-ai-software-development-kit

    AI開發(fā)工具
    1
    DRP-AI Translator
    DRP-AI Translator i8
    https://www.renesas.cn/cn/zh/software-tool/drp-ai-translator-i8
  • 經(jīng)過調(diào)整以最大限度地提高DRP-AI性能的工具
  • AI模型的所有操作都可以由DRP-AI執(zhí)行,從而實(shí)現(xiàn)高速性能,并降低CPU負(fù)載
    2
    DRP-AI TVM
    github - renesas-rz - rzv_drp-ai_tvm
    https://github.com/renesas-rz/rzv_drp-ai_tvm
  • 支持多個(gè)AI框架(ONNX、PyTorch、TensorFlow等)
  • 此外,它還支持與CPU一起運(yùn)行,從而可以運(yùn)行更多的AI模型
    3
    DRP-AI EXTENSION(支持V2H)
    DRP-AI Extension Pack (Pruning Tool)
    https://www.renesas.cn/cn/zh/software-tool/drp-ai-extension-pack-pruning-tool
  • DRP-AI擴(kuò)展包,用于在AI模型訓(xùn)練環(huán)境中創(chuàng)建稀疏模型
  • 瑞薩電子提供豐富的AI應(yīng)用一站式網(wǎng)站指南。在這網(wǎng)站內(nèi),易于查找和獲取所需的AI應(yīng)用程序以及免費(fèi)的預(yù)訓(xùn)練庫資源。
    Renesas RZ/V AI應(yīng)用網(wǎng)站
    https://renesas-rz.github.io/rzv_ai_sdk/latest/

    ------------ END ------------


    單片機(jī)和PHY芯片連接時(shí)的注意事項(xiàng)


    瑞薩RA8系列教程 | RA8輸出PWM實(shí)現(xiàn)方法


    Cortex-M3與M85單片機(jī)的SysTick使用上有區(qū)別嗎?
  • 發(fā)表回復(fù)

    您需要登錄后才可以回帖 登錄 | 立即注冊

    本版積分規(guī)則


    聯(lián)系客服 關(guān)注微信 下載APP 返回頂部 返回列表