FPGA ISP相機(jī)，成功接入NVIDIA Orin NX & Nano
Author：admin / Time：2025-07-31
NVIDIA的生態(tài)完善，官方基于幾十年的GPU應(yīng)用，可以提供非常完善的GPU生態(tài)，提供完整的linux外設(shè)驅(qū)動，甚至針對開發(fā)者生態(tài)，又可以提供很多相機(jī)的驅(qū)動解決方案。
但與此同時(shí)，NVIDIA的生態(tài)又非常封閉，比如用戶想要接入開發(fā)者生態(tài)里沒有集成Driver的相機(jī)，寸步難行；又比如用戶想要使用NVIDIA的ISP去做一個(gè)更好的圖像算法，也是無能為力。
目前在中國，NVIDIA只對幾家公司開放了ISP的授權(quán)，普通用戶雖然也可以買到NVIDIA套件，但是對此卻有心無力。
在過去，這確實(shí)是一件很麻煩的事情，畢竟驅(qū)動不開放，對大部分人封閉。
但從去年開始，我們投入了大量的時(shí)間研究NVIDIA底層驅(qū)動，也交付了客戶基于IMX252的ISP相機(jī)，成功接入NVIDIA Orin AGX，以至于去年有了這篇文章，第二天NVIDIA原廠的人就上門探討了。
而今年，針對客戶不斷地對成本與性能的追求，在不斷的迭代升級了幾十個(gè)版本后，我們終于做到了2件事情：
經(jīng)過多個(gè)項(xiàng)目的實(shí)戰(zhàn)積累，我們一致認(rèn)為在非靜態(tài)場景中，USB相機(jī)因?yàn)槠浣涌诮Y(jié)構(gòu)因素，天然的不穩(wěn)定、不靠譜。我們曾經(jīng)在無人機(jī)上給客戶提供USB3.0 ISP相機(jī)，雖然后項(xiàng)目做成了，但是雙方卻耗費(fèi)了巨大的精力在做USB3.0掉線恢復(fù)的workaround，給系統(tǒng)異常檢測以及FPGA自我恢復(fù)增加了巨大的負(fù)擔(dān)，南轅北轍...
事實(shí)上USB是針對PC設(shè)計(jì)的通用串行接口，而針對終端或切入是設(shè)備，USB并非一定是優(yōu)解。因此今年開始，我們強(qiáng)行推出了基于MIPI接口的ISP相機(jī)，并且基于IPEX20455-20線纜接入方案，完成了更高的帶寬（6-10G），更方便的接入，以及更穩(wěn)定的系統(tǒng)集成方案。
同時(shí)，為了解決SoC側(cè)ISP開發(fā)難度大、開發(fā)周期長，系統(tǒng)適配投入資源大，我們也針對200萬、130萬彩色/黑白傳感器，采用FPGA集成了流水線低延時(shí)ISP圖像處理模塊，來適配多種不同的SoC環(huán)境，減輕SoC和系統(tǒng)集成的負(fù)擔(dān)。
基于此，我們推出了多款基于行業(yè)無人機(jī)應(yīng)用的MIPI-ISP相機(jī)，如下所示。目前以VM-200CR為例，作為主流發(fā)貨型號，已經(jīng)適配了多個(gè)客戶的如人機(jī)，完成了傳感器上天入地的使命。
-
基于NVIDIA Orin 的ISP相機(jī)接入方案
針對瑞星微（RK3568，RK3588），或者海思HI3516等型號SoC，生態(tài)相對比較開放，尤其是RK系列SoC，這幾年在國內(nèi)的推廣非常成功。我們的大部分國內(nèi)客戶，用的也是RK3588，因?yàn)獒槍K3588平臺，我們可以提供比較成熟的MIPI-ISP相機(jī)接入方案，比如6目200萬ISP相機(jī)同步接入應(yīng)用，如下所示：
但是針對NVIDIA的開發(fā)套件，尤其是相對低成本的NVIDIA套件，我們過去一直還沒有做MIPI-ISP相機(jī)接入的解決方案。
然而就在近日，為了吻合客戶新的需求，需要有更強(qiáng)的算力平臺以及完善的開發(fā)者生態(tài)，我們又被逼著上了刀山，使出渾身解數(shù)，完成了基于NVIDIA Nano Orin / NX平臺的MIPI-ISP接入方案，終于打通了任督二脈，完成了奧唯思MIPI-ISP相機(jī)的后一塊拼圖。
基于NVIDIA Orin Nano/NX套件，采用奧唯思MIPI-ISP相機(jī)的前置FPGA，集成低延時(shí)ISP處理的架構(gòu)，我們實(shí)現(xiàn)了“第三方模組+外置ISP相機(jī)”接入NVIDIA套件的方案，因此過去NVIDIA生態(tài)的2個(gè)難題迎刃而解：
-
解決了NVIDIA生態(tài)不支持列表外Sensor的問題
-
解決了NVIDIA生態(tài)不對普通用戶開放ISP的問題
但技術(shù)不能止步于此，我們?nèi)栽诓粩嗟赝黄?，不斷地做出更多有競爭力的設(shè)計(jì)，榨干FPGA的極限，不斷地突破實(shí)現(xiàn)FPGA的價(jià)值。
針對我們的客戶，我們將會免費(fèi)提供基于NVIDIA Orin Nano/NX開發(fā)套件的MIPI ISP相機(jī)接入源代碼，助力客戶快速搭建環(huán)境，將更多的精力放到產(chǎn)品應(yīng)用上去。
https://item.taobao.com/item.htm?ft=t&id=830528734362
302, Building 17, Nanshan Ruiyuan, Xili Longzhu 3rd Road, Nanshan District, Shenzhen City, Guangdong Province
19926595670
cb@szovs.com
WeChat
Skype
Official WeChat