基于MIPI的FPGA-ISP相機(jī)標(biāo)準(zhǔn)化

• 1.被迫放棄了USB3.0

基于FPGA的全國(guó)產(chǎn)ISP相機(jī)，我們已經(jīng)先后努力了2個(gè)年頭，也持續(xù)向大家匯報(bào)過(guò)我們的進(jìn)展：

1. 時(shí)隔10年，我將重新殺回國(guó)產(chǎn)FPGA
2. 全國(guó)產(chǎn)0延時(shí)USB3.0 ISP工業(yè)相機(jī)但就2年的坎坷經(jīng)歷來(lái)看，這也許是個(gè)偽命題，因?yàn)椴还苁菑男枨髠?cè)還是應(yīng)用側(cè)，雖然我做到了全國(guó)產(chǎn)，但仍有2個(gè)問(wèn)題是無(wú)解：

• USB3.0接口的相機(jī)，有?？荡笕A等龍頭在，后來(lái)者入場(chǎng)很難
• USB3.0接口的相機(jī)，在沖擊抗震中的表現(xiàn)不佳，是個(gè)難題
• USB3.0接口接入ARM協(xié)議解析延時(shí)更大，無(wú)法做到低延時(shí)

USB接口會(huì)由于震動(dòng)、撞擊等脫落，導(dǎo)致觸電接觸不良，這需要耗費(fèi)大量的精力去做自恢復(fù)以及斷點(diǎn)重傳。盡管扛住了了苛刻的測(cè)試流程，也安裝到了甲板上，但始終覺(jué)得南轅北轍，身心疲憊——方向不對(duì)，努力白費(fèi)!

經(jīng)過(guò)了一年多的持續(xù)迭代與探索，我們終于在工業(yè)相機(jī)模組應(yīng)用上，放棄了USB3.0接口，放棄了在全國(guó)產(chǎn)方寸T630 USB3.0方案上，投入1年多研發(fā)精力的方案，全面走向MIPI CSI接口，并且推出了標(biāo)準(zhǔn)化產(chǎn)品。

1. 迭代6代后，終于推出MIPI ISP全國(guó)產(chǎn)相機(jī)
2. FPGA在低空經(jīng)濟(jì)中的入場(chǎng)機(jī)會(huì)：ISP相機(jī)

• 2.全國(guó)產(chǎn)關(guān)鍵物料選型

卡脖子確實(shí)難受，是一種呼吸不過(guò)來(lái)的憋屈，那么國(guó)產(chǎn)化仍然是堅(jiān)定不移的，未來(lái)10年的戰(zhàn)略，所以我們一如既往地堅(jiān)持：全國(guó)產(chǎn)化ISP相機(jī)。

如下是我們的全國(guó)產(chǎn)相機(jī)的選型/架構(gòu)：

這里的關(guān)鍵元件選型，如下：

• FPGA：易靈思鈦金16nm Ti60F225，低功耗高性能
• Sensor：思特威CMOS圖像傳感器，全國(guó)產(chǎn)高性能
• DDR3：FPGA合封DDR3，追求體積
• 其他：各種國(guó)產(chǎn)芯片選型，

經(jīng)過(guò)1年的迭代，以及幾個(gè)客戶(hù)的先后系統(tǒng)集成+對(duì)接測(cè)試后，一次性推出6個(gè)機(jī)型（4種傳感器），如下圖所示：

其中有幾個(gè)型號(hào)重點(diǎn)描述下：

1. VM-200CR是目前出貨多的彩色1/1.8寸1080P60的機(jī)芯；
2. VH-130MG則是目前130萬(wàn)無(wú)線圖傳客戶(hù)喜歡的HDMI輸出模式；
3. VM-500MG的成本很高，參數(shù)性能也很高，面向高端需求
4. VM-130CG功耗非常夸張，做到720P 240幀的實(shí)時(shí)ISP，將近3W++

• 3.全國(guó)產(chǎn)ISP相機(jī)特性

利用易靈思FPGA高速并行低功耗等特性，我們?cè)谟邢薜馁Y源內(nèi)，將流水線按ISP的性能與延時(shí)做到了[敏感詞]。

同時(shí)，利用FPGA來(lái)實(shí)現(xiàn)ISP，相對(duì)于ARM的優(yōu)勢(shì)，主要有如下：

尤其是幫客戶(hù)解決了Sensor對(duì)接，以及ISP調(diào)試的工作量，加上FPGA 低延時(shí)的特性，是基于FPGA的ISP相機(jī)的大特性。如下所示，是我們?cè)贔PGA上實(shí)現(xiàn)的ISP Pipeline：

基于此，我們調(diào)試了幾款思特威的主流CMOS傳感器，包括130→500萬(wàn)，以及卷簾/全局曝光傳感器，主要有如下：

• IPEX同軸20P傳輸

在車(chē)載/無(wú)人機(jī)應(yīng)用領(lǐng)域，往往希望線纜可以有以下特性：

1. 傳輸速率高
2. 線纜材質(zhì)軟
3. 接口安裝穩(wěn)定
4. 10-50cm的傳輸（更長(zhǎng)建議SDI）

USB3.0除了傳輸帶寬還可以，需求2+3著實(shí)無(wú)法滿(mǎn)足，鑒于此，我們選用了無(wú)人機(jī)常用的IPEX線纜，信號(hào)線都走同軸，號(hào)稱(chēng)單線可以運(yùn)行10Gbps的速率（我們實(shí)測(cè)過(guò)2.5Gbps）。

IPEX（被動(dòng)元件）是進(jìn)口的品牌，但是也有國(guó)產(chǎn)替代型號(hào)；另外工廠對(duì)IPEX同軸線的加工，已經(jīng)是輕車(chē)熟路，因此選型沒(méi)有壁壘。自從我們選用IPEX同軸線纜進(jìn)行傳輸后，終于打破了1米傳輸高速M(fèi)IPI ISP相機(jī)的限制。

如下是我們提供給定制客戶(hù)的80cm的IPEX 20P同軸線，雙目接入了NVIDIA Jetson，已經(jīng)穩(wěn)定上機(jī)測(cè)試，完美解決了原來(lái)TypeC傳輸接口的問(wèn)題。

• 成功案例分享

1）單目VM-200CR接入FPGA

如下所示，客戶(hù)基于易靈思鈦金ti60F100做機(jī)器視覺(jué)的開(kāi)發(fā)，但又不想把精力放在ISP上，因此采用我們的FPGA-ISP相機(jī)，50+cm傳輸后接入Ti60F100做顯示后處理。

??為了加速客戶(hù)開(kāi)發(fā)，我們提供基于Ti60F100 接入VM-200CR的源代碼級(jí)FPGA工程。

2）雙目VM-200CR接入RK3588

這是目前行業(yè)客戶(hù)需求量大的應(yīng)用，即采用RK進(jìn)行無(wú)人機(jī)偵察，或者低空飛行的相關(guān)檢測(cè)應(yīng)用。RK3588有強(qiáng)大的算力，但負(fù)責(zé)AI開(kāi)發(fā)的工程師，仍然有3個(gè)問(wèn)題：

• 負(fù)責(zé)AI的同時(shí)不會(huì)RK ISP
• 沒(méi)有更多精力投入ISP Tuning
• RK處理啟動(dòng)+延時(shí)太慢了

因此，也就有了我們FPGA實(shí)現(xiàn)ISP相機(jī)的需求。如下是客戶(hù)RK3588接入奧唯思雙目VM-200CR的實(shí)物演示（原先用USB3.0方案，終放棄）：

          

在國(guó)產(chǎn)ISP相機(jī)方案上，我們將持續(xù)迭代，不斷地優(yōu)化圖像效果與功耗。

如果對(duì)我們產(chǎn)品感興趣，可以聯(lián)系我們：

https://item.taobao.com/item.htm?ft=t&id=830528734362

或在”奧唯思FPGA店鋪“ 搜索 ISP相機(jī)（批量可談）：