配置表
| 序號 | 產品名稱 | 數(shù)量 | 規(guī)格 |
| 1 | AI語音與機器視覺開發(fā)應用系統(tǒng)平臺 | 25 | 由邊緣計算處理器RK3399，4G+16G內存配置，11.6寸高清電容屏、AI攝像頭、AI麥克風陣列等構成。提供更豐富的擴展接口：雙路USB3.0，RS232，RS485，嵌入式拓展接口等各種外設接口。 |
| 2 | AI圖像視覺開發(fā)資源包 | 1 | 配套源碼，視頻教程，實驗指導書，PPT等 |
| 3 | AI語音語言開發(fā)資源包 | 1 | 配套源碼，視頻教程，實驗指導書，PPT等 |
| 4 | AI神經網(wǎng)絡基礎資源包 | 1 | 配套源碼，視頻教程，實驗指導書，PPT等 |
| 5 | 物聯(lián)網(wǎng)應用云平臺軟件 | 1 |
1）能夠將物聯(lián)網(wǎng)感知層設備（傳感器、執(zhí)行器等）接入物聯(lián)網(wǎng)云服務平臺，平臺能夠接收并存儲傳感器和執(zhí)行器的實時數(shù)據(jù)，模塊在線狀態(tài)，并實時顯示。 2）提供后臺管理系統(tǒng)，能夠設置賬號類型和使用權限。支持多用戶管理及權限控制，分為父用戶和子用戶，父用戶可以創(chuàng)建多個子用戶，并且可以為每個子用戶分配增、刪、改幾種權限，子用戶創(chuàng)建的資源相互隔離。 3）提供物聯(lián)網(wǎng)規(guī)則編輯器，無需編寫代碼即可編輯復雜的自動化控制策略，實現(xiàn)移動互聯(lián)網(wǎng)系統(tǒng)的自動化控制。 4）提供豐富的可視化控件庫，通過拖拽、簡便配置即可完成美觀的UI設計。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。 5）物聯(lián)網(wǎng)感知層設備也能夠向執(zhí)行器發(fā)送控制命令，系統(tǒng)能夠實現(xiàn)模塊的在線監(jiān)測。 6）云平臺支持物聯(lián)網(wǎng)硬件多協(xié)議接入，通過ZigBee/BLE/wifi/lora/NBIOT無線技術取得傳感器采集的數(shù)據(jù)，形成一個完整的無線傳感器網(wǎng)絡。 7）數(shù)據(jù)通過http/MQTT協(xié)議傳輸至物聯(lián)網(wǎng)應用基礎云平臺軟件，進行數(shù)據(jù)圖形化展示。 8）實現(xiàn)基于云平臺的智能家居實驗，并包含配套完整的教學資源。 9）支持本地化部署和云端部署兩種方式。 |
| 6 | 實驗桌 | 50 | |
| 7 | 電腦 | 50 |
2. 產品說明
2.1. AI語音與機器視覺實驗室建設思路
2.1.1. 實驗室建設概況
2.1.1.1. 建設目標
嵌入式人工智能創(chuàng)新應用實驗室，整體規(guī)劃與布局如下：在原專業(yè)的基礎上，培養(yǎng)能在人工智能及其應用的各相關領域中從事數(shù)據(jù)挖掘、深度學習、神經網(wǎng)絡、計算機視覺、機器人學習、語音識別等的人工智能應用型人才。以ARM人工智能創(chuàng)新實驗室作為產業(yè)聚集地，承擔規(guī)劃設計、建設指導、協(xié)調支持等作用；涵蓋基礎教學、算法應用開發(fā)、產品原型開發(fā)驗證和企業(yè)案例應用實訓等四個關聯(lián)遞進的場景；形成以人才培養(yǎng)基地、資源中心、培訓中心、資質認證中心、創(chuàng)新創(chuàng)業(yè)基地、教學研究中心為目標的6大生態(tài)體系，建成工信部緊缺人才實驗中心并獲得工業(yè)和信息化領域急需緊缺人才培養(yǎng)工程授牌，為學校建設和社會人工智能人才培養(yǎng)服務，實現(xiàn)產教深度融合。
通過人工智能技術手段，結合學院的人才培養(yǎng)特點，為學院的實踐教學、科技創(chuàng)新、學科競賽及產學研項目等提供平臺支撐。打造能夠服務于人工智能、物聯(lián)網(wǎng)等研發(fā)產業(yè),為優(yōu)化升級產業(yè)結構和發(fā)展提供技術支撐和人才培養(yǎng)教學平臺。
1.2 建設思路
AI趨勢：智能向端遷移，端云結合• 云：數(shù)據(jù)挖掘、算法訓練
• 端：推理，產生高質量數(shù)據(jù)（信息）
• 全面滲透金融、醫(yī)療、安防、零售、制造業(yè)、以及家庭等全行業(yè)，典型應用AIoT。
面對新一輪人工智能浪潮中如何將人工智能教育落實到課程上,嵌入式人工智能創(chuàng)新應用實驗室為學員準備不同層次的訓練，使學員能由簡到繁、由易到難不斷的深化學習。
1.3 建設內容
人工智能產業(yè)尚處于一個發(fā)展的初步階段，隨著標準的制定、核心技術的研發(fā)與普及，將會衍生至各產業(yè)行業(yè)的眾多技術變革與應用。為此學校在實訓室的建設方面需要有一定的前瞻性。一、應保證滿足3至5年的需要；二、升級換代方便；三、最大限度地保護已有投入。那么參照這個原則，人工智能實訓基地的建設發(fā)展目標是：Ø 設備能夠滿足5年內的教學需求。
Ø 設備易于升級與更迭。
Ø 設備擴展性好。
Ø 企業(yè)能提供強大的售后服務支持。
Ø 企業(yè)能夠在人工智能研發(fā)探索上提供關鍵技術支撐平臺。
Ø 企業(yè)能夠提供行業(yè)發(fā)展的最新信息，能夠提供滿足教學需求的教學資源庫。
Ø 企業(yè)應具備為學校提供師資隊伍的能力。
2.1.2. 課程體系設置
2.1.2.1. 教材名錄
2019年，國內來自北京大學、北京郵電大學、武漢大學、同濟大學、哈爾濱工業(yè)大學、哈爾濱工程大學等近30所學校知名專家教授共同撰寫的42本教材，由人民郵電出版社出版。| 序號 | 書名 | 序號 | 書名 |
| 1 | 人工智能原理 | 22 | 物聯(lián)網(wǎng)概論 |
| 2 | 腦科學導論 | 23 | 物聯(lián)網(wǎng)通信技術 |
| 3 | 人工智能學科基礎 | 24 | 射頻識別（RFID）原理與應用 |
| 4 | 大數(shù)據(jù)導論 | 25 | 窄帶物聯(lián)網(wǎng)原理及應用 |
| 5 | 計算智能 | 26 | 工業(yè)物聯(lián)網(wǎng)技術及應用 |
| 6 | 自然語言處理與深度學習 | 27 | 智能家居設計與實踐 |
| 7 | 人工智能導論 | 28 | 智慧交通信息服務體系與應用 |
| 8 | 計算機視覺 | 29 | Linux操作系統(tǒng)基礎 |
| 9 | 機器學習原理與python實現(xiàn) | 30 | 嵌入式系統(tǒng)導論 |
| 10 | 知識圖譜 | 31 | 嵌入式系統(tǒng)基礎-基于Arm Cortex-M微控制器系統(tǒng) |
| 11 | Python數(shù)據(jù)處理與挖掘 | 32 | 嵌入式系統(tǒng)設計 |
| 12 | 深度學習 | 33 | Arm嵌入式系統(tǒng)及應用 |
| 13 | 智能自主體系統(tǒng) | 34 | 智能嵌入式硬件系統(tǒng)開發(fā)實例教程 |
| 14 | 人工智能與區(qū)塊鏈：數(shù)字經濟學視角的技術范式 | 35 | 基于Arm Cortex-M3核的SoC設計實驗教程 |
| 15 | GPU編程 | 36 | C++程序設計 ——現(xiàn)代方法 |
| 16 | 人工智能白皮書 | 37 | Python高級程序設計 |
| 17 | 物聯(lián)網(wǎng)系統(tǒng)開發(fā)技術 | 38 | 計算機網(wǎng)絡與通信 |
| 18 | 機器學習 | 39 | 微型計算機原理及應用--基于Arm微處理器 |
| 19 | 智能無人系統(tǒng) | 40 | 5G移動通信技術 |
| 20 | 數(shù)字圖像處理與Python實現(xiàn) | 41 | 物聯(lián)網(wǎng)信息安全與隱私保護 |
| 21 | 智能系統(tǒng)設計與實踐 | 42 | 物聯(lián)網(wǎng)智能控制 |
2.1.2.2. 2.2 課程資源
Ø 人工智能課程建設思路| 一、基礎模塊 | 二、智能科學與技術模塊 | 三、物聯(lián)網(wǎng)技術模塊 | 四、嵌入式系統(tǒng)模塊 |
| 1.數(shù)據(jù)結構 | 1.人工智能導論 | 1.物聯(lián)網(wǎng)技術導論 | 1.Linux操作系統(tǒng)基礎 |
| 2.程序設計基礎（C/Python） | 2.人工智能原理 | 2.物聯(lián)網(wǎng)通訊技術 | 2.Linux高級編程 |
| 3.計算機網(wǎng)絡與通信 | 3.機器學習 | 3.自動識別技術及應用 | 3.嵌入式微處理器技術及應用 |
| 4.操作系統(tǒng) | 4.計算機視覺 | 4.傳感器原理及應用 | 4.開源硬件應用開發(fā) |
| 5.微型計算機原理及應用 | 5.智能機器人 | 5.物聯(lián)網(wǎng)中間件技術 | 5.嵌入式系統(tǒng)設計 |
| 6.單片機基礎 | 6.模式識別 | 6.物聯(lián)網(wǎng)應用系統(tǒng)設計 | 6.嵌入式操作系統(tǒng) |
| 7.數(shù)據(jù)庫系統(tǒng)原理 | 7.數(shù)據(jù)挖掘 | 7.窄帶物聯(lián)網(wǎng) | 7.嵌入式軟件設計及開發(fā) |
| 8.自然語言處理 | 8.工業(yè)物聯(lián)網(wǎng) | 四、嵌入式系統(tǒng)模塊 | |
| 9.智能移動軟件開發(fā)技術 | 三、物聯(lián)網(wǎng)技術模塊 | 1.Linux操作系統(tǒng)基礎 | |
| 10.數(shù)據(jù)科學 | 1.物聯(lián)網(wǎng)技術導論 | 2.Linux高級編程 | |
| 11.深度學習框架及應用 | 2.物聯(lián)網(wǎng)通訊技術 | 3.嵌入式微處理器技術及應用 |
1） 基礎課程設置
提供人工智能、大數(shù)據(jù)、云計算等相關基礎技術開源組件的理論知識、各組件的安裝部署配置等上機實訓手冊，以及運維監(jiān)控、性能優(yōu)化等知識寶典、提供教學環(huán)境上機操作實訓體驗 。
Ø 理論知識：相關的電子書籍、技術介紹文章等
Ø 實訓知識：相關的安裝、部署、配置手冊
Ø 技能寶典：自動化部署腳本、維護和優(yōu)化知識庫、主要論壇地址等
Ø 操作體驗：提供環(huán)境，進行安裝部署操作
2）專業(yè)提升課程
通過各個開源組件部署配置，以及定制開發(fā)，實現(xiàn)通用的云計算平臺（容器、DevOps）、大數(shù)據(jù)可視化平臺、人工智能平臺等符合企業(yè)需求的技術平臺，以及近似企業(yè)平臺的用戶操作體驗，提升專業(yè)技能。
Ø 技術平臺：介紹技術平臺架構，如：技術組件，系統(tǒng)架構
Ø 使用手冊：介紹如何通過平臺實現(xiàn)企業(yè)各類場景需求
Ø 上機體驗：提供教學環(huán)境的場景，
Ø 提升認知：引入配套的AR增強現(xiàn)實體驗等方式
2.1.2.3. 2.3 課程設置
Ø 課程（本科）：專業(yè)方向：智能技術及應用| 課程類別 | 課程名稱 | 學分 | 總/周學時 |
理論 課時/學分 |
實踐 課時/學分 |
先修課程 | |||||||||||||||||||||||||||||
| 專業(yè)核心課 | C++程序設計 ——現(xiàn)代方法 | 4 | 64/4 | 48/3 | 16/1 | ||||||||||||||||||||||||||||||
| Linux操作系統(tǒng)基礎 | 3 | 48/3 | 32/2 | 16/1 | C++ | ||||||||||||||||||||||||||||||
|
2 | 32/2 | 32/2 | ||||||||||||||||||||||||||||||||
| 神經網(wǎng)絡與深度學習 | 4 | 64/4 | 32/2 | 32/2 | C++ | ||||||||||||||||||||||||||||||
| 計算機視覺 | 4 | 64/4 | 32/2 | 32/2 | C++ | ||||||||||||||||||||||||||||||
| 語音信號處理 | 3 | 48/3 | 32/2 | 16/1 | C++ |
2.2. AI語音與機器視覺開發(fā)應用系統(tǒng)平臺
人工智能語音機器視覺系統(tǒng)是一款集成AI語音、機器視覺、深度學習基礎、嵌入式Linux于一體的高端教學科研實驗平臺。
整個教學平臺由實驗箱高性能嵌入式主板夠成，高性能嵌入式核心板采用高性能64位ARM處理器，標配4GB DDR3內存和16GB閃存，可運行ubuntu、android、linuxqt等多種操作系統(tǒng)，可滿嵌入式linux和AI應用開發(fā)。
平臺采用多核高性能 AI 處理器，預裝 Ubuntu Linux 操作系統(tǒng)與 OpenCV 計算機視覺庫，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學習端側推理框架。
提供多種應用外設與豐富的機器視覺、AI語音、深度學習實戰(zhàn)應用案例，如語音前處理（聲源定位、語音增強、語音降噪、回聲消除、聲音提取）、語音活體檢查、語音喚醒、語音識別、語音合成、自然語言處理、聲紋識別門鎖、語音智能家居、手寫字識別、人臉識別、目標檢測、端側推理框架、圖像識別、人體分析 、文字識別、人臉門禁控制、車牌道閘控制、手勢家居控制等，通過案例教學讓學生掌握計算機視覺與深度學習的基本原理和典型應用開發(fā)。
2.2.1. 嵌入式網(wǎng)關核心板
RK3399核心板是一款266-pin金手指形式高性能ARM計算機模塊，它采用了瑞芯微64位六核（包含雙核Cortex-A72 +四核Cortex-A53）Soc RK3399作為主處理器，標配4GB DDR3內存和16GB閃存，板載2×2 MIMO雙天線Wi Fi模組，尺寸只有69.6×50mm，模塊上帶有獨立的Typec供電接口，以及USB-C顯示接口。
RK3399計算模塊具有豐富的外設和擴展接口，可以擴展使用雙MIPI寬動態(tài)攝像頭，另外它還帶有eDP顯示接口，MIPI顯示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各種資源。RK3399可流暢運行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系統(tǒng)，軟件資源和生態(tài)非常豐富，尤其是Android 8.1具有NN SDK神經網(wǎng)絡加速軟件包，Qt-5.10集成了VPU硬件編解碼，GPU圖形加速，可使用QML快速開發(fā)流暢的動態(tài)式界面，因此RK3399核心板非常適合做高端人臉識別，機器視覺，VR虛擬現(xiàn)實，自動駕駛，深度計算分析等方面的人工智能產品快速原型及產品開發(fā)。
硬件參數(shù)：
| CPU |
SOC:RK3399 核心:64位雙核Cortex-A72 +四核Cortex-A53 頻率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz) |
| GPU | Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC |
| VPU | 4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc |
| Memory | RAM: Dual-Channel 4GB DDR3 |
| Storage | eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1 |
| Power Management | RK808-D PMIC,配合獨立直流/直流,啟用dvf solfware省電,RTC喚醒,系統(tǒng)睡眠模式 |
| Connectivity |
以太網(wǎng):本機千兆以太網(wǎng) wi - fi: 802.11 a / b / g / n / ac 藍牙:4.1雙模式 天線:雙天線接口 |
| Video Input | 1個或兩個4-Lane MIPI-CSI,雙重ISP, 13 mpix / s,同時支持雙相機數(shù)據(jù)的輸入 |
| Video Output |
HDMI: HDMI 2.0a, supports 4K@60Hz，HDCP 1.4/2.2 DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C LCD Interface: one eDP 1.3（4-Lane，10.8Gbps）, one or two 4-Lane MIPI-DSI |
| USB |
USB 2.0: 2獨立的本地主機USB 2.0 USB 3.0: 1本地主機USB 3.0 USB c類型:支持USB3.0 c型和顯示端口1.2 Alt模式USB c型 |
| PCIe | PCIe x4, compatible with PCIe 2.1, Dual operation mode |
| 調試 | 1 x調試UART, 3 v級,1500000個基點 |
| LED | 1x Power LED(Red) 1x GPIO LED(Green) |
| Key | Power Key x1 Reset Key x1 Recovery Key x1 |
| 工作溫度 | -20℃ to 70℃ |
| 電源 | 直流12 v / 1(邊緣連接器)或DV 5 v / 2.5 (c型) |
2.2.2. 網(wǎng)關底板其他外設
l 11.6寸高清觸顯一體屏：板載，eDP接口,電容式多點觸摸，分辨率1920*1080
l 按鍵：板載重啟、恢復、電源3個功能按鍵，4個用戶自定義按鍵
l UART：1路RS232，1路RS485
l 以太網(wǎng)：100/1000M
l 音頻：音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚聲器
l 無線網(wǎng)：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l 4G模組：板載，板載EC20模組
l LoRaWAN網(wǎng)關模塊接口：板載mini-pcie接口，可接入SX1301八通道并行LoRaWAN網(wǎng)關模塊。1個項目須至少配備1個LoRaWAN網(wǎng)關模塊，以實現(xiàn)對實驗室所有l(wèi)ora節(jié)點的接入管理。
l Zigbee網(wǎng)關模塊：板載，直列雙排20芯插針接口，非usb接口。
l BLE網(wǎng)關模塊：板載，直列雙排20芯插針接口，非usb接口。
l USB 3.0 HOST接口：板載2個
l Debug接口：板載1個
l Download接口：板載1個
l 鍵盤：板載7寸80鍵標準鍵盤
l 高清相機模組：CMOS傳感器OV13850，MIPI信號輸出，400萬像素，最高支持2688x1520像素。
l 麥克風陣列：板載7顆數(shù)字高性能硅麥克風。
l 紅外接收：板載紅外接收模塊1個
l 震動馬達傳感器：1個
l LED：板載4顆藍色LED燈珠。
l 天線接口：板載wifi、BLE、lora、LET 共4個天線接口。
l 傳感器擴展接口：板載，與無線傳感器節(jié)點的傳感器模塊接口兼容，可完成linux系統(tǒng)下的傳感器驅動開發(fā)實驗。
l OBD接口：板載，標準16針OBD-II插座，與配套軟件結合可完成基于CAN總線通信相關實驗。
l
電源：DC 9-12V輸入
l 其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz
2.3. 外設模塊
2.3.1.
4G LTE模塊l 網(wǎng)絡：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；
l 制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；
l 工作頻帶：HSPA1900/2100，GSM 900/1800；
l 高速USB 2.0接口、PCI-E接口；
l 支持短信、數(shù)據(jù)、電話本、PCM語音功能；
l 支持IPv4,IPv6協(xié)議；
l 支持LTE多頻；
l 支持最大150M/50Mbps的理論上下行數(shù)據(jù)傳輸速率；
2.3.2. AI麥克風陣列
l 7路麥克風陣列，提供聲源定位、語音增強、語音降噪、回聲消除、聲音拾取等功能。l 帶硬件浮點運算的RISC-V 雙核64位處理器，主頻最高800MHz。
l 具備機器聽覺能力和語音識別能力，內置語音處理單元（APU）。
l 具備卷積人工神經網(wǎng)絡硬件加速器KPU,可高性能進行卷積人工神經網(wǎng)絡運算。
l 麥克風陣列模塊集成TFT彩屏屏，能夠直觀顯示音頻頻譜圖。
l 內置ARM STM32 USB音頻驅動芯片，提供USB聲卡驅動，開放源代碼。
l 接口：雙列直插封裝/USB，需能夠接入到eAIOT平臺使用。
l 支持語音識別、語義理解、語音合成、人機對話等功能，可與硬件進行語音交互。
l 5米監(jiān)測范圍、基于linux系統(tǒng)。
2.3.3. AI攝像頭
l 1/1.8" SONY Exmor CMOSl 有效像素200萬像素，30幀@1920*1080
l C/CS鏡頭接口，最低照度0.001 Lux，120dB TWDR
l 支持協(xié)議：PROFILE S，GB/T28181，F(xiàn)TP/RTSP.UPNP等
l 支持雙碼流、手機監(jiān)控、心跳機制，具3D降噪、去霧、數(shù)字寬動態(tài)、鏡頭校正、走廊監(jiān)控等智能模式
l 提供基于eAIOT教學平臺的人臉識別系統(tǒng)案例。
2.4. 物聯(lián)網(wǎng)應用基礎云平臺
1、功能簡介1）學生能夠將物聯(lián)網(wǎng)感知層設備（傳感器、執(zhí)行器等）接入物聯(lián)網(wǎng)云服務平臺，平臺能夠接收并存儲傳感器和執(zhí)行器的實時數(shù)據(jù)，模塊在線狀態(tài)，并實時顯示。
2）提供后臺管理系統(tǒng)，能夠設置賬號類型和使用權限。支持多用戶管理及權限控制，分為父用戶和子用戶，父用戶可以創(chuàng)建多個子用戶，并且可以為每個子用戶分配增、刪、改幾種權限，子用戶創(chuàng)建的資源相互隔離。
3）提供物聯(lián)網(wǎng)規(guī)則編輯器，無需編寫代碼即可編輯復雜的自動化控制策略，實現(xiàn)移動互聯(lián)網(wǎng)系統(tǒng)的自動化控制。
4）提供豐富的可視化控件庫，通過拖拽、簡便配置即可完成美觀的UI設計。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。
5）物聯(lián)網(wǎng)感知層設備也能夠向執(zhí)行器發(fā)送控制命令，系統(tǒng)能夠實現(xiàn)模塊的在線監(jiān)測。
6）云平臺支持物聯(lián)網(wǎng)硬件多協(xié)議接入，通過ZigBee/BLE/wifi/lora/NBIOT無線技術取得傳感器采集的數(shù)據(jù)，形成一個完整的無線傳感器網(wǎng)絡。
7）數(shù)據(jù)通過http/MQTT協(xié)議傳輸至物聯(lián)網(wǎng)應用基礎云平臺軟件，進行數(shù)據(jù)圖形化展示。
8）實現(xiàn)基于云平臺的智能家居實驗，并包含配套完整的教學資源。
9）支持本地化部署和云端部署兩種方式。
10）提供“物聯(lián)網(wǎng)應用基礎云平臺”軟件著作權登記證書及軟件產品登記測試報告復印件并加蓋公章，原件備查。
3. 部分實驗案例
3.1.1. 嵌入式linuxQT綜合實驗
 |
3.1.2. 手寫字識別
學習設計一個神經網(wǎng)絡模型，然后用已經標注過的MNIST數(shù)據(jù)來訓練這個模型，然后進行測試驗證。
圖：手寫字識別案例
3.1.3. 人臉識別
通過OpenCV自帶的分類器、OpenCV的深度學習分類器是基于SSD(Single Shot Detector)框架的ResNet網(wǎng)絡，實現(xiàn)在圖片、視頻中對人臉的檢測，并用矩形框框出來。學�？捎糜谏矸葑R別、課堂/上下班考勤、會議簽到、刷臉支付、門禁通行、安防監(jiān)控相關場景。
圖： 人臉識別案例
3.1.4. 目標檢測
利用深度學習框架caffe，實現(xiàn)對常見物體的檢測。
圖：目標檢測案例
3.1.5. 人體姿態(tài)識別
使用邊緣側推理框架Tengine檢測圖像中的所有人體并返回每個人體的矩形框位置，精準定位 21 個核心關鍵點，包含五官、四肢、脖頸等部位，更多關鍵點持續(xù)擴展中；支持多人檢測、人體位置重疊、遮擋、背面、側面、中低空俯拍、大動作等復雜場景。
圖：人體姿態(tài)識別案例
3.1.6. 手勢識別
利用深度學習框架caffe，實現(xiàn)對簡單手勢的識別。
圖：手勢檢測和識別系統(tǒng)案例
3.1.7. 車牌識別
使用opencv 的 HAAR Cascade 檢測車牌大致位置，使用卷積神經網(wǎng)絡回歸車牌左右，然后使用卷積神經網(wǎng)絡滑動窗切割字符、及識別字符。
圖：交通門禁車牌檢測和識別系統(tǒng)案例
3.1.8. 人臉門禁
采用 mtcnn 進行人臉檢測，采用MobileFaceNet 進行人臉識別，然后用活體檢測算法進行檢測。
圖：人臉門禁檢測和識別系統(tǒng)案例
3.1.9. 聲紋鎖實驗
通過語音增強、語音質量檢測、語音增強、有效語音提取、聲紋特征提取等步驟，完成聲紋注冊及聲紋驗證。
圖：聲紋電子鎖系統(tǒng)案例
3.1.10. AI語音控制智能家居
本系統(tǒng)實現(xiàn)語音數(shù)據(jù)高速傳輸，基于百度語音識別 API 完成語音識別，并用無線方式控制電燈，電風扇，以及獲取溫度和濕度。
圖：語音控制智能家居系統(tǒng)案例
3.1.11. 知識圖譜和聊天機器人
知識圖譜融合了兩千五百多萬的實體，擁有億級別的實體屬性關系，機器人采用了基于知識圖譜的語義感知與理解，致力于最強認知大腦。自然語言處理工具包的功能有：中文分詞、詞性標注、命名實體識別、關鍵詞提取、文本摘要、新詞發(fā)現(xiàn)、情感分析等。
圖：知識圖譜和文本聊天機器人系統(tǒng)案例
4. 招標參數(shù)
| 序號 | 項目名稱 | 項目技術指標 | 備注 |
| 1 |
名稱：AI人工智能語音機器視覺開發(fā)應用系統(tǒng)平臺 型號：DB-SD38 |
本項目實驗系統(tǒng)采用CPU+GPU雙處理器架構，是一款集成AI語音、機器視覺、深度學習基礎、嵌入式Linux于一體的高端教學科研實驗平臺。 整個教學平臺包括人工智能（AI）和嵌入式Linux部分，兩部分互相支撐、互為補充，共同實現(xiàn)嵌入式人工智能。人工智能部分的硬件基于嵌入式ARM控制器、高清相機模塊、7麥麥克風陣列，具備語音、圖像數(shù)據(jù)的采集和處理能力及適用于多種場景的控制接口；嵌入式Linux部分的硬件采用CPU+GPU雙處理器架構，配備高清大屏以及豐富的外設接口。 平臺采用多核高性能 AI 處理器，預裝 Ubuntu Linux 操作系統(tǒng)與 OpenCV 計算機視覺庫，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學習端側推理框架。 提供多種應用外設與豐富的機器視覺、AI語音、深度學習實戰(zhàn)應用案例，如語音前處理（聲源定位、語音增強、語音降噪、回聲消除、聲音提�。�、語音活體檢查、語音喚醒、語音識別、語音合成、自然語言處理、聲紋識別門鎖、語音智能家居、手寫字識別、人臉識別、目標檢測、端側推理框架、圖像識別、人體分析 、文字識別、人臉門禁控制、車牌道閘控制、手勢家居控制等，通過案例教學讓學生掌握計算機視覺與深度學習的基本原理和典型應用開發(fā)。 一、硬件技術參數(shù) ★1、處理器： CPU: RK3399：六核 Dual Cortex-A72 + Quad Cortex-A53, 64-bit CPU at 1.8GHz GPU: Mali-T864 GPU,支持 OpenGL ES 1.1/2.0/3.0/3.1, OpenVG 1.1, OpenCL, DX11 2、存儲器：雙通道LPDDR3（64-bit）不低于4GB，16GB 高速emmc 擴展存儲，MicroSD不低于64G 3、高清相機模組：CMOS傳感器OV13850，MIPI信號輸出，1300萬像素，最高支持4224x3136像素。 4、AI高清攝像機：有效像素500萬像素，對焦方式自動對焦，USB2.0接口，提供基于eAIOT教學平臺的人臉識別系統(tǒng)案例。 ★5、11.6寸板載高清觸顯一體屏：11.6寸eDP接口,分辨率不低于1920*1080 ★6、1）Zigbee網(wǎng)關模塊接口：板載，采用直列雙排20芯插針牢靠固定，非usb接口。 2）BLE網(wǎng)關模塊接口：板載，采用直列雙排20芯插針牢靠固定，非usb接口。 7、4G模組：板載EC20模組，支持LTE TDD/LTE FDD/TD-SCDMA/WCDMA /TD-SCDMA/CDMA2000/CDMA/GSM等頻段 ★8、7路麥克風陣列： 1）7路麥克風陣列，提供聲源定位、語音增強、語音降噪、回聲消除、聲音拾取等功能。（需提供完整硬件原理圖及PCB文件截圖證明為自主研發(fā)產品） 2）主控芯片K210，RISC-V 雙核64位處理器，主頻最高800MHz。集成卷積神經網(wǎng)絡加速器KPU，峰值算力1TOPS。 3）一體化單板設計，集成TFT彩色液晶屏，能夠直觀顯示彩色音頻頻譜圖。 4）集成 STM32音頻驅動芯片，提供USB聲卡驅動，開放源代碼。（提供源碼工程截圖，源碼備查） 5）采用雙列直插封裝和USB接口輸出，需能夠接入到系統(tǒng)主板中使用。 6）5米監(jiān)測范圍，基于linux系統(tǒng)。 ★9、OBD接口：板載，標準16針OBD-II插座，與配套軟件結合可完成基于CAN總線通信相關實驗。 10、天線接口：板載wifi、BLE、lora、LTE共4個天線接口。 11、其他硬件接口： 1）UART：1路RS232，1路RS485 2）以太網(wǎng)：100/1000M 3）音頻：音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚聲器 4）無線網(wǎng)：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1 5）USB 3.0 HOST接口：板載2個 6）Debug接口：板載1個、Download接口：板載1個 7）鍵盤：板載7寸80鍵標準鍵盤 8）紅外接收：板載紅外接收模塊1個 9）傳感器擴展接口：板載，與無線傳感器節(jié)點的傳感器模塊接口兼容，可完成linux系統(tǒng)下的傳感器驅動開發(fā)實驗。 10）按鍵：板載重啟、恢復、電源3個功能按鍵，4個用戶自定義按鍵 LED：板載4顆藍色LED燈珠 11）震動馬達傳感器：板載1個 12）其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz 12、實驗箱箱體：單層一體式設計，左邊固定安裝實驗所需硬件，右邊收納放置配套電源適配器、線材、配件等設備。 二、軟件規(guī)格參數(shù)要求 ★1、操作系統(tǒng)：Linux+QT、Ubuntu18.04、Android8.1，支持Linux+QT、Ubuntu雙操作系統(tǒng)SD卡快速離線切換，方便教學管理； ★2、須配備LoRaWAN NS(network server)實驗軟件，配合硬件可實現(xiàn)LoRaWAN雙向通信實驗，實驗可以顯示無線通信頻率值、擴頻因子、RSSI（接收信號強度）、信噪比、fcnt等信息。通過實驗可以快速評估和測試LoraWan協(xié)議下的數(shù)據(jù)通信格式、通信距離、信號質量等，同樣也可以基于現(xiàn)有的樣例進行二次開發(fā)快速完成課程設計、項目開發(fā)、科研等。 ★3、提供嵌入式深度學習框架Tengine：針對 ARM CPU 及 ARM Mali GPU 優(yōu)化，支持 Caffe/TensorFlow/MXnet/ONNX 模型文件，兼容 Caffe/TensorFlow API，以插件方式支持底層算子擴展，支持 INT8 量化。 ★4、提供物聯(lián)網(wǎng)應用基礎云平臺： 1）學生能夠將物聯(lián)網(wǎng)感知層設備（傳感器、執(zhí)行器等）接入物聯(lián)網(wǎng)云服務平臺，平臺能夠接收并存儲傳感器和執(zhí)行器的實時數(shù)據(jù)，模塊在線狀態(tài)，并實時顯示。 2）提供后臺管理系統(tǒng)，能夠設置賬號類型和使用權限。支持多用戶管理及權限控制，分為父用戶和子用戶，父用戶可以創(chuàng)建多個子用戶，并且可以為每個子用戶分配增、刪、改幾種權限，子用戶創(chuàng)建的資源相互隔離。 3）提供物聯(lián)網(wǎng)規(guī)則編輯器，無需編寫代碼即可編輯復雜的自動化控制策略，實現(xiàn)移動互聯(lián)網(wǎng)系統(tǒng)的自動化控制。 4）提供豐富的可視化控件庫，通過拖拽、簡便配置即可完成美觀的UI設計。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。 5）物聯(lián)網(wǎng)感知層設備也能夠向執(zhí)行器發(fā)送控制命令，系統(tǒng)能夠實現(xiàn)模塊的在線監(jiān)測。 6）云平臺支持物聯(lián)網(wǎng)硬件多協(xié)議接入，通過ZigBee/BLE/wifi/lora/NBIOT無線技術取得傳感器采集的數(shù)據(jù)，形成一個完整的無線傳感器網(wǎng)絡。 7）數(shù)據(jù)通過http/MQTT協(xié)議傳輸至物聯(lián)網(wǎng)應用基礎云平臺軟件，進行數(shù)據(jù)圖形化展示。 8）支持本地化部署和云端部署兩種方式。 ★5、人工智能麥克風陣列語音前處理軟件： 1）需支持以下實驗并提供所有源代碼：聲源定位、語音增強、語音降噪、回聲消除、聲音拾取實驗。 三、實驗教學課程資源 ★平臺提供成套教學資源，用戶可以按照學期長度和實際教學情況安排教學，須配備實驗指導書，實驗指導書可以提供10～18周、每周2～6節(jié)課的教學實驗需要。包含但不限于以下知識實驗課程： Linux 實驗列表 初識linux 系統(tǒng)：Ubuntu 系統(tǒng)安裝、Ubuntu 系統(tǒng)入門、Ubuntu 終端操作、Shell 操作、APT 下載工具、Ubuntu 下文本編輯、Linux 文件系統(tǒng)、Linux 用戶權限管理、Linux 磁盤管理 Linux應用開發(fā)基礎：編寫 HelloWorld 代碼、編譯 HelloWorld、GCC 編譯器、Makefile文件 ARM Linux 開發(fā)基礎：RK3399開發(fā)平臺介紹、開發(fā)環(huán)境搭建、關于ARM架構、AArch64匯編基礎、RK3399啟動方式詳解、匯編LED燈試驗、C語言版LED燈實驗 基于SDK開發(fā)Uboot,kernel,rootfs：SDK 基礎、U-Boot 頂層 Makefile 詳解、U-Boot 啟動流程詳解、U-Boot 圖形化配置及其原理、Linux 內核頂層 Makefile詳解、buildroot根文件系統(tǒng)構建 linux 設備驅動程序開發(fā)基礎：字符設備驅動開發(fā)、嵌入式 Linux LED 驅動開發(fā)實驗、新字符設備驅動實驗、Linux 設備樹、設備樹下的 LED 驅動實驗、pinctrl 和 gpio 子系統(tǒng)實驗、Linux 并發(fā)與競爭、Linux 并發(fā)與競爭實驗、Linux 按鍵輸入實驗、Linux 內核定時器實驗、Linux 中斷實驗、Linux 阻塞和非阻塞 IO 實驗、異步通知實驗 linux 設備驅動程序開發(fā)進階：platform 設備驅動實驗、設備樹下的 platform 驅動編寫、Linux 自帶的 LED 燈驅動實驗、Linux MISC 驅動實驗、Linux INPUT 子系統(tǒng)實驗、Linux RTC 驅動實驗、Linux I2C 驅動實驗、Linux SPI驅動實驗、Linux misc雜項設備驅動實驗 Linux 無線通信編程實驗：lorawan NS實驗、Linux網(wǎng)絡編程試驗、嵌入式 Web 服務器試驗、IOT云服務實驗 嵌入式 Linux QT開發(fā) Qt簡介：Qt環(huán)境搭建 Qt編程基礎：Qt用到的開發(fā)工具、Qt編程涉及的術語和名詞、Qt Creator的初步使用、第一個Qt程序、Qt項目管理文件、Qt項目界面文件、Qt項目中的main主函數(shù)、Qt界面布局管理、Qt信號與槽機制、Qt Creator使用技巧 Qt應用開發(fā)實例：QCalculator計算器應用實驗、QClock實時時鐘應用實驗、QLed LED控制應用實驗、QSht20溫濕度計應用實驗、QFileview文件瀏覽應用實驗、QReader文本閱讀器應用實驗、QTest綜合測試應用實驗、添加應用到系統(tǒng)桌面 人工智能實驗列表-基礎 神經網(wǎng)絡的基本工作原理：神經網(wǎng)絡的基本工作原理 神經網(wǎng)絡中的基本概念：線性反向傳播實驗、非線性反向傳播實驗、梯度下降實驗、損失函數(shù)實驗 神經網(wǎng)絡之回歸問題：單變量線性回歸、多變量線性回歸 神經網(wǎng)絡之分類問題：線性二分類、線性多分類、神經網(wǎng)絡非線性二分類、神經網(wǎng)絡非線性多分類 神經網(wǎng)絡模型的推理與部署：測試訓練結果實驗、查看模型文件實驗、ONNX模型文件制作實驗、模型部署和測試實驗 深度神經網(wǎng)絡：深度神經網(wǎng)絡框架設計、深度神經網(wǎng)絡應用、神經網(wǎng)絡優(yōu)化、神經網(wǎng)絡過擬合問題 卷積神經網(wǎng)絡：卷積神經網(wǎng)絡概述、卷積的前向計算、卷積的反向傳播、池化的前向計算與反向傳播、經典的卷積神經網(wǎng)絡模型、MNIST分類實驗、Fashion-MNIST分類實驗 循環(huán)神經網(wǎng)絡：普通循環(huán)神經、通用的循環(huán)神經網(wǎng)絡模型實驗網(wǎng)絡、兩個時間步的循環(huán)神經網(wǎng)絡實驗、四個時間步的循環(huán)神經網(wǎng)絡、不定長時序的循環(huán)神經網(wǎng)絡實驗、深度循環(huán)神經網(wǎng)絡、雙向循環(huán)神經網(wǎng)絡、高級循環(huán)神經網(wǎng)絡 人工智能實驗列表-圖像 圖像采集：USB攝像頭圖像采集 圖像處理：圖片顯示、色彩空間、像素運算、ROI與泛洪填充、濾波與模糊操作、圖像直方圖、模板匹配、圖像二值化、圖像金字塔、圖像梯度、Canny邊緣檢測、直線檢測、圓檢測、輪廓發(fā)現(xiàn) 傳統(tǒng)機器視覺：手寫字識別、人臉檢測、目標檢測 深度學習機器視覺：手寫字識別、人臉檢測、目標檢測、 端側推理框架 云端機器視覺應用：圖像識別實驗、文字識別、人體分析 圖像視覺綜合應用：人臉門禁控制、車牌道閘控制、手勢識別 人工智能實驗列表-語音 語音處理 ：語音采集和播放實驗、語音編碼和解碼實驗、語音變速變調實驗、語音活性檢測實驗、語音喚醒實驗、語音識別實驗、語音合成實驗 自然語言處理：中文分詞實驗、關鍵詞提取實驗、文本可視化實驗、文本向量化實驗、文本分類實驗、文本聚類實驗、文本情感分析實驗、句法依存分析實驗、構建聊天機器人實驗 云端語音語言應用：云端語音合成實驗、云端語音識別實驗、云端對話情緒識別實驗、云端新聞摘要實驗、云端短文本相似度實驗、云端情感傾向分析實驗、云端地址識別分析實驗 語音語言綜合應用：構建知識圖譜和聊天機器人實驗、聲紋識別門禁實驗、AI語音智能家居實驗 |
|