在復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室（FudanNLP）師生的努力下，基于多模態(tài)大模型“復(fù)旦·眸思”（MouSi）為視障者量身打造的“聽見世界”APP日前上線，將成為視障人士的生活助手與智能管家。
2023年上半年，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室發(fā)布了開發(fā)MOSS對(duì)話式大型語言模型，被稱為中國(guó)版的GPT，僅用半年時(shí)間多模態(tài)模型“眸思”問世。據(jù)介紹，“眸思”和基于文本的MOSS不同，它能夠理解并識(shí)別圖片內(nèi)容，致力于成為視障者的一雙“眸”。
基于“眸思”，“聽見世界”APP為視障者日常生活需求量身打造街道行走模式、自由問答模式和尋物模式。在街道行走模式中，“眸思”如一位忠實(shí)的向?qū)?。紅綠燈、十字路口、障礙物……它能細(xì)致掃描道路情況，提示潛在風(fēng)險(xiǎn)，陪伴視障者安全通行“看不見”的漫漫長(zhǎng)路。在自由問答模式中，“眸思”則像一位貼心的朋友，走進(jìn)博物館、藝術(shù)館、公園……捕捉四周景象的每個(gè)細(xì)節(jié)，用聲音構(gòu)建豐富的生活場(chǎng)景，傳遞每一處日常之美。在尋物模式中，“眸思”將成為一名可靠的管家，被移動(dòng)過的手杖、最愛口味的牛奶……它可以讓視障人士找尋日常物件變得輕松。
自去年9月以來，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室圍繞GPT4-v復(fù)現(xiàn)多模態(tài)大模型，對(duì)核心關(guān)鍵點(diǎn)開展研究，希望提升單項(xiàng)任務(wù)的準(zhǔn)確率和強(qiáng)化大模型的學(xué)習(xí)。為了更好地感受視障者的難處，團(tuán)隊(duì)成員模擬真實(shí)情境，蒙眼探索視障者“黑暗”世界。他們邀請(qǐng)視障人士加入，進(jìn)一步摸清真實(shí)而具體的需求。
據(jù)了解，團(tuán)隊(duì)計(jì)劃與NGO組織、智算中心和硬件廠商等開展合作，致力于讓視障者免費(fèi)使用產(chǎn)品和相關(guān)服務(wù)。預(yù)計(jì)今年3月“聽見世界”APP將完成第一輪測(cè)試，在中國(guó)一、二線城市和地區(qū)同步開啟試點(diǎn)，根據(jù)算力部署情況進(jìn)行推廣。
圖片來源|東西南北雜志社
(聲明：本號(hào)所發(fā)內(nèi)容僅作為信息傳遞之目的，版權(quán)歸創(chuàng)作者所有，如有不妥請(qǐng)及時(shí)聯(lián)系刪除，謝謝。）