蕭簫 發自 凹非寺
GPT-4剛發佈,就已經有手機應用接入了!
只需要上傳圖像,再用語音提出需求,GPT-4就能幫助視障人士「看清」眼前的世界。
隨時隨地,實時解讀,就像聊天對話一樣自然。
例如想要換裝,卻不知道手裡的衣服是什麼顏色:
只需要拍照上傳給GPT-4,它很快就能將衣服紋理描述出來,材質、顏色和形狀一清二楚:
△翻譯by有道
在此之前,視障人士除了用手觸摸以外,辨別物體往往需要依靠身邊的人或是志願者的幫助。
有網友看到後讚歎:這是目前見過最令人驚歎的GPT-4應用之一!
所以,加入了圖像理解功能的GPT-4,究竟展現出了哪些能力?
基於GPT-4讀圖能力打造
這個基於GPT-4的新功能名叫Virtual Volunteer,來自應用Be My Eyes。
目前來看,包括問路、導航、讀取菜單、搜尋等功能,接入GPT-4的Virtual Volunteer都能很好地幫使用者完成。
例如問路。
只需要拍一張所在地點的照片,再通過語音詢問GPT-4如何到達指定地點,它就會輸出一條完整路線圖,「讀」給使用者聽:
△翻譯by有道
又例如讀圖翻譯。
只需要給GPT-4看眼物品描述、甚至只是物體形狀,它就能搜尋並輸出這個產品的功能、具體說明和使用方法。
△翻譯by有道
再例如公眾場合導航。
想去健身房、卻無法掌握空閒的器材位置,只需要拍攝所在場景照片,GPT-4就能指引你走到無人的器材面前。
△翻譯by有道
當然,還有點菜、使用自動販賣機買飲料、搜尋某種植物的名字、給出時裝建議……
只要將需求告訴GPT-4,它就能幫助視障人士解決對應的問題。
不過,目前這一功能還在測試中,蘋果商店可以加入等待列表,至於安卓版也快來了。
搭載它的應用Be My Eyes,是一個為盲人開發的公益應用。
它最早是一個2012年成立的互助社區,並於2015年上線iOS版本應用,隨後又上線了安卓版應用。
這個應用分為志願者和盲人兩個群體,志願者會接受盲人傳過來的照片或視訊,通過語音溝通(打電話)幫助他們解決困難,目前已經有接近45w+視障人士和630w+志願者使用。
如果成為一名志願者,則只需要保持線上,確保隨時可以接聽到視障人士的電話。
如果是視障人士使用,則可以在需要幫助時撥打志願者電話,或是尋求一些專業人士的幫助:
現在加入Virtual Volunteer之後,盲人也可以呼叫「虛擬志願者」GPT-4的幫助,不用擔心深夜無人應答的問題。
官方還玩了個諧音梗,AI→Eyes,「讓AI成為你的眼睛」:
還當起美版知乎問答bot
當然,除了Be My Eyes應用以外,不少其他APP也在爭先恐後接入GPT-4。
例如,在美版知乎Quora出的Poe上,現在已經可以和GPT-4聊天(限免一句話
):
又像AI律師軟體DoNotPay,同樣已經接入了GPT-4,並計劃用它來推出「一鍵訴訟」服務。
基於這個服務,你看不順眼的電話詐騙,一鍵就能舉報投訴。
如果接到電話詐騙,只需要點選一個按鈕,對應的電話內容就會被全程錄音,並生成1000字的訴訟內容,索賠1500美元的金額。(不過目前還只有美國地區適用)
值得一提的是,DoNotPay的CEO Joshua Browder表示,他們之前也用GPT-3.5做過類似的功能,但效果不太行,GPT-4則已經能很好地hold住這一要求。
甚至已經有網友嘗試用GPT-4來搞藥物發現了……
除了上述應用和功能以外,還有網友察覺到了GPT-4開發小遊戲的前景。
新的GPT-4似乎在程式設計靠譜度上也有所提升,無論是在60秒內做一個打乒乓球小遊戲:
還是20分鐘之內搞出一個完整的貪吃蛇:
都可以說是遊刃有餘,提出更改需求也可以及時完成,編寫的簡單程序中基本上沒有遇到需要修改的bug。
你還想到了什麼GPT-4好玩的應用場景嗎?
參考連結:
[1]https://twitter.com/BeMyEyes/status/1635690254689599488
[2]https://twitter.com/skirano/status/1635736107949195278
[3]https://twitter.com/ammaar/status/1635754631228952576
[4]https://www.bemyeyes.com/download
[5]https://twitter.com/jbrowder1/status/1635720431091974157