GPT-4剛發佈就有手機APP接入,上傳照片視訊一鍵解讀,還當起了美版知乎的問答bot

蕭簫 發自 凹非寺

GPT-4剛發佈,就已經有手機應用接入了!

只需要上傳圖像,再用語音提出需求,GPT-4就能幫助視障人士「看清」眼前的世界。

隨時隨地,實時解讀,就像聊天對話一樣自然。

例如想要換裝,卻不知道手裡的衣服是什麼顏色:

只需要拍照上傳給GPT-4,它很快就能將衣服紋理描述出來,材質、顏色和形狀一清二楚:

翻譯by有道

在此之前,視障人士除了用手觸摸以外,辨別物體往往需要依靠身邊的人或是志願者的幫助。

有網友看到後讚歎:這是目前見過最令人驚歎的GPT-4應用之一!

所以,加入了圖像理解功能的GPT-4,究竟展現出了哪些能力?

基於GPT-4讀圖能力打造

這個基於GPT-4的新功能名叫Virtual Volunteer,來自應用Be My Eyes

目前來看,包括問路、導航、讀取菜單、搜尋等功能,接入GPT-4的Virtual Volunteer都能很好地幫使用者完成。

例如問路

只需要拍一張所在地點的照片,再通過語音詢問GPT-4如何到達指定地點,它就會輸出一條完整路線圖,「讀」給使用者聽:

翻譯by有道

又例如讀圖翻譯

只需要給GPT-4看眼物品描述、甚至只是物體形狀,它就能搜尋並輸出這個產品的功能、具體說明和使用方法。

翻譯by有道

再例如公眾場合導航

想去健身房、卻無法掌握空閒的器材位置,只需要拍攝所在場景照片,GPT-4就能指引你走到無人的器材面前。

翻譯by有道

當然,還有點菜、使用自動販賣機買飲料、搜尋某種植物的名字、給出時裝建議……

只要將需求告訴GPT-4,它就能幫助視障人士解決對應的問題。

不過,目前這一功能還在測試中,蘋果商店可以加入等待列表,至於安卓版也快來了。

搭載它的應用Be My Eyes,是一個為盲人開發的公益應用。

它最早是一個2012年成立的互助社區,並於2015年上線iOS版本應用,隨後又上線了安卓版應用。

這個應用分為志願者和盲人兩個群體,志願者會接受盲人傳過來的照片或視訊,通過語音溝通(打電話)幫助他們解決困難,目前已經有接近45w+視障人士和630w+志願者使用。

如果成為一名志願者,則只需要保持線上,確保隨時可以接聽到視障人士的電話。

如果是視障人士使用,則可以在需要幫助時撥打志願者電話,或是尋求一些專業人士的幫助:

現在加入Virtual Volunteer之後,盲人也可以呼叫「虛擬志願者」GPT-4的幫助,不用擔心深夜無人應答的問題。

官方還玩了個諧音梗,AI→Eyes,「讓AI成為你的眼睛」:

還當起美版知乎問答bot

當然,除了Be My Eyes應用以外,不少其他APP也在爭先恐後接入GPT-4。

例如,在美版知乎Quora出的Poe上,現在已經可以和GPT-4聊天(限免一句話

)

):

又像AI律師軟體

又像AI律師軟體DoNotPay,同樣已經接入了GPT-4,並計劃用它來推出「一鍵訴訟」服務。

基於這個服務,你看不順眼的電話詐騙,一鍵就能舉報投訴。

如果接到電話詐騙,只需要點選一個按鈕,對應的電話內容就會被全程錄音,並生成1000字的訴訟內容,索賠1500美元的金額。(不過目前還只有美國地區適用)

值得一提的是,DoNotPay的CEO Joshua Browder表示,他們之前也用GPT-3.5做過類似的功能,但效果不太行,GPT-4則已經能很好地hold住這一要求。

甚至已經有網友嘗試用GPT-4來搞藥物發現了……

除了上述應用和功能以外,還有網友察覺到了GPT-4開發小遊戲的前景。

新的GPT-4似乎在程式設計靠譜度上也有所提升,無論是在60秒內做一個打乒乓球小遊戲:

還是20分鐘之內搞出一個完整的貪吃蛇:

都可以說是遊刃有餘,提出更改需求也可以及時完成,編寫的簡單程序中基本上沒有遇到需要修改的bug。

你還想到了什麼GPT-4好玩的應用場景嗎?

參考連結:

[1]https://twitter.com/BeMyEyes/status/1635690254689599488

[2]https://twitter.com/skirano/status/1635736107949195278

[3]https://twitter.com/ammaar/status/1635754631228952576

[4]https://www.bemyeyes.com/download

[5]https://twitter.com/jbrowder1/status/1635720431091974157

相關文章

萬字長文全面了解 GPT-4

萬字長文全面了解 GPT-4

今天凌晨1點,openai發佈了全網期待已久的GPT-4。 GPT-4的看點都有哪些呢? 邏輯推理,強到可以代替你考律師啦 角色扮演,cos...

ChatGPT 的「神功」,是如何煉成的?

ChatGPT 的「神功」,是如何煉成的?

最強對話式 AI,站在巨人的肩膀上。 AIGC 在這幾個月成了一個大熱的話題。 頗有些風水輪流轉的感覺,如同年初大火特火的 web3 一樣,...

ChatGPT 背後的經濟賬

ChatGPT 背後的經濟賬

拿投資和賺錢之前,要先去了解下成本。 ChatGPT 能否取代 Google、百度這樣的傳統搜尋引擎?為什麼中國不能很快做出 ChatGPT...