放棄支持 SQL 惹爭議,CEO:你可以怪我!

整理 | 蘇宓

作為關係型資料庫的標準語言,SQL 憑藉著功能豐富、使用方便靈活、語言簡潔等特性備受歡迎,行業中如 MySQL、Oracle、SQL Server、Sybase、Informix 等主流資料庫都將 SQL 作為其標準處理語言。同時,據 2022 年 IEEE Spectrum 程式語言排行榜顯示,SQL 在就業需求中排名第一,是最吃香的熱門語言之一。

然而,正是這樣一款主流的語言,卻在近日慘遭棄用。據外媒 The Register 報道,一家名為 Fivetran 的自動化資料集成公司想要用一款開源工具 dbt(Data Build Tool)將 SQL 取而代之。萬萬沒想到,吐槽也接踵而至,行業中反對的聲音遠比支持的要大得多。

緣由

緣由

Fivetran 是一家創立於 2012 年的技術公司,主要是為公司開發 SaaS 資料集成服務,以提取、載入來自不同來源的資料並將其轉換到資料倉儲中。

在早期,Fivetran 之所以選擇自動化資料集成方向,是因為發現對於使用基於雲的軟體和儲存的現代公司來說,傳統的 ETL(Extract-Transform-Load,用來描述將資料從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程)工具性能嚴重不足,且所需的複雜配置往往導致項目失敗,為此,Fivetran 在城裡之初便聚焦於零配置、零維護的管道開發。簡單來看,Fivetran 主要是幫助企業將資料搬到雲上數倉,其遵循的使命是,讓使用者使用資料就像用電一樣簡單,無論資料的來源如何。

2021 年 9 月,Fivetran 獲得了一輪 5.65 億美元的融資,估值達到了 56 億美元。領投方為網路先驅馬克-安德森創建的投資公司 a16z。一時之間,Fivetran 被視為雲端運算時代的資料管道獨角獸,發展勢不可擋。

不過,近日一位 Twitter 博主、也是資料分析平臺 Cogniti 的技術長@Matthew Mullins 突然發了一條推文,他寫道,「Fivetran 放棄支持 SQL,並強迫使用者轉向 dbt。但你可能會因為更為「現代化」而喜歡它。」

一石激起千層浪,很多人處於比較迷茫的狀態。相繼質問:

究竟是誰在負責 Fivetran 的產品管理?它似乎正在與外界脫節。資料集成中介軟體市場的過去歷史表明,這將會是一個巨大的戰略失誤。擁抱 “模型”,但不要在 SQL 的迅速崛起和擴張過程中放棄 “程式碼”(即 SQL)。

而之所以發出這樣的聲明,Matthew Mullins 稱他收到了一封來自 Fivetran 的郵件,具體如下:

在 2023 年 4 月,我們將結束對 Basic SQL Transformations 的支持。你收到這封郵件是因為你的賬戶當前或者曾經有活躍的 Basic SQL Transformations。

兩年前,我們推出了現代的資料轉換方法:免費的 Fivetran Transformations for dbt Core。通過內建的版本控制、測試和可重複使用的宏,dbt 改進了資料轉換的體驗,同時仍然保持了基於 SQL 的簡單使用。我們相信這是建立你的 ELT 管道的最簡單和最有效的方法。

我們的許多客戶已經從 SQL 轉換到 dbt。通過免費的 Fivetran Transformations for dbt Core,你還可以利用先進的功能,如:

  • 集成排程:在倉庫的聯結器資料載入時自動觸發資料模型運行。

  • 資料脈絡圖:通過視覺化的資料管道端到端的日誌、統計和狀態來增加你的可觀察性。

我們將幫助您完成這一轉變……

我們將幫助您完成這一轉變......
為什麼要放

為什麼要放棄 SQL,選擇 dbt?

其實對於很多公司而言,在新品中進行技術轉型也實屬正常。但是根據 Fivetran 資料顯示,其在全球已有超過 759 家公司,包括與 ASICS、Autodesk、DocuSign、Forever 21、WeWork 和 Urban Outfitters 等知名企業都有合作。除此之外,Fivetran 還支持數百個資料庫的連接,如 IBM、Oracle、SAP 和 Snowflake 等。

隨著這一計劃的執行,影響範圍也頗為廣泛。為此,也有不少人好奇,dbt 究竟有怎樣的魔力,使得 Fivetran 要放棄 SQL?

所謂 dbt,也被稱之為是「資料加工大師」,它是一個使用 Python 語言編寫軟體的工具。它可以使分析工程師能夠通過編寫選擇語句來轉換其倉庫中的資料。dbt 能夠通過 SQL 實現資料轉換,將命令轉化為表和視圖。在功能上,dbt 主要聚焦於 ELT(提取、載入、轉換)中的 T(轉換資料)環節,它不提取或載入資料,但設計為在轉換倉庫內已經存在的資料時表現出色。

誕生於 2016 年的 dbt 一開始是開源的,不過在 2018 年,其背後的 dbt Labs 團隊推出了商業產品。當前 dbt 主要包含兩個版本,其中 dbt Core 是免費的,在 Apache 許可證下作為開源軟體發佈。

另一個名為 dbt Cloud,屬於 Saas 雲版本,它提供了一個基於網路的 IDE,幫助團隊開發 dbt 項目和一個排程器。個人可以免費使用,但對於一些需要協作的功能,或者企業使用而言,則需要支付使用費用。

長期以來,SQL 一直是分析工程師開發轉換和執行分析的首選語言。dbt 的到來,其結合了 SQL,可以將 dbt 項目變成了 SQL 的程式設計環境,並提供使用程式語言功能的功能,例如在 SQL 中通常無法實現的寫函數和控制結構。這意味著分析師不需要學習新的語言或工具,可以像以前一樣自由地轉換資料。

一定程度上來看,dbt 簡化了使用 SQL 來創建數倉的門檻。

dbt 實則為累贅?

dbt 實則為累贅?

在發出這份郵件之後,Fivetran 公司表示,開發人員仍然能夠使用 dbt 的 SQL。話雖如此,但很多開發者並不買賬,紛紛怒斥道:

  • 我知道如果你買了 Fivetran 來做 ELT,這會令人沮喪。我從不希望我的 SQL 依靠第三方平臺上,所以它感覺就像一個奇怪的附加元件(不要讓我開始考慮使用 Fivetran 觸發 dbt 運行的成本)。

  • 強制供應商集成看起來很糟糕。dbt 不是行業標準——它只是一個受歡迎的開發商開發的工具。依賴某一個供應商似乎還挺危險的。

在這條極具爭議的推文下方,Fivetran 的 CEO George Fraser 也迅速現身進行了回應,「你可以為這件事責備我。必須集中精力,Basic SQL 和 dbt SQL 實際是做同一件事的兩種方法」。同時,他也表示 Fivetran 也正在努力降低掃清採用 dbt 的障礙。

當前 dbt 已經成為一款主流開源資料轉換工具,不過不少人也對其使用門檻也表達了擔憂,稱「如果我們已經掌握了 SQL,再去了解 dbt 的學習曲線是否很難?」而且,dbt 面向團隊也不是免費的。

在資料分析平臺 Cogniti 的技術長 Matthew Mullins 看來,Basic SQL 支持不需要任何額外的基礎設施,但使用 dbt,使用者只能創建表和視圖,且他們也需要額外的基礎設施來運行它們。這實際上是一個有點令人頭疼的問題。同時,他表示,「無論哪種方式,他們都是在把你逼上梁山。你將不得不設置運行 dbt 所需的一切,並對某人進行培訓,而且你現在被限制在 dbt 支持的內容和 dbt 的模式中。

如今使用 dbt 的企業其實不在少數,在今年 2 月,dbt Labs 完成了 D 輪 2.22 億美元的融資,Snowflake 和 Databricks 均有參與,該公司估值也達到了 42 億美元。

不過,dbt 真的是擴展和增強 SQL 的最佳工具,並能成為雲資料轉換行業的標準嗎?你使用過 dbt 嗎?

參考:

https://www.theregister.com/2022/10/07/fivetran_slated_for_dropping_sql/

https://www.fivetran.com/blog/dbt-explained

https://twitter.com/mullinsms/status/1578209629083140101

相關文章

「Oracle 封禁了我的賬戶」

「Oracle 封禁了我的賬戶」

作者 | 蘇宓 賬戶莫名被封禁,導致應用程序各種報錯,這事放在誰的身上,或許都要惱火一番。近日,來自土耳其的一名學生開發者 Batın Ev...