您的位置:首頁 >聚焦 >

干貨 | 數字經濟創新創業——軟件研究 全球觀察

2022-12-17 21:35:40    來源:程序員客棧

下文整理自清華大學大數據能力提升項目能力提升模塊課程“Innovation & Entrepreneurship for Digital Economy”(數字經濟創新創業課程)的精彩內容。

主講嘉賓:Kris Singh: CEO at SRII, Palo Alto, CaliforniaVisiting Professor of Tsinghua UniversityKevin A. McGrail:Cloud Fellow,Dito Rick McGeer:CEO at engageLively, California, USAAshok Banerjee Vice President, VMware, California, USAJianmin Wang Professor of School of Software, Tsinghua UniversityPavlinaKr?ckel Chair of Information Systems, Friedrich-Alexander-Universit?t

今天我們想討論一個非常重要主題。數字經濟和數字技術有很多組成部分,其中最重要的則是軟件,軟件就像膠水一樣粘合地基和支柱,以便數字技術正常運行、搭建應用程序。今天我們邀請了幾位行業領導者和學校教授來加入該話題的討論。我們將探討軟件如何幫助推動數字化經濟和數字社會、數字生活的發展,我們想探討的第二點是工業和院校,工業提供生產和服務解決方案,院校則集聚了大量人才。我們的目標是將人才作為杠桿撬動從研究到教學再到學生與工業密切合作,以便于他們可以學習如何將產品和解決方案用于應對問題和挑戰,如何進行合作,工作如何更好地部署,如何變得更加高效。


(資料圖)

接下來我將簡單對今天的內容進行介紹。軟件開發模型從需求分析、設計、代碼、測試再到部署最后交付給客戶,之后再debug并重復這個循環。以上是軟件開發的全過程,而現在我們面臨著軟件需求大量增加的問題,因此我們需要加快軟件開發速度、數量及規模。而舊有的系統無法滿足現在高生產力的需求,所以我們要提高軟件的開發速度、智能水平、安全性、更高質量的輸出和更高的價值。

在IT行業發生的最大的事就是Ai的發展。大量的數據、計算速度加快、更多的存儲空間、更好的算法這四點讓AI比以往三四十年更適應現實生活的各種情況。上圖展示了AI軟件如何開發并應用于工業、制造業以及金融等行業。AI的接受度和應用性在過去幾年里呈現指數級的增長,這在軟件開發領域是非常大的進步。

我們如何使用AI工具和技術讓軟件更穩定、更快捷。軟件開發是完整的體系,用戶和細節都整合在一個包里,所以如果我們遇到問題的話不得不回到軟件當中重做,這就分解成“微服務”,軟件開發從原來完整包分裂成更小的微服務,這樣就可以在遇到問題時訪問特定的區塊而非整體。這是非常大的進步,我人們仍有許多工作要做,這也是未來發展的新方向。對于安全性問題來說,以往的軟件開發過程沒有合適的技術或專利在開發階段做安全性測試,因此人們必須等到部署階段才去發現并修復安全性問題,這種傳統方式效率太低,且十分昂貴?,F在的新模型可以實現在同一個包里開發、做安全測試。如果到生產階段再修復安全性問題,成本將會漲到原來的30倍,且軟件開發會變得更費時。

你可能也聽說過區塊鏈,現在的區塊鏈不僅僅是加密貨幣,它已經有了很多新的應用。例如在醫療領域,區塊鏈的應用簡化了軟件開發流程并提高了魯棒性,可以有效保障數據隱私和數據安全。

在軟件開發過程中最耗時的就是代碼。研究預計,在未來十到二十年里將會面臨IT技術人才的短缺,未來對IT的需求會呈現指數級增長,但IT技術和勞動力水平卻沒能跟上。因此少寫或不寫代碼的開發就會變得格外有吸引力。雖然目前不能做到100%完美,但是已經得到了較好的應用。

接下來由嘉賓對這些主題進行詳細分享。

——Chris

目前開源軟件的市場規模達到330億,但這可能是低估了的數字。無論怎么說,在過去五年里,其市場規模增長了接近3倍,市場百分比正在增長的事實表明,其增長速度約為軟件速度的兩倍,并且可能成為軟件的主流。事實上,如果你看看世界上頂尖的網站,就會發現其中有一半都在Linux這樣的開源操作系統上運行。

根據上圖可以看出自從2013年開始,商業授權和開源授權的流行趨勢占比已經逐漸有重合的趨勢。Linux在85%的智能手機和100%的超級計算機上運行,現在主要的供應商都在推動開源軟件的使用。以Meta為例,React是目前最流行的網頁開發程序,Pytorch是最流行的機器學習環境,用于搜索大型圖表(如Facebook社交圖)的GraphOL都是臉書的流行產品。Chris提到的微服務架構,主流的微服務是Kubernetes,這來自谷歌。

實際上是谷歌讀取其基礎設施,在基礎設施上運行。幾年前他們完全重寫了該架構,并進行了商業發行、現任谷歌的云服務副總裁Eric·Brewer說,他認為未來將是微服務的世界。Android是目前主流的手機操作系統,Chromium是瀏覽器的主要操作系統,即使是Microsoft Edge現在也只是Chromium上的一個新皮膚,而Tensorflow可能是最受歡迎的機器學習,但都是開源的。微軟也已經開始走向開源:Web編程語言的下一個演變typescript,visual studio皇冠上的明珠BS code,現在都已經開源了。git不僅是最受歡迎的軟件版本工具,而且已經成為開發人員的社交網絡。I B M為自己開發的開源軟件感到非常自豪。所有這些主要供應商都是開源的,那么問題在于,你自己的產品和他們的產品都是開源的,為什么這些平臺主導者在線信息服務?這就像一個鏈式問題,但它觸及到了問題核心,即成為平臺選項。

美國日報就是一個例子。在過去二十年,美國日報發行量減少了一半。但對于四家報紙。尤其是三巨頭《華盛頓郵報》《紐約時報》和《華爾街日報》,發行量增加了兩倍。過去二十年,他們從不到百分之五的讀者人數上升到超過百分之二十五,而且他們的發行量增加了兩倍,為什么呢?是因為平臺效應,他們獲得了更多的讀者,更多訂閱帶來更好的內容,進一步帶來了更好的資金或更多的訂閱量。更好的資金導致更好的內容,從而帶來更多的收入,更好的內容吸引了更多的訂閱量。平臺效應的良性循環對信息技術同樣適用。

關鍵在于,如果你使用主流平臺,就會帶來富人更富的結局。更多的用戶帶來更多的回報,如果開發人員想開發新功能,他們自然會傾向于最流行的平臺,因為他們可以獲得更多的用戶。而更多的開發者意味著更多的功能,這又會帶來更多的用戶和更多的回報。所以成功的秘訣就是無論在任何領域,都要成為最流行的平臺,移除所有使用和貢獻的障礙。你不希望你得到報酬的方式阻礙你獲得更多用戶和更多收入,因為這推動了整個周期運行,然后你可以找到一種獲得報酬的方法。

舉個例子,我們的公司提供了一個Jupyter作為網絡服務平臺,同時提供了一個無與倫比的數據可視化平臺,但我可以告訴你,Jupyter正在騰飛,它是大數據的電子表格,它看起來確實不同,但最終這就是人們使用它的目的。也是網飛的背后支持。網飛的一切都是在Jupyter上完成的,Jupyter每天有3500萬用戶,且它在五年前才剛剛起步。所以在短短五年的時間里,它就從0開始到3500萬用戶。它有一個非?;钴S的擴展和應用程序生態系統,而我們都是其中的一份子。我們已經擴展了Jupyter的新功能,當然,我們選擇Jupyter是因為它令人難以置信得流行,這將吸引更多的開發人員,所以這就是平臺如何影響行為。

上圖展示了從2017年1月到2020年5月達到800萬下載量,由于疫情原因人們居家辦公增速又有所提高。但這樣做也低估了Jupyter,因為沒有算上使用我們平臺的兩千人。因為他們安裝了Jupyter并在云上使用它,使用我們的服務,我們也不是唯一的Jupyter云服務用戶,所以Jupyter上有龐大的生態系統?;A是用于服務Jupyter的Jupyter hub,一個結合HTML、markdown、不同程序語言代碼的易用平臺,但是它遠不止于此。我們整合了大量的其他工具包括我們的studio和vs代碼進入Jupyter,因而成就了支配網絡的主流平臺。我們整合自己的studio的原因是另外一個開發者出于自用的目的發布了自己的平臺,然后我們就采用并整合進入了我們的服務器。一旦你有的自己的平臺,你就會持續的優化它,因為人人都對此作出了貢獻。

為什么Jupyter在AI和數據科學方面做得格外出色呢?它所做的工作與電子表格如出一轍,但是其更優質的數據資源獲取能力、更出色的編輯和理解能力和計算能力,且對于企業來說它是完全開源的,雖然有一點復雜且難以維護,但是如果你用過R系統,你就會覺得Jupyter也還好。

伯克利也在Jupyter上運行自己的數據科學項目。Jupyter上每天有2000用戶來自伯克利校園。每個本科生都會上數據科學導論課程,所以校園里的每個人都使用它,他們現在有關于它的使用的龐大數據量。Syzygy.ca這是一個天文學術語,意思是行星的合相,它是一個Jupyter十九校園聯合會的名稱。如果你在加拿大的這些學校里,你就能使用Jupyter做云分析。它也因此成為了越來越多用戶的流行平臺。

每當我推廣我們的產品的時候,總是會遇到這樣的問題,你們的平臺是開源的,我可以自由下載并使用,那我為什么還需要你們呢?我會回答,你可以免費使用,但是我向你出售的是你的時間。你雖然可以在私人云上下載安裝并使用,也可以自己維護,但是我向你保證,這會花費你兩倍的時間,價值50萬美元的開銷。我曾經跟生物技術公司的老板聊過,他說他的公司里有一半開發內部應用程序的全棧工程師,花了一半時間維護他們的 kubernetes。這就是人們為什么會支付像我們這樣的開源公司了。因為我們寫了軟件,所以我們比其他任何人都知道知道如何去更好地維護它,但同時也讓你可以自由做你想做的事。

每一個開源系統最終都會有一群核心的系統開發者,然后下一級有一群人,這些人通常在私營公司,他們通常是運營商,他們從開發人員那里獲取來自開源的東西,并使其可用和打包。沒有人會運行原始的Linux,相反,你從 canonical 運行 ubuntu,或者從 canonical 運行 debian,或者從 red hat 運行 fedora。那是因為從安裝和維護Linux難度很大,更不用說與之相關的軟件包了。這些工作值得去做,這就是為什么他們開展現有業務的原因。第一個意識到這一點的人是美國的signal Solutions,這甚至在 Linux PC 出現之前。1988年,他們開始維護軟件和工具,主要是開發工具,他們今天仍然在做這件事,當然他們大部分都是基于Windows,我仍然在Windows PC上運行sigwin,雖然這個業務有些陳舊,但這仍是獲得服務的最佳方式。

從圖上來看,三個組各司其職。提供者構建它、維護者打包它、而應用程序供應商讓它有價值。對Linux來說,有一個小型規模的開發商打底,少數公司維護,然后有大量的附加值公司和增值服務坐擁一切,Jupyter也是如此。所以到現在我們不僅了解如何制作開源軟件,還了解價值在哪里以及如何將其轉化為商業模式。

——Rick

開源軟件明顯改變了我們計算的方式,從出現到現在也就20多年的時間,但是像 Apache 軟件基金會這樣的地方,旗下有超過四百個項目,就像他們對微軟所說的那樣,Azure比Windows更依賴Linux,Azure云系統很明顯成為他們目前工作的主要驅動力。我熱愛技術,也喜歡不同的平臺,我有個人電腦、有mac也有Chromebook,輪流使用,我有好多數據中心都在用Linux系統。我使用多個發行版,這就是像紅帽以及某些東西這樣的框架,這使得安裝 linux 比搭建自己的內核更容易,對于普通人來也說不是很困難。但對我來說最重要的事情是學術界到底能為工業發展做些什么。我第一個想到的是安全。當我們研究這些類型的東西時,安全需要被嵌入而不是固定在表面,它必須是一個概念,需要被教導。我們正在教像Jupyter這樣的東西,我沒有聽說過伯克利那么專心地使用它。

但這些很棒,我想看到的是學校教你這些,就像教計算機科學和網絡安全的硬科學一樣。例如,我經常說,如果你在大學期間獲得化學學位,你得待過十幾個實驗室。如果我雇用你,就能確保你已經掌握了如何在化學實驗室做數據記錄和科學期刊以及數據完整性和學術誠信。但現在我們沒有這樣的“實驗室”或者實訓經驗,所以很高興看到像Jupyter這樣的東西在課堂上使用,但我們需要知道其他東西,例如我們提出了靈敏的軟件開發,我想看到我們的版本控制系統正在被教授,我想看到像OWASP(Open Web Application Security Project,開放網絡應用程序安全項目)和STRIDE(微軟員工開發并于 1999 年發布的威脅建??蚣埽┻@樣的安全概念被教導。我希望擁有非常標準的實驗室,以便知道我何時從一所或另一所大學雇用人員。我可以在他們的知識基礎上進行構建,我不必只是培訓他們如何在現實世界中工作。

現在大部分公司都在使用多重云服務,因為這樣可以避免供應商封鎖。在美國,有個蟑螂汽車旅館,它的廣告講蟲子如何進入盒子不出來,這跟數據相類似。有一句名言只是說數據是新的石油。當你有像Jupyter Notebook這樣的東西,或者你知道big query和類似的東西,你的數據數據變成了你正在挖掘的東西,它變成了有價值的或你正在尋找有價值的項目資產。因此,他們可以將您的數據保留在那里,保留服務就足夠。你經歷了基礎設施即服務的演變,運行虛擬機而不是類似的程序即服務或平臺作為服務,這就是許多公司試圖做的事,他們想為您提供具有獨特的供應商鎖定的微服務,而這應該是我們需要盡力避免的結果。

我在網絡領域所做的最重要的事情是在網絡安全方面有三大支柱。第一個幾乎適用于任何人的任何角色的任何工作,讓你的老板生活更輕松。這樣做你已經達到了任何工作的第一個目標,但在網絡領域,它延伸到另外兩件事。第二件事讓人們在晚上睡個好覺,讓他們的生活更安全,知道你在工作,讓他們能夠在晚上睡得著。然后第三件事有點麻煩,但這是完全正確的,讓你的老板、你的客戶和你的公司遠離頭條新聞。這幾乎是最重要的事情。學術界可以做的是將其視為一門硬科學,開始給人們上課,這不是在反理論,而是一種促進實踐的方法。

——Kevin

我在這個領域工作了35年,有個經濟學術語叫網絡外部性(network externalities)。電話本身無用,除非它能與其他人連通。一個人使用YouTube而非其他視頻服務的原因只是因為大家都在使用YouTube。這是一種自然趨勢,我不會用壟斷來定義它,這是一小撮人的勝利和一大群人的失敗。但關于它的瘋狂部分是,我們已經在這個領域工作了大約三十五年,最終發生的事情是你意識到總是有一個新的捕鼠器,到處都在創造新的捕鼠器,其中一些捕鼠器技術正在嵌入,無論主導者是誰,或者它創造了新的生態系統并最終吞并了原有的競爭者。

在Google或Yahoo來搜索之前,我們只能看到自己的網絡搜索空間,它已經改變了,看看流行的計算機軟件語言的趨勢,你可以在行業中看到誰在接管,誰在那里。事物在朝著網絡外部性趨勢發展。而開源就是主要推動力。因為人們可以相對劃算的成本進行實驗,獲得知識和技能并讓其變得有用起來,因為其他人也在使用相同的技術。所以如果我創造了一個比Jupyter Notebook更好的捕鼠器,即使它的性能比Jupyter好一倍,如果我向你們收取一千美元的許可證費用,很可能沒有人會使用它。這就是我想強調的,其中涉及商業力量,沒有東西是免費的。你想使用一些很好的產品,但它要求你能夠圍繞這些開源技術制作一個簡單的按鈕,圍繞這些環境創造一種價值流。但是我會告訴你,五年后可能有比Jupyter Notebook更好的捕鼠器,而且創新總是在發生,大多數人會失敗,有些人會被吞并到其他領域,但這完全取決于你的客戶他們處理的需求以及他們試圖解決的問題。

凱文和我在研究一種舊的編程語言,它出現在1960年左右,叫做AP L編程語言。它可以進行多重分析?但它主要使用的是希臘字母?,F在人們正在以想不到的方式看待數據的多重分析,只是把它扔在那里,因為我們已經解決了某些問題。但現實是,很多問題我們已經解決了卻又回到生活當中。我認識四個程序員,他們仍然有很多的工作不知道該怎么做。所以我只是指出,現實是事物永遠不會真正消亡,他們創造了一個仍然存在的生態系統,但總有一個新的生態系統最終會取代它。將一切重新回到自己身上,我們生活在一個競爭激烈的世界中,技術不斷變化,不斷解決新的主要業務問題。如果原有技術不再能解決問題,新金屬就會取而代之。在你的解決方案中添加一個新的捕鼠器,只是不移動針頭,就創造了一種全新的方法來看待問題,然后用一個新的解決方案,在生態系統中引入以前從未做過的新事物,這似乎就是創新周期。我們只能說出已經看到的東西,卻很難預測將來的發展。從學生的角度來看,追隨當前的潮流,如果你想讓自己在工作中脫穎而出并變得有價值,就應用當前技術的實踐,了解如何變成、如何部署。因為目前行業欠缺相關技術人才,而人們已經適應了當前的技術?!八阅憧梢园炎约悍旁谝粋€非常積極的位置,讓自己為這個行業做好準備。我們很難看到看幾年后會發生什么,但我們知道今天有什么成功。數據分析的主要趨勢和 Kubernetes 或者讓我們說路徑比如服務等等,這些是火箭科學,但大學一些在課程方面仍在教學生軟件工程這些舊的東西。

——Rick

感謝兩位的分享,接下來有請Ashok Banerjee,他在網絡安全領域有深厚的背景。曾在硅谷最大的安全公司擔任CTO,之后再vmware擔任副總裁,現在加入了一家新公司Trellix并擔任工程高級副總裁。他將從企業、行業以及客戶角度分享網絡安全領域的發展現狀。

——Chris

我發現現在的勒索軟件大肆盛行。你加密東西并把它留在公司,有一個過濾,所以如果你有備份,那就是雙重和三重勒索。你可以恢復文件,如果它都柏林三重勒索是它之前過濾掉的威脅,即使你恢復它,你的數據也會被盜取??蛻舳死账鬈浖兩倭?,企業端則有所增加。如果有人追蹤Chris或我,不再是追蹤我們個人,而是我們背后的公司。工作負載站點受到的攻擊要多得多。不像說端點,昨天的機器就是今天的機器,我們的臺式機和手機在工作負載端它的虛擬機,你不會攻擊昨天的虛擬機,你只會棄之不用。然后啟動一個新的虛擬機,所以虛擬機中的持久性是沒有意義的,它明天就消失了。當它第二天被重新使用時,容器中的持久性就會消失。我認為隨著遠程工作的到來,一切都發生了變化,更多的事情已經轉移到了網上,網絡安全成為一個新的前沿領域。

而且你可以從管轄范圍之外攻擊,無一例外。在人工智能方面最大的區別是。人工智能。和博弈論。在常規AI中,沒有人試圖欺騙Netflix相信你喜歡你了解的電影。但在網絡安全中,每次你接近奶酪時,奶酪都會移動。因為發生了其他事情,你的對手也在通過改變事物來做出回應。

我們確實看到了更多關于開源的信息,今天的開源能占到代碼總量的70%。操作系統是開源的,數據庫是開源的,Web服務器是開源的。不僅如此。開源上的暗網價格一直在上漲。我們生成的警報是因為網絡安全定義越來越趨于絕對。我們檢測純已知的不良行為,定義絕對的好壞。而所有新的攻擊都開始越來越模糊。這導致安全分析師降低了警報標準,因為誤報仍然比你說它不是攻擊但確實是的假陰性要好。

——Ashok

感謝Ashok的分享,接下來有請清華大學王建民教授分享軟件領域相關研究。

——Chris

感謝Chris的邀請以及其他專家們所做的分享,我將圍繞我們在軟件領域的研究作簡單的報告。第一個研究是關于智能軟件工程。AI現在快速發展,有人說AI算法和AI工程師一體兩翼。所以今天的內容也是關于工程學方法對智能軟件以及智能方法對軟件工程的應用。第二個主題是關于工業大數據軟件。當前工業大數據也形成了龐大庫,因此我們對不同格式的工業大數據進行有效管理。為了管理并分析工業時間序列數據,我們開發了開源數據庫IOTDB。IOTDB是一個專用于物聯網應用程序的數據庫管理系統,支持從收集、存儲、管理到分析的全生命過程循環。IOTDB以多協議兼容性、高壓縮比、高吞吐量、工業穩定性以及最低程度操作和維護的特征著稱。除此之外,工業大數據管理也面臨著諸多挑戰。第三和第四個研究是關于工業安全性軟件。從工業角度來看,我們有很多實體設備,對我們而言,研究有意的安全威脅(security)和無意的事故風險(safety)差異是非常重要的。第二個問題則是如何讓工業網絡更安全,尤其是在終端方面。第三點是保護邊緣應用程序不受攻擊。以上是我分享的全部內容。

——Jianmin

接下來讓我們有請下一位嘉賓Pavlina Kr?ckel,她來自德國的頂尖研究者,關注醫療領域的AI應用程序,她是在工業和學術領域都有較好的成績,我邀請她來分享一下目前在做的工作。

——Chris

聽到討論很有趣,特別是關于“學術界和工業界之間的工作”,我想談談我在德國是如何工作的。我來自德語世界和歐洲最具創新性的大學之一,創建于1743年。它有大約四萬名學生和六百多名教授,我所在的信息系統研究所位于紐倫堡,我們曾經是由知名教授Freimut Bodendorf領導,他是德國信息系統的先驅教授之一,現在他已經部分退休了。我們有很多資金和公司是來自該地區和國外的行業合作伙伴。我們可以相對自由地開展項目,同時不受教學時長等來自學校的限制。我們與西門子、阿迪達斯這些龍頭企業有著長達十年的合作關系。以上是我們學校的背景信息。信息系統研究大都是應用導向的,因此今天我將圍繞近期的學術研究展開,但重點會關注研究結果在工業領域的應用。

我于2019年博士畢業后再大學任教,期間有一個足球學校的項目。我們研究的是數據年輕足球運動員的數據,比如開發人才預測模型,試圖預測這些年輕人才中哪一個會成功或中途退出。在跟教授和合作伙伴的討論之后,我們決定將研究領域轉到AI醫療方面。我的研究基于如何讓AI系統更值得信任。下圖是歐盟委員會提到的可信AI系統的關鍵要求。雖然這與醫療領域相關性不大,但是醫療領域AI的關注度也在慢慢提升。

我們目前也依據技術安全性和穩健性、隱私和數據治理,開展了一項關于區塊鏈在醫療保健中的應用項目。我們的項目合作伙伴在澳大利亞墨爾本,主題是如何使用區塊鏈技術解決醫療保健領域各種利益相關者的安全數據訪問問題,因為它非常敏感,我們目前正在開發一個小型原型應用程序,并且收集墨爾本專家醫療保健專家的反饋,并嘗試弄清楚這如何投入實踐。當然,我們會遇到公正性歧視等一系列問題。

現在我專注于開始研究三個用例。第一個是醫院急診中的數字孿生。為了與澳大利亞墨爾本科技大學和ETH研究醫療保健研究中心合作,他們有很多來自急診科的患者數據,我們的目標是嘗試弄清楚如何使用這些數據來提高急診科分流決策的效率。另一個項目再次與斯威本科技大學和默多克兒童研究所,這是澳大利亞最大的研究所之一。他們多年來收集了大量小病人的數據,有很多有趣的問題我們可以嘗試解決。例如,為什么有些孩子對常見細菌的反應更差,并發展出危及生命的疾病而有些孩子則不會,這是一個價值百萬美元的問題。我們會處理大量的遺傳數據,還有環境因素數據等等。我關注的第三個用例是在社交媒體上傳播的健康錯誤信息,但你可以想象在疫情期間會變得威力超強。所以要在阻止誤解之前先搞清楚這些信息的內容為什么會大肆傳播。以上就是我分享的全部內容。

——Pavlina Kr?ckel

編輯:王菁校對:林亦霖

關鍵詞: 軟件開發 應用程序 網絡安全

相關閱讀

欧美视频线路在线_欧美中文字幕在线中出观看_中年美女露比自慰交配a一级片免费播放_九九精品国中文字幕在线视频