信息技術、計算機技術和互聯網技術的高速發展促進了人類社會各類數據的爆炸性增長如何對這些結構復雜的大數據進行有效管理己經成為當前社會的熱點問題之一。自2011年EMC公司首次在年度大會中提出大數據的概念,己有多家公司和機構對大數據問題進行了研究。由于信息技術己經滲透到人類社會的多個領域,大數據問題會給整個社會帶來深刻的影響可以預見,大數據問題必然會給信息技術產業帶來一場深刻的技術變革。基于大數據的信息系統的技術創新是未來發展信息技術的關鍵,也是有關國家發展戰略的重要課題。面對著大數據問題帶來的機遇和挑戰,我國有必要加大科研力度,努力縮小在信息技術領域與國際先進水平的差距。
一、大數據的特征與價值
對于大數據的定義目前仍沒有一種通行的標準,不過從數據使用者的角度來講,大數據可以定義為超過使用者所能處理和分析能力上限的數據。由于信息技術在人類社會的應用廣泛而又深刻,各行業的公司、企業乃至政府機構都存儲了大量的數據然而,這些大數據內的大量有價值的信息卻很少被挖掘出來加以利用。究其原因,一方面是由于目前人們對于大數據的利用價值沒有全面而深刻的認識,忽視了大數據中存在的重要信息;另一方面,由于缺乏相關的技術和人才,不能對這些大數據進行有效地處理和分析,以挖掘出其中有價值的信息。
大數據的基本特征是多樣性、體量、速度以及價值所謂多樣性是指大數據的來源豐富,且結構組成也相對多樣化:體量即指數據量卜大:而速度是指數據的生成、變化和處理的速度都很快:價值則指大數據蘊含的應用價值。由于大數據的這些基本特征給當前的數據處理和分析技術帶來了極大的難度,也給信息技術發展帶來了新的挑戰。為了對大數據進行處理以挖掘有價值的信息,我們不僅需要提升硬件設施的性能,而且要研發出能夠處理大容量數據的技術、算法以及應用軟件。
現代社會的信息化和數字化必然會導致大量數據的產生和累積。就現代企業而言,其在采購、生產、運輸、銷偉等環節都產生了大量數據。這些數據包含了企業運營過程中接觸到的供應商、客戶、人力資源等重要信息。現代企業的諸多決策很大程度上依賴于這些數據分析的結果。國外相關的研究表明,大數據存在著卜大的潛力,將會給整個社會的經濟發展、技術創新和價值取向帶來重大的變革充分發揮大數據的價值,企業可以顯著提高其運營效益:而政府的運行和管理效率也會得到大幅提高。總之,大數據的潛在價值卜大,研究基于大數據的信息系統關鍵技術具有重要的戰略意義。
二、基于大數據的信息系統關鍵技術
2.1分布式數據庫與處理系統
由于大數據的多樣性和大體量等特征,關系型數據庫在處理大數據時普遍存在著不可忽視的缺陷。而大數據的價值密度也相對較低,對于數據庫提出了新的要求。分布式數據庫系統采用更加簡單的模型對數據信息進行管理Bigtable技術采用字符串的形式實現了對數據信息的高效管理:而Dynam。技術采用分布式哈希表等技術也實現對基于大數據的信息系統的可靠管理。分布式的數據處理系統的主要數據處理技術包括批處理技術和流處理技術。批處理技術按照某一特定方式將大數據劃分為多個部分。劃分后的數據可以同時在多個處理器進行分析和處理批處理技術削弱了數據之間的關聯性,以達到增強數據可調度性的目的,其技術關鍵在于數據的劃分方式、分配方式以及處理技術而流處理技術則是將大數據視為連續的流,進入系統的數據能被實時處理并將結果返同。流處理技術顯著地提升了系統的時效性。
2. 2分布式文件管理技術
傳統的文件管理技術在存儲和管理大數據時的表現難以讓人滿意。因此,針對大數據信息系統設計的分布式文件管理技術在各大互聯網企業中己經得到了應用,并且收到了不錯的效果其中,Google提出的GFS文件管理技術以大量低成本服務器為基礎,組建了一個具有較高拓展性的文件管理系統。大量數據
被分塊存儲到不同的服務器中,并通過關聯鏈接等方式進行管理由于該技術在存儲和讀取大數據時效率較低,多種類GFS技術采用了增加緩沖層的方式以提高數據的存儲和讀取速度。
除上述技術以外,基于大數據的信息系統的關鍵技術還包括數據挖掘技術、稀疏處理技術等。
三、結語
大數據的潛在價值己經得到了業內人士的廣泛關注和認可,研究基于大數據的信息系統關鍵技術不僅與信息產業的發展密切相關,而且將在一定程度上影響整個國家的發展戰略。隨著信息技術的不斷發展和數字化進程的不斷推進,大數據信息系統必然會對整個人類社會產生深遠的影響。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.hanmeixuan.com/
本文標題:基于大數據的信息系統關鍵技術研究
本文網址:http://www.hanmeixuan.com/html/support/11121515576.html