當你有問題要回答時，你通常選擇問誰？現在不知不覺中，很多人的選擇都變成了搜索引擎。天氣、交通路線、圖片、視頻、家庭作業答案等。搜索引擎可以回答人們在日常生活中遇到的許多問題。即使對很多人來說，如果我們在搜索引擎上找不到答案，這個世界上可能沒有現成的答案，所以我們需要自己去探索。這樣，搜索引擎似乎是最強大的人工智能。20年前，它就一直生活在我們身邊。搜索引擎是如何一步步變得如此強大的，它下一步將朝哪個方向發展？本文僅從搜索引擎的發展入手。搜索引擎的誕生和發展搜索引擎的誕生源于早期人們對在互聯網上高效搜索信息的需求。早期使用傳統圖書館信息檢索技術的搜索引擎已經不能滿足每個人的需求。網頁排序的準確性、響應速度和索引網頁的數量都不能滿足互聯網用戶的需求。在新的需求下，出現了幾種常見的通用搜索引擎：谷歌、微軟必應、雅虎（雅虎使用微軟必應作為其搜索技術提供商）和百度。其中大多數是2000年左右成立的。在這些搜索引擎誕生之初，大數據、機器學習和分布式系統這三個詞就與它們緊密相連。首先，現代搜索引擎充分利用了互聯網數據的特點。網頁之間的超鏈接和網民在網頁上自發留下的足跡，如產品評論和喜歡，已經成為搜索引擎更好地對網頁進行排序的基礎。同時，搜索引擎的系統設計也使其成為一個能夠不斷學習和完善自身的系統。搜索引擎根據用戶對相關結果的點擊行為來評估其算法的質量。微軟基于機器學習算法的分類系統一直在不斷學習和總結不同用戶對搜索引擎的反饋。2005年，它提出了一系列基于神經網絡和決策樹的網頁排序算法：ranknet、lambdarank和lambdamart。這些算法基于大規模機器學習系統，提高了搜索引擎的排序精度。同時，機器學習算法還具有許多其他應用，如檢測垃圾郵件網頁、提高搜索廣告的相關性等。除了上述算法的進步外，系統層面的不斷創新也有助于搜索引擎的進步。在成立之初，谷歌率先進行了系統創新，將所有網頁信息保存在計算機內存中，而不是磁盤上，這樣可以將回答用戶問題的時間從幾秒鐘縮短到幾毫秒。自2008年以來，微軟Bing搜索引擎根據SSD的特點重新設計了網頁索引結構。新的多級索引結構不僅可以確保查詢速度與全內存系統相當，還可以將單機支持的網頁數量和查詢吞吐量提高數十倍，從而確保搜索引擎能夠索引和服務互聯網上更多的網頁。大數據系統與搜索引擎的發展息息相關。為了更方便地存儲和處理web信息，Google推出的MapReduce、BigTable、GFS等著名分布式系統拉開了大數據時代的帷幕。與此同時，微軟還部署了cosmos、Dryad、scope、Kirin等系統。Dryad和scope系統由于其更具前瞻性的設計概念，已成為新一代大數據處理系統的參考設計模板。更多人工智能的搜索體驗、機器學習算法的不斷進步、搜索引擎巧妙的人機交互設計、分布式系統的創新，使搜索引擎在不知不覺中成為人們生活中不可或缺的一部分。同時，隨著人們新需求的不斷涌現，搜索引擎也沒有停止變革的步伐。一方面，搜索引擎試圖以不同的形式向您展示自己。例如，Cortana、Siri和googlenow等對話智能交互技術離不開搜索引擎的支持。與此同時，它正在不斷擴大其新的能力。如果您足夠小心，您可能會發現當前的搜索引擎可以更直接地回答您搜索的特定問題。例如，在搜索結果頁面的右側，將顯示與您的搜索相關的其他類似實體的信息。在頁面頂部，一些結果（如天氣、航班和其他信息）將以更豐富的形式提供答案。最近，一個更有趣的變化是，搜索引擎開始嘗試直接回答許多基于知識的問題，而不是提供一些web鏈接。例如，當你問如何制作美味的假日小吃以及如何安裝新軟件時，微軟必應搜索可以直接給出答案。搜索引擎是如何做到這一點的？要回答這個問題，我們必須提到過去一段時間在深度學習領域的研究進展。搜索引擎通過大量數據，使用dnn/rnn等新算法更好地理解網頁內容與用戶問題之間的關系，從而幫助用戶直接找到網頁中與問題相關的答案。Maluuba是微軟最近收購的一家深度學習初創公司，由著名深度學習專家yoshuabengio執導，其目標也是加強微軟在深度閱讀理解領域的實力。在深入理解文本方面，微軟的研究團隊也處于領先地位。隨著算法的發展，搜索引擎的背景也在迅速演變。為了支持以深度學習為代表的新一代機器學習算法，GPU、FPGA和定制的ASIC芯片逐漸進入搜索引擎的數據中心。索引和排序服務系統也在不斷發展，以滿足算法的處理能力要求。為了實時處理更多的大規模數據，超低延遲網絡也得到了廣泛的應用。智能搜索引擎的下一個目標上述所有這些努力都是為了更好地滿足人們對搜索引擎的需求。但搜索引擎真的能完全理解人類所有的知識系統嗎？它的下一個任務是什么？顯然，目前，搜索引擎已經能夠更好地匯總互聯網上的信息以滿足您的搜索請求，并且可以直接回答一些常見的問題。然而，搜索引擎是否能夠真正理解這些信息的內在含義，是否能夠創造性地解決以前從未出現過的問題，是否能夠有效地進行自我演繹，仍不得而知。但有一件事是肯定的。更具創造性的機器學習算法、更強大的計算能力和創新的人機交互是一切的基礎。這也是業界和學術界共同努力的方向。

« 教育直播，現在和未來的創業機會在哪里？怎樣 | 推特出了什么問題：兩位高管寧愿放棄3500萬美元的股份也不愿離開 »