python面試題之python中爬蟲框架或模塊的區別

數據分析師要學什么課程 有哪些內容

python中爬蟲框架或模塊的區別，我們在python的學習過程中，需要不斷的總結知識點，這樣我們才能進步的更快一些。

(1)爬蟲框架或模塊

python自帶爬蟲模塊：urllib、urllib2；

第三方爬蟲模塊：requests，aiohttp；

爬蟲框架：Scrapy、pyspider。

(2)爬蟲框架或模塊的優缺點

urllib和urllib2模塊都用于請求URL相關的操作，但他們提供了不同的功能。urllib2模塊中urllib2.urlopen可以接受一個Request對象或者url，(在接受Request對象時候，并以此可以來設置一個URL的headers)，且只接收一個url；urllib中有urlencode，而urllib2中沒有。因此，開發人員在實際開發中經常會將urllib與urllib2一起使用。

requests是一個HTTP庫，它僅僅用于發送請求。對于HTTP請求而言，request是一個強大的庫，可以自己處理下載、解析，靈活性更高，高并發與分布式部署也非常靈活，對于功能可以更好實現。

aiohttp是一個基于python3的asyncio攜程機制實現的一個http庫。相比requests，aiohttp自身就具備了異步功能。但只能在python3環境中使用。

Scrapy是封裝起來的框架，它包含了下載器、解析器、日志及異常處理，是基于多線程的，采用twisted的方式處理。對于固定單個網站的爬取開發，Scrapy具有優勢；對于多網站爬取，并發及分布式處理方面，Scrapy不夠靈活，不便調整與擴展。

Scrapy具有以下優點：

• ·Scrapy是異步的；
• ·采取可讀性更強的XPath代替正則表達式；
• ·強大的統計和log系統；
• ·可同時在不同的URL上爬行；
• ·支持shell方式，方便獨立調試；
• ·方便寫一些統一的過濾器；
• ·通過管道的方式存入數據庫。

Scrapy是基于python實現的爬蟲框架，擴展性比較差。

Pyspider是一個重量級的爬蟲框架。我們知道Scrapy沒有數據庫集成、分布式、斷點續爬的支持、UI控制界面等等，若Scrapy想要實現這些功能，需要自行開發。Pyspider已經集成了前面這些功能，也正因如此，Pyspider的擴展性太差，學習難度較大。

數據分析師要學什么課程 有哪些內容

數據的獲取需要sql工具，Excel可以應對小型數據的分析。還需要學習r語言、Python、spss等數據，這樣才能夠提供數據的挖掘能力。當然還需要學習數據庫的內容，將數據納入數據庫的本領也需要掌握，學好了這些才能夠做好數據分析。

數據分析師要學會什么技能

數據分析師要學會Excel、掌握SQL Server或者Oracle的SQL語句、掌握可視化工具。

首先是Excel，貌似這個很簡單，其實未必。Excel不僅能夠做簡單二維表、復雜嵌套表，能畫折線圖、Column chart、Bar chart、Area chart、餅圖、雷達圖、Combo char、散點圖、Win Loss圖等，而且能實現更高級的功能。

包括透視表（類似于BI的多維分析模型Cube），以及Vlookup等復雜函數，處理100萬條以內的數據沒有大問題。最后，很多更高級的工具都有Excel插件，例如一些AI Machine Learning的開發工具。

掌握SQL Server或者Oracle的SQL語句，雖然你是業務分析師，但如果取數據能少依賴于IT人員和IT工具（比如BI的多維分析模型，有時候并不能獲取你想要的數據），對于做業務分析，無疑是如虎添翼，我曾經見過華為的會計能寫七層嵌套的SQL語句，很吃驚。

包括join、group by、order by、distinct、sum、count、average，各種統計函數等。

掌握可視化工具，比如BI，如Cognos、Tableau、FineBI等，具體看企業用什么工具，像我之前用的是FineBI。

這些工具做可視化非常方便，特別是分析報告能含這些圖，一定會吸引高層領導的眼球，一目了然了解，洞察業務的本質。另外，作為專業的分析師，用多維分析模型Cube能夠方便地自定義報表，效率大大提升。

數據分析師要具備的基本知識

第一，數據思維,對數據敏感性要高,建立起興趣,自己要刻意練習。

第二，業務能力,多關注行業分析報告,cda有很多原創文章。

第三，熟練使用數據分析工具,比如excel sql語言、spss python sas等,建議精通1-2門就好,以后需要其他工具工作中再學習。

第四，扎實統計和數學基礎,比如微積分,線性代數 模型有聚類,關聯分析、SVM、神經網絡、貝葉斯網絡、樸素貝葉斯、隨機森林等。