python 爬蟲實(shí)戰(zhàn)

  培訓(xùn)講師:紀(jì)賀元

講師背景:
紀(jì)賀元,男,本科畢業(yè)于大連理工大學(xué)計(jì)算機(jī)系,碩士和博士均畢業(yè)于復(fù)旦大學(xué)。長(zhǎng)期從事數(shù)據(jù)分析、python、powerbi、VBA、人工智能、大數(shù)據(jù)、數(shù)字化轉(zhuǎn)型、市場(chǎng)調(diào)查、EXCEL、信息檢索與收集、Access、PPT、SPSS等方面的培訓(xùn)工 詳細(xì)>>

紀(jì)賀元
    課程咨詢電話:

python 爬蟲實(shí)戰(zhàn)詳細(xì)內(nèi)容

python 爬蟲實(shí)戰(zhàn)

用python編制網(wǎng)絡(luò)爬蟲
課程時(shí)間:2天(14小時(shí))
紀(jì)賀元
課程簡(jiǎn)介:
19716755676900 您需要在各種網(wǎng)站上抓取數(shù)據(jù)嗎?例如金融、證券、期貨、各種行業(yè)網(wǎng)站,甚至于您想在網(wǎng)上抓取網(wǎng)絡(luò)小說的內(nèi)容嗎?或者新聞以及評(píng)論?
這就是網(wǎng)絡(luò)爬蟲的功能!
您可能想,抓取網(wǎng)頁(yè)數(shù)據(jù),做爬蟲工具,這是專業(yè)人員的事情啊,我干嘛要做?
But,您的公司可能就沒有外包爬蟲軟件的預(yù)算,另外各種網(wǎng)站復(fù)雜多變,花了錢請(qǐng)被人做的爬蟲軟件,網(wǎng)站一改版,就不能用了。
求人不如求己!擁有編制爬蟲的能力,對(duì)您的幫助多多,也是職場(chǎng)能力和hard skill的重大提升!
課程適用對(duì)象:金融、互聯(lián)網(wǎng)、市場(chǎng)營(yíng)銷等相應(yīng)職能人員等。
課程教學(xué)方式:講師講授+互動(dòng)+軟件現(xiàn)場(chǎng)操作
課程大綱
Python簡(jiǎn)介
Python安裝
python包安裝及介紹
pycharm工具的安裝
選擇python做爬蟲的理由
Python程序基礎(chǔ)
變量
過程與函數(shù)
對(duì)象
案例:編程即對(duì)象,python處理excel文件對(duì)象
Python基本語句
輸入輸出語句
條件判斷語句
If、else、elseif、嵌套代碼塊等。
循環(huán)語句
包括for、while以及跳出循環(huán)的基礎(chǔ)技巧。
Python數(shù)據(jù)結(jié)構(gòu)
列表
元祖
字典
集合
python代碼的調(diào)試過程
運(yùn)行程序
單步調(diào)試
添加斷點(diǎn)
添加監(jiān)視
EXCEL和txt格式文本的讀寫
Python可以讀取各種常見的數(shù)據(jù)格式,但是工作中最常見的還是對(duì)于EXCEL和TXT文本的讀取,python有專門針對(duì)EXCEL和TXT文本的工作包,可以方便地讀寫,對(duì)EXCEL也可以做各種格式:
Xlsx文件的讀寫
txt文本的讀寫
7. 爬蟲原理和網(wǎng)頁(yè)構(gòu)造(1)爬蟲原理
介紹網(wǎng)絡(luò)連接和爬蟲的原理。
(2)網(wǎng)頁(yè)構(gòu)造
介紹網(wǎng)頁(yè)的一般結(jié)構(gòu)和html的基本構(gòu)造。
html元素和標(biāo)簽
CSS簡(jiǎn)介
爬蟲三大庫(kù)
Python提供了requests、beautifulsoup和Lxml三種常用的爬取網(wǎng)絡(luò)信息的方法,其中以beautifulsoup最為常用:
Requests庫(kù)的使用
Beautifulsoup庫(kù)的使用
各種爬取實(shí)例
包括數(shù)字、表格、文本、圖片、文件下載等。
案例分析:爬取金融期貨網(wǎng)站表格數(shù)據(jù)
正則表達(dá)式
正則表達(dá)式是加速爬蟲抓取的強(qiáng)大技術(shù),也是爬蟲技術(shù)的重要基礎(chǔ):
正則表達(dá)式常用符號(hào)
Re模塊及其方法
案例分析:抓取《斗破蒼穹》全文小說
表單交互和模擬登錄
表單交互是在爬取數(shù)據(jù)時(shí)由程序自動(dòng)實(shí)現(xiàn)和網(wǎng)頁(yè)的交互,模擬登錄是在爬取數(shù)據(jù)過程中用技術(shù)手段實(shí)現(xiàn)自動(dòng)登錄:
Selenium包的調(diào)用
網(wǎng)頁(yè)翻頁(yè)
表格輸入和查詢

 

紀(jì)賀元老師的其它課程

統(tǒng)計(jì)思維與分析方法課程時(shí)間:7小時(shí)紀(jì)賀元課程簡(jiǎn)介:隨著社會(huì)經(jīng)濟(jì)發(fā)展和企業(yè)信息化水平的提高,企業(yè)在運(yùn)營(yíng)過程中會(huì)積累和接觸到大量的內(nèi)外部數(shù)據(jù),分析和挖掘企業(yè)運(yùn)營(yíng)數(shù)據(jù),具備統(tǒng)計(jì)和數(shù)據(jù)挖掘的思維,對(duì)于洞察企業(yè)內(nèi)外部態(tài)勢(shì)、制定有效的有針對(duì)性的運(yùn)營(yíng)策略等有著極強(qiáng)的指導(dǎo)意義。本課程首先分為基礎(chǔ)篇和案例篇,基礎(chǔ)篇包括統(tǒng)計(jì)的基本概念和指標(biāo)、統(tǒng)計(jì)分析過程、數(shù)據(jù)間關(guān)系、預(yù)測(cè)基本原

 講師:紀(jì)賀元詳情


統(tǒng)計(jì)與市場(chǎng)調(diào)查課程時(shí)間:1天紀(jì)賀元課程簡(jiǎn)介:市場(chǎng)調(diào)查經(jīng)常被譽(yù)為企業(yè)營(yíng)銷工作的“雷達(dá)”,缺乏有效的市場(chǎng)調(diào)查,企業(yè)的營(yíng)銷運(yùn)作將會(huì)陷入盲目和風(fēng)險(xiǎn)之中。本課程首先介紹市場(chǎng)調(diào)查的目標(biāo)、流程以及市場(chǎng)調(diào)查的原則和難點(diǎn),隨后系統(tǒng)介紹二手資料和一手資料的收集處理方法,并按照數(shù)據(jù)描述、單選題、多選題、排序題講解分析方法。本課程內(nèi)容豐富,貼近實(shí)戰(zhàn),內(nèi)容之間聯(lián)系緊密,能夠較好地提高

 講師:紀(jì)賀元詳情


銷售報(bào)表制作與分析紀(jì)賀元課程時(shí)間:1天(7小時(shí))課程簡(jiǎn)介:銷售報(bào)表制作和分析是企業(yè)營(yíng)銷人員工作的重要內(nèi)容之一,提高制表和分析水平可以顯著提高營(yíng)銷人員的工作效率和能力!本課程首先介紹了銷售報(bào)表制作分析的目標(biāo)和步驟,隨后介紹銷售報(bào)表制作的方法和工具,系統(tǒng)介紹報(bào)表數(shù)據(jù)的預(yù)處理、條件格式、排序、篩選、分析匯總、數(shù)據(jù)透視表(圖)等常用制表的工具,最后介紹銷售數(shù)據(jù)繪圖技

 講師:紀(jì)賀元詳情


營(yíng)銷數(shù)據(jù)分析和挖掘課程時(shí)間:2天紀(jì)賀元課程簡(jiǎn)介:隨著社會(huì)經(jīng)濟(jì)發(fā)展和企業(yè)信息化水平的提高,企業(yè)在營(yíng)銷過程中會(huì)接觸到大量的內(nèi)外部數(shù)據(jù),分析和挖掘企業(yè)營(yíng)銷數(shù)據(jù),對(duì)于洞察企業(yè)內(nèi)外部態(tài)勢(shì)、制定有效的有針對(duì)性的營(yíng)銷策略等有著極強(qiáng)的指導(dǎo)意義。本課程首先介紹營(yíng)銷數(shù)據(jù)分析的總體目標(biāo)以及步驟,然后介紹如何提升數(shù)據(jù)分析能力、數(shù)據(jù)分析的常見問題以及基本分析思路,為后續(xù)分析工作打好基

 講師:紀(jì)賀元詳情


用powerBI玩轉(zhuǎn)數(shù)據(jù)課程時(shí)間:1天(7小時(shí))紀(jì)賀元課程簡(jiǎn)介:在現(xiàn)實(shí)的工作中,您是否有以下的煩惱:手里的數(shù)據(jù)越來越多,已經(jīng)超過104萬,excel放不下了,我該怎么辦?讓我去學(xué)數(shù)據(jù)庫(kù),太麻煩了。我有很多數(shù)據(jù)要匯總,這些數(shù)據(jù)的結(jié)構(gòu)各有不同,如何快速整合?我不會(huì)編程啊!我有多個(gè)數(shù)據(jù)表,怎么樣快速分析數(shù)據(jù)表之間的關(guān)系?Excel的圖表太簡(jiǎn)單了,弄來弄去就是折線圖

 講師:紀(jì)賀元詳情


Sql在數(shù)據(jù)分析中的應(yīng)用2020-2-29紀(jì)賀元課程時(shí)間:2天課程簡(jiǎn)介:Sql是檢索和處理數(shù)據(jù)的標(biāo)準(zhǔn)語言,本課程首先介紹數(shù)據(jù)庫(kù)基礎(chǔ)和sql基本語法和語句,隨后系統(tǒng)性地介紹數(shù)據(jù)庫(kù)和表的操作、語句、sql函數(shù)的使用、表的交并集、正則式、數(shù)據(jù)匯總、表的聯(lián)結(jié)和高級(jí)聯(lián)結(jié)、數(shù)據(jù)的各種操作、視圖和存儲(chǔ)過程。課程收獲:了解sql的基本語句和語法提升數(shù)據(jù)庫(kù)操作和編程能力課程教

 講師:紀(jì)賀元詳情


工業(yè)品市場(chǎng)調(diào)查與數(shù)據(jù)分析課程時(shí)間:2天紀(jì)賀元課程簡(jiǎn)介:市場(chǎng)調(diào)查經(jīng)常被譽(yù)為企業(yè)營(yíng)銷工作的“雷達(dá)”,缺乏有效的市場(chǎng)調(diào)查,企業(yè)的營(yíng)銷運(yùn)作將會(huì)陷入盲目和風(fēng)險(xiǎn)之中。本課程首先介紹市場(chǎng)調(diào)查的目標(biāo)、流程以及工品調(diào)查的原則和難點(diǎn),隨后系統(tǒng)介紹二手資料和一手資料的收集處理方法,并按照單選題、多選題、排序題講解分析方法,深入講解方差分析、聚類、關(guān)聯(lián)分析、回歸、客戶畫像等模型在市

 講師:紀(jì)賀元詳情


量化方法-基于大數(shù)據(jù)的市場(chǎng)分析課程時(shí)間:2天紀(jì)賀元課程收獲:掌握基于大數(shù)據(jù)的市場(chǎng)分析方法掌握大數(shù)據(jù)導(dǎo)入和清洗的技巧提升數(shù)據(jù)采集、分析和挖掘能力提升機(jī)器學(xué)習(xí)能力課程教學(xué)方式:講師講授+互動(dòng)+現(xiàn)場(chǎng)操作(python)+學(xué)員練習(xí)課程大綱大數(shù)據(jù)分析工具(45分鐘)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析工具有很多,包括:PythonPython庫(kù)文件Python主要應(yīng)用主要集中在統(tǒng)計(jì)

 講師:紀(jì)賀元詳情


企業(yè)數(shù)字化轉(zhuǎn)型和數(shù)據(jù)分析能力提升課程時(shí)間:2天紀(jì)賀元2022-9-12課程大綱第一天上午數(shù)據(jù)和數(shù)據(jù)體驗(yàn)什么是數(shù)據(jù)?什么是數(shù)據(jù)化?數(shù)據(jù)化的前提條件是什么?為什么企業(yè)需要數(shù)據(jù)化?企業(yè)數(shù)據(jù)發(fā)展現(xiàn)狀剖析我國(guó)企業(yè)數(shù)據(jù)發(fā)展現(xiàn)狀分析包括數(shù)據(jù)量呈現(xiàn)快速增長(zhǎng)、單位處理數(shù)據(jù)成本下降、數(shù)據(jù)類型復(fù)雜化、數(shù)據(jù)質(zhì)量仍然有待提高、數(shù)據(jù)規(guī)劃問題、數(shù)據(jù)價(jià)值不清、數(shù)據(jù)字段拓展艱難等方面。個(gè)人發(fā)

 講師:紀(jì)賀元詳情


市場(chǎng)營(yíng)銷數(shù)據(jù)的分析與挖掘課程時(shí)間:7小時(shí)紀(jì)賀元課程簡(jiǎn)介:隨著社會(huì)經(jīng)濟(jì)發(fā)展和企業(yè)信息化水平的提高,企業(yè)在營(yíng)銷過程中會(huì)接觸到大量的內(nèi)外部數(shù)據(jù),分析和挖掘企業(yè)營(yíng)銷數(shù)據(jù),對(duì)于洞察企業(yè)內(nèi)外部態(tài)勢(shì)、制定有效的有針對(duì)性的營(yíng)銷策略等有著極強(qiáng)的指導(dǎo)意義。本課程首先介紹數(shù)據(jù)分析的相關(guān)基礎(chǔ),然后介紹數(shù)據(jù)采集和數(shù)據(jù)預(yù)處理,隨后介紹數(shù)據(jù)描述、相關(guān)分析、聚類、關(guān)聯(lián)分析、客戶畫像等重要數(shù)

 講師:紀(jì)賀元詳情


 發(fā)布內(nèi)容,請(qǐng)點(diǎn)我!  講師申請(qǐng)/講師自薦
清華大學(xué)卓越生產(chǎn)運(yùn)營(yíng)總監(jiān)高級(jí)研修班
清華大學(xué)卓越生產(chǎn)運(yùn)營(yíng)總監(jiān)高級(jí)研修班
COPYRIGT @ 2001-2018 HTTP://musicmediasoft.com INC. ALL RIGHTS RESERVED. 管理資源網(wǎng) 版權(quán)所有