大数据专业《网络爬虫》课程标准.docx

该【大数据专业《网络爬虫》课程标准 】是由【书籍1243595614】上传分享，文档一共【13】页，该文档可以免费在线阅读，需要了解更多关于【大数据专业《网络爬虫》课程标准 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。《网络爬虫》课程标准二级学院:智能制造与信息工程学院执笔人:卫星君审核人:制定日期:2022年7月陕西能源职业技术学院一、课程信息表1课程信息表课程名称《网络爬虫》开课院部智能制造与信息工程学院课程代码考核性质考试前导课程大数据技术、程序设计基础、数据结构与算法、数据库技术、计算机网络技术后续课程跟岗实****顶岗实****总学时16课程类型理论课是□实践课是□理论+实践是□理实一体化是?适用专业大数据技术专业二、,依据该岗位真实业务内容与流程选取课程内容、构建学****单元,将目前爬虫程序必备功能组件如网页数据下载、数据分析、数据存储、网页递归爬取等技术作为项目中的系列任务。课程内容编排符合循序渐进的认知规律,培养学生的网页爬虫实际应用能力。,掌握数据提取与存储思想;能完成真是业务逻辑向代码的转化;能够实现网页数据的爬取,并对数据进行有效分析,来预测或进行业务数据分析,指导企业经营决策。三、“基本理论”、“基本技能”和“职业素质”三个层次的培养。以网页爬虫开发岗位必备的开发技能为重点并具备相应的理论基础的同时,注重综合职业素质的养成,勤于动手"。;掌握数据提取与存储思想掌握scrapy爬虫框架设计思想。;掌握掌握正则表达式选取数据的规则;掌握BeautifulSoup工具选择数据的方法;掌握xpath、css选择数据的方法;掌握scrapy网页爬取的工作流程;掌握scrapy中Item、Pipeline数据的序列化输出方法;掌握scrapy中Spider的网页递归爬取技术;掌握scrapy中中间件的使用方法;;能够独立分析解决技术问题;能够快速准确地查找参考资料;能够按照规范编写技术文档;沟通能力强,团队协作能力良好;表3课程教学目标与内容序号毕业要求指标点知识目标技能目标素质目标教学内容12-;掌握ullib的应用;培养学生自主、开放的学****能力。ullib工具22-;掌握BeautifulSoup工具用法够完成真实业务逻辑向代码的转化BeautifulSoup工具;32-、css选择数据的方法掌握选择数据的方法够完成真实业务逻辑向代码的转化数据选择方法42-;爬虫工作流程Item、Pipeline数据的序列化输出方法分析解决技术问题;数据序列化输出方法Spider的网页递归爬取技术;分析解决技术问题;递归爬取技术中间件的使用方法分析解决技术问题;中间件表4课程教学安排序号项目(模块)任务(单元)教学内容重点、难点、,了解爬虫的历史、展、功能等;了解现有的爬虫工具,使用爬虫工具爬取数据;重点:现有的爬虫工具IT行业22?;搭建后端静态网页;urllib下载后端网页;编写程序实现编码的自动识别与转换;存储网页到文件或数据库;重点:urllib下载后端网页传统文化23使用正则表达式获取网页数据任务3网页数据获取搭建前端开发环境;搭建后端静态网页;urllib下载后端网页;使用正则表达式匹配并提取网页数据;重点:使用正则表达式匹配并提取网页数据传统文化24使用beautifulsoup工具选择数据任务4数据选择工具1搭建前端开发环境搭建后端静态网页;urllib下载后端网页;beautifulsoup提取网页的数据;存储提取的数据重点:存储提取的数据编码规范25使用xpath、css选择数据任务5数据选择工具2搭建前端开发环境搭建后端静态网页;urllib下载后端网页;用xpath、css提取网页的数据;存储提取的数据重点:xpath、;使用scrapy爬取网页文件;使用Xpath、css获取特征数据;重点:;使用scrapy爬取网页文件;使用item、pipeline提取与存储数据;重点:item、;搭建web后台众多关联网页;使用scrapy爬取多层嵌套与关联的网页文件;使用item、pipeline提取与存储数据scrapy爬取多层嵌套与关联的网页文件;IT行业2四、课程考核课程考核采用过程考核和考试相结合。考核方式和“教学做”一体化教学模式相适应,全面考核学生的学****态度、学****过程以及学生的工作能力等,以达到检验教学效果和促进教学的目的。每项考核内容各有侧重,既增进学生对专业理论知识的掌握,又要强调学生对知识的综合应用能力的掌握,以凸显课程教学培养目标。课程总成绩(100%)=过程性考核成绩(40%)+考试成绩(60%)。过程性考核成绩(40%)=出勤、课堂表现(10%)+作业(10%)+课内实验(实训)任务(20%)。五、。专职教师应具备中级以上职称,有企业锻炼经历。熟悉数据分析领域专业知识和专业技能的“双师型”教师。具有良好的师德修养,能教书育人,具有良好的数据分析理论知识和丰富的数据分析经验及工学结合的能力,具有严谨教学态度和创新的教育理念。,本课程需要计算机机房,可满足数据分析实践教学使用。(1)校内实训室表5大数据实训室实训室(中心)名称大数据实训室面积70m2序号核心设备数量备注1管理节点服务器50五舟S423G3-TS822计算节点服务器50五舟S423G3-TS1623云终端一体机40五舟4路由器、交换机共3台35多媒体设备、功放等16管理软件1实训室(中心)名称计算机云机房面积360m2序号核心设备数量备注数量1云桌面平台主控服务器2触摸一体机42学生电脑1150无线扩音系统43教师机13主控室机柜14学生电脑250接入交换机125教师机21汇聚交换机16云桌面系统软件204网络机柜47电子教室系统软件4智慧课堂教学应用软件18云桌面集中云运维系统204(2)校外实****基地表6EXCEL数据分析与应用课程校外实****基地序号校外实训基地名称合作企业名称校外实训基地功能接纳学生人数备注1西安启光信息技术有限责任公司认知实****顶岗实****30人2博研科技认知实****顶岗实****30人