python语言的无车承运人数据挖掘系统的设计与实现(源码)
根据无车承运人数据挖掘系统的实际需求，系统采用Scrapy作为框架、Python语言作为基础设计数据挖掘模块，利用Java + Jsp的搭配设计信息展示页面，采用Mysql数据库存储数据，建立无车承运人数据挖掘系统，实现物流信息的整合，促进物流成本的降低，货运效率的提升。系统包含数据挖掘和数据展示模块。系统以货主、车主和仓库主为对象，分别抓取目标网站的货源、车源和库源信息整合到无车承运人平台信息库中。系统旨在通过数据挖掘扩大无车承运人系统的信息规模，实现物流运输的降本提效，同时简化用户需要在多个平台注册查询的烦杂操作，为用户提供更佳的宣传渠道，提高用户粘度。关键词 无车承运人，数据挖掘，Python语言，Scrapy框架
目 录
1 引言 1
1．1 研究背景 1
1．2 国内外现状 1
1．3 发展趋势 3
2 系统需求分析 3
2．1 可行性研究 3
2．2 功能需求 4
2．3 主要技术 6
3 系统设计 7
3．1 系统架构 8
3．2 数据库概要设计 9
3．3 数据库逻辑设计 9
3．4 界面设计 13
3．5 异常数据处理 17
4 详细设计 18
4．1 系统实现环境 18
4．2 数据挖掘模块的设计 18
5 问题及解决方案 23
5．1 突破Headers 23
5．2 突破IP限制 24
6 系统测试 25
6．1 模块测试 25
6．2 整合测试 26
6．3 测试总结 27
结论 28
致谢 29
参考文献 30
1 引言
随着大数据时代的到来，货运行业同样迎来了大数据革命。货物运输的大数据化源于货源信息、仓库信息以及路线信息三方信息的种类多样，信息规模庞大。数据的收集主要通过对第三方的无车承运人网站的数据抓取和网站用户的上传共同完成信息采集。货运信息数据化已经是目前 *好棒文|www.hbsrm.com +Q: &351916072&
货运行业跟上互联网+时代最重要的一环，因此一个信息丰富的无车承运人数据挖掘系统的研究迫在眉睫。
1．1 研究背景
无车承运人是以承运人身份与托运人签订运输合同，承担承运人的责任和义务，通过委托实际承运人完成运输任务的道路货运经营者[1]，凭借大量订单的承包与个体运输之间产生的差价赚取利润[2]。
货运行业掌握了渠道意味着可以将承运人和实际托运人双方联系起来，以增加利润，扩大市场规模。而如今市场上的货运价格信息，多是人为的收集数据，根据市场分析最终制定价格标准发布到网站。但是各个组织和公司数据规范不统一，并且货运行业受地区的局限性较大，所以采用爬虫对数据进行抓取汇总，将会提高数据的实际有效性。
互联网无车承运人平台充分利用大数据的优势对货运行业复杂的信息进行加工、整合，以平台的特性科学合理的对车源、货源和库源三方信息进行匹配，在优化市场的同时，更是降低了承运人，托运人双方的成本，平台也通过大量订单的承接获取差价利润实现多方共赢，促进货运行业的良性发展。
无车承运人平台作为平台一方面在给中小型托运人提供更低价格的同时，可以给托运人提供更多的定制服务，维权、理赔效率的便捷性大幅提升；另一方面平台可以发挥自身规模大的特点为货运质量高的承运人吸纳更多的潜在客户，促成承运人和托运人双方的良性合作，从根源上做到物流货运的降本增效。本课题运用Python语言对冷链马甲网站的信息进行抓取和整合，存储到Mysql数据库中，通过Java和Jsp呈现前端数据展示页面，实现货运信息管理的网络信息化。
1．2 国内外现状
无车承运人平台在国外相对是一个成熟的体系，而国内却缺乏一个规范完整的体系结构。
1.2.1 国内发展现状
我国物流服务产业成熟度不够，市场缺乏标准和规范，难以有效的控制运输质量，同时物流市场集中度低，繁多的第三方转包更是导致市场信息不对称，所以货物信息被中间商掌控，大量的承运人难以获得足量的订单[3]。
为了解决国内恶劣的物流环境，一批无车承运人平台涌现。中储南京智慧物流科技有限公司建立起中储智运无车承运人平台凭借3层监控给承运人和托运人提供保障。卡行天下供应链管理有限公司则是以技术为依托开发了智慧物流交易和智慧物流分析预测系统利用大数据进行车辆调度。运满满更是通过数据分析实现汽车空驶率的大幅度降低，将货运资源合理分配[4]。
综上所述目前国内市场由于国情的限制，虽然算法和系统设计已经趋近完善，但缺乏一个信息整合度高的平台，承运人和托运人的信息分布于各个平台，承运人和托运人为了满足自身的需求甚至需要在多个网站注册付费以获得货运信息。本课题着力于整合多个平台的资源并将货源信息展示在一个网站中为用户提供最大程度的便捷。系统通过对其他多个平台的信息进行监测、筛选和抓取，集中货运资讯，技术上主要通过爬虫抓取大量数据，在检验数据的有效性后完成物流网络的整合[5]。
1.2.2 国外发展现状
无车承运人这一概念最早由美国人罗宾逊提出，而2013年罗宾逊全球物流有限公司就已经达到128亿的营收[6]，成为全球最大的第三方物流企业。罗宾逊整合相关物流资源，集成信息服务，依赖“互联网+物流”的思想以信息平台为依托在美国建立起强大的货运网络对物流仓库进行调配，凭借独有的模式迅速扩张发展，一跃成为无车承运人中的佼佼者。
罗宾逊物流公司并没有自身的货车和仓库，而是利用基于大数据的运输网络宏观调配，通过运费差价和增值服务创收。罗宾逊物流公司基于北美的强大运力和市场巨大的运输需求，采用无车承运人平台实现海量数据的整合匹配，大幅度的提高货车运输效率。国外无车承运人平台多以轻资产模式运行，为客户整合市场上零散的货运资源，让客户可以集中精力从事自身生产工作，同时凭借平台的资源优势带给用户体验更优秀的增值服务。而车主则可以不必为订单奔波，只需要专注于货运工作。
目 录
1 引言 1
1．1 研究背景 1
1．2 国内外现状 1
1．3 发展趋势 3
2 系统需求分析 3
2．1 可行性研究 3
2．2 功能需求 4
2．3 主要技术 6
3 系统设计 7
3．1 系统架构 8
3．2 数据库概要设计 9
3．3 数据库逻辑设计 9
3．4 界面设计 13
3．5 异常数据处理 17
4 详细设计 18
4．1 系统实现环境 18
4．2 数据挖掘模块的设计 18
5 问题及解决方案 23
5．1 突破Headers 23
5．2 突破IP限制 24
6 系统测试 25
6．1 模块测试 25
6．2 整合测试 26
6．3 测试总结 27
结论 28
致谢 29
参考文献 30
1 引言
随着大数据时代的到来，货运行业同样迎来了大数据革命。货物运输的大数据化源于货源信息、仓库信息以及路线信息三方信息的种类多样，信息规模庞大。数据的收集主要通过对第三方的无车承运人网站的数据抓取和网站用户的上传共同完成信息采集。货运信息数据化已经是目前 *好棒文|www.hbsrm.com +Q: &351916072&
货运行业跟上互联网+时代最重要的一环，因此一个信息丰富的无车承运人数据挖掘系统的研究迫在眉睫。
1．1 研究背景
无车承运人是以承运人身份与托运人签订运输合同，承担承运人的责任和义务，通过委托实际承运人完成运输任务的道路货运经营者[1]，凭借大量订单的承包与个体运输之间产生的差价赚取利润[2]。
货运行业掌握了渠道意味着可以将承运人和实际托运人双方联系起来，以增加利润，扩大市场规模。而如今市场上的货运价格信息，多是人为的收集数据，根据市场分析最终制定价格标准发布到网站。但是各个组织和公司数据规范不统一，并且货运行业受地区的局限性较大，所以采用爬虫对数据进行抓取汇总，将会提高数据的实际有效性。
互联网无车承运人平台充分利用大数据的优势对货运行业复杂的信息进行加工、整合，以平台的特性科学合理的对车源、货源和库源三方信息进行匹配，在优化市场的同时，更是降低了承运人，托运人双方的成本，平台也通过大量订单的承接获取差价利润实现多方共赢，促进货运行业的良性发展。
无车承运人平台作为平台一方面在给中小型托运人提供更低价格的同时，可以给托运人提供更多的定制服务，维权、理赔效率的便捷性大幅提升；另一方面平台可以发挥自身规模大的特点为货运质量高的承运人吸纳更多的潜在客户，促成承运人和托运人双方的良性合作，从根源上做到物流货运的降本增效。本课题运用Python语言对冷链马甲网站的信息进行抓取和整合，存储到Mysql数据库中，通过Java和Jsp呈现前端数据展示页面，实现货运信息管理的网络信息化。
1．2 国内外现状
无车承运人平台在国外相对是一个成熟的体系，而国内却缺乏一个规范完整的体系结构。
1.2.1 国内发展现状
我国物流服务产业成熟度不够，市场缺乏标准和规范，难以有效的控制运输质量，同时物流市场集中度低，繁多的第三方转包更是导致市场信息不对称，所以货物信息被中间商掌控，大量的承运人难以获得足量的订单[3]。
为了解决国内恶劣的物流环境，一批无车承运人平台涌现。中储南京智慧物流科技有限公司建立起中储智运无车承运人平台凭借3层监控给承运人和托运人提供保障。卡行天下供应链管理有限公司则是以技术为依托开发了智慧物流交易和智慧物流分析预测系统利用大数据进行车辆调度。运满满更是通过数据分析实现汽车空驶率的大幅度降低，将货运资源合理分配[4]。
综上所述目前国内市场由于国情的限制，虽然算法和系统设计已经趋近完善，但缺乏一个信息整合度高的平台，承运人和托运人的信息分布于各个平台，承运人和托运人为了满足自身的需求甚至需要在多个网站注册付费以获得货运信息。本课题着力于整合多个平台的资源并将货源信息展示在一个网站中为用户提供最大程度的便捷。系统通过对其他多个平台的信息进行监测、筛选和抓取，集中货运资讯，技术上主要通过爬虫抓取大量数据，在检验数据的有效性后完成物流网络的整合[5]。
1.2.2 国外发展现状
无车承运人这一概念最早由美国人罗宾逊提出，而2013年罗宾逊全球物流有限公司就已经达到128亿的营收[6]，成为全球最大的第三方物流企业。罗宾逊整合相关物流资源，集成信息服务，依赖“互联网+物流”的思想以信息平台为依托在美国建立起强大的货运网络对物流仓库进行调配，凭借独有的模式迅速扩张发展，一跃成为无车承运人中的佼佼者。
罗宾逊物流公司并没有自身的货车和仓库，而是利用基于大数据的运输网络宏观调配，通过运费差价和增值服务创收。罗宾逊物流公司基于北美的强大运力和市场巨大的运输需求，采用无车承运人平台实现海量数据的整合匹配，大幅度的提高货车运输效率。国外无车承运人平台多以轻资产模式运行，为客户整合市场上零散的货运资源，让客户可以集中精力从事自身生产工作，同时凭借平台的资源优势带给用户体验更优秀的增值服务。而车主则可以不必为订单奔波，只需要专注于货运工作。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/rjgc/1143.html
