首页 > 数据库技术 > 详细

在ubuntu 16.04里使用python—scrapy将爬取到的数据存到mysql数据库中的一些随笔

时间:2018-03-31 17:03:50      阅读:527      评论:0      收藏:0      [点我收藏+]

一、将爬取的数据保存到mysql数据库的代码(已经能将爬取的数据保存到json文件)

  (1)编辑Pipeline.py文件

    技术分享图片

  (2)编辑settings.py文件

    技术分享图片

    技术分享图片

二、将数据保存至mysql数据库出现的问题

  (1)在将数据存储至数据库的时候,一直报1366的错,经查资料,发现是数据编码的问题,在博客里找了好几个解决方法,比较好的记录下:

      1. 首先停掉mysql服务,编辑配置文件my.cnf

      sudo stop mysql

      sudo vim/etc/mysql.cnf

      添加:

      技术分享图片

     2. 重启服务

      sudo start mysql

      sudo mysql -u root -p

      use root

      show variables like ‘%char%‘;#更改前存在的用户字符集不会改变,以后新建的用户字符集都会变成utf8,重新在数据库里建字段

      本段借鉴https://my.oschina.net/sldk/blog/266268

  (2)在进行爬取保存的时候,存的数据不完全,经检查后发现在爬取的数据里有空数据,所以在爬取的时候应做非空处理

三、导出数据库(以FP为例)(我使用的是root用户)

  (1)导出数据和表结构

    使用mysqldump命令,导出sql脚本(如果不指定导出路径,默认导出至当前路径)

    格式:mysqldump -u 用户名 -p (密码) 数据库名 > 数据库名.sql

       mysqldump -u root -p FP > FP.sql

       回车后提示输入密码

   (2)只导出表结构

    格式:mysqldump -u 用户名 -p (密码) -d 数据库名 > 数据库名.sql

       mysqldump -u root -p -d FP > FP.sql

二、导入数据库

  导入和导出我学习了这位仁兄的博客

  https://my.oschina.net/linuxphp/blog/693650

  

在ubuntu 16.04里使用python—scrapy将爬取到的数据存到mysql数据库中的一些随笔

原文:https://www.cnblogs.com/songxiangyangKing/p/8682906.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!