转自:edwardgui的博客
正常的用python编译控制台是不会出现乱码的,但是在使用虚拟环境的情况下中文总是乱码,一开始以为是windows控制台编码的问题。找了挺久后发现是python+virtualenv编译系统的问题,现在我就带领大家解决这个问题。
▲注:Windows环境下
首先看下是否已经安装了Virtualenv package插件,如果没有,则Ctrl+Shift+P,install Package,输入Virtualenv安装。
找到插件安装的地方:C:\Users{Username}\AppData\Roaming\Sublime Text 3\Installe ...
Shell
编写
打开文本编辑器,新建一个文件,扩展名为sh(sh代表shell),扩展名并不影响脚本执行,见名知意就好,如果你用php写shell 脚本,扩展名就用php好了。
12#!/bin/bash#!/usr/bin/php
“#!”是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行。
作为可执行程序
12chmod +x test.sh./test.sh
注意,一定要写成./test.sh,而不是test.sh,运行其它二进制的程序也一样,直接写test.sh,linux系统会去PATH里寻找有没有叫test.sh的,而只有/bin, /sbin, /usr/bin,/ ...
定时任务执行python脚本
使用linux的crontab
1.开启crontab日志。
crontab默认不开启日志,所以先开启定时任务的日志来查看
修改rsyslog服务,将/etc/rsyslog.d/50-default.conf 文件中的#cron.*前的 #删掉;用service rsyslog restart重启rsyslog服务:
2.写定时任务
开启本用户的定时任务,即创建以本用户名为文件名的定时任务文件,位置在/var/spool/cron/crontabs/。crontab -e
定时任务语句格式为:执行周期+命令,周期有5个域,分别是
M: 分(0-59 ...
1.重置路由器设置
为了以防之前其他人已经设置过某些东西,可能会影响到之后的使用,所以干脆直接重置。
2.连接路由器电源,不用插任何的wan口或者lan口
P.S.如果第二步,手机和电脑无法直接通过IP地址进入管理界面的话,可以考虑将 网线一头插入2号口,一头插入电脑的插口 , 然后再通过IP地址进入管理界面
3.登录路由器管理界面
▲注意: 大多数路由器的管理界面IP地址为 192.168.1.1或者192.168.100.1,虽然高科路由器后面贴纸上说明的IP地址是192.168.8.1,但是那个不是初始的IP,需要自己设置到192.168.8.1.
如下是我已经修改好的IP ...
AU使用。
留人声、去伴奏
First.
▲侧边声道电平控制微弱,中置声道电平控制效果强。
▲交叉渗透,越大伴奏声音越不明显
Second.
前面几排调低到满意。(童声高音频率范围为260-880Hz,低音频率范围为196-700Hz,女声高音频率范围为220-1.1KHz,低音频率范围为200-700KHz,男声高音频率范围为160-523KHz低音频率范围为80-358Hz. 国际通信标准制定为300Hz-3400Hz! )
留伴奏、去人声
···选中所有,菜单栏-收藏夹-移除人声
写爬虫过程中碰到的编码问题
遇到 ’ \uxxxx ’ 的16进制字符串编解码问题,使用unicode-escape解决之。
实际上,在将unicode存储到文本的过程中,还有一种存储方式,不需要将unicode转换为实际的文本存储字符集,而是将unicode的内存编码值进行存储,读取文件的时候再反向转换回来,是采用:unicode-escape的转换方式。
将unicode的内存编码值进行存储,读取文件时在反向转换回来。这里就采用了unicode-escape的方式
12345678print(u'中文测试'.encode('utf-8'))p ...
客户端发出请求==>服务器接受、处理请求与响应 的过程示意图
1. WSGI:
全称是Web Server Gateway Interface(服务器网关接口)。WSGI不是服务器,python模块,框架,API或者任何软件,只是一种规范( 是一个**Web服务器(如nginx)与应用服务器(如uWSGI)**通信的一种规范(协议)==> 可以理解为服务器与应用程序通信的接口规范要求),描述web server如何与web application通信的规范。server和application的规范在PEP 3333中有具体描述。因为WSGI没有官方的实现, 所以WSGI更 ...
我本机的系统环境:`OS Name: Microsoft Windows 10 家庭中文版
Windows 控制台Cmd乱码的解决办法(一次性)
在cmd中输入 CHCP 65001
注:CHCP是一个计算机指令,能够显示或设置活动代码页编号。
代码页 描述
65001 UTF-8代码页
950 繁体中文
936 简体中文默认的GBK
437 MS-DOS 美国英语
但是通过CHCP设置编码是治标不治本的,想永久的更改cmd编码值需要修改注册表
Windows 控制台Cmd乱码的解决办法(永久性)
方法一:
1.在cmd中输入regedit进入注册表
2.找 ...
SeverChan_Nyedu
Crawl the infomation about competitons, when new infos comes, remind people on Wechat by ServerChan:
😍该程序通过爬取南邮教务处,将当前时间与最新时间进行匹配,如果是当日则通过ServerChan发送到本人的微信,提醒有新的竞赛.
完成笔记:
1.关于lxml中etree.xpath()对于tbody的处理
该网页通过table对页面进行分布设置,其中table标签会自动生成tbody标签,如图…此时用xpath进行匹配的时候就不需要将tbody加上,否 ...
请求
:请求方法、请求网址、请求头、请求体
请求方法:
常见的为:GET、POST
GET与POST主要区别:
GET请求参数包含在URL,可从URL中看出。POST请求的URL不包含参数,都是通过表单的形式传输的,包含在请求体中
GET请求提交的数据最多只有1024字节,POST无限制
其他还有HEAD、PUT、DELETE、CONNECT、OPTIONS、TRACE
请求的网址:
即URL,我们想要请求的资源
请求头:
用来说明服务器要使用的附加信息,比较总要的有Cookie、Referer、User-Agent等。
Accept:请求报头域,用于指定客户端可接受 ...
方法一:urllib2
结合cookielib及urllib2,Python2时期比较常用的方法,年代比较久远了。个人觉得太麻烦,改用requests.
▲需要注意的是cookielib在python3中已经改成了http.cookiejar
1234567891011121314151617181920212223242526272829303132333435#该方法本人未测试import urllib2import cookielib#将cookie保存在文件中def saveCookie(): #设置保存cookie的文件 filename = 'cooki ...
爬虫的基本原理
爬虫就是获取网页并提取和保存信息的自动化程序
获取网页:
获取网页就是获取网页的源码,只要把源码获取下来,就可以从中提取想要的消息
爬虫的流程:想网站的服务器发送一个请求,返回的响应体就是网页的源代码。
>1,构造请求发送给服务器=>2.接受响应并解析
提取信息:
通过分析网页结构,提取网页信息。通常使用的解析库有:BeautifulSoup、lxml、pyquery,也可以使用正则,但是构造正则表达式比较复杂且易错
保存数据:
将提取的数据保存到某处以便后续利用。保存形式有:TXT、Json、数据库:MySQL、MongoDB、或远程服务器SF ...
响应:
响应状态码、响应头、响应体
响应状态码:
表2-3常见的错误代码及错误原因
状态码
说明
详情
100
继续
请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。
101
切换协议
请求者已要求服务器切换协议,服务器已确认并准备切换。
200
成功
服务器已成功处理了请求。通常,这表示服务器提供了请求的网页。
201
已创建
请求成功并且服务器创建了新的资源。
202
已接受
服务器已接受请求,但尚未处理。
203
非授权信息
服务器已成功处理了请求,但返回的信息可能来自另一来源。
204
无内容
服 ...
代理
基本原理
代理实际上指代理服务器。功能是代理 网络用户去取得网络信息,是网络信息的中转站。
正常的请求过程为:发送请求给服务器===>web服务器吧响应传回
设置代理服务器后:>向代理服务器发送请求>请求发送给代理服务器==>再由代理服务器发送web服务器==>由代理服务器把web服务器返回的响应转发给本机
作用
突破自身IP访问限制,访问些平时不能访问的站点。
访问一些单位或团体内部资源:比如使用教育网内地址段免费代理服务器,就可以用于对教育网开放的各类FTP下载上传,以及各类资料查询共享等服务。
提高访问速度:通常代理服务器都设置-一个较大的硬盘缓 ...
URL与URI
URL全称:Uniform Resource Locator(统一资源定位符)
URI全称:Uniform Resource Identifier(统一资源标识符)
如https://github.com/favicon.ico为例,它既是一个URL又是一个URI。我们通过URL/URI唯一指定了它的访问方式。其中包括访问协议https、访问路径、资源名称favicon.ico。通过这个链接提供的消息,我们就可以直接访问到此资源所在的位置。这便是URL、URI的作用。
URL是URI的子集。===>每个URL都是URI,但不是每个URI都是URL。
URI包括 ...
Session和Cookie:
Cookie:保持登录后的认证状态而保存在本地的数据
session:用cookie来标记用户,cookie携带了会话ID消息,通过检查cookie就能找到会话(session)
cookie与session相互配合,一个处于客户端,一个处于服务端,两者相互协作。
会话cookie和持久cookie
会话Cookie:把cookie放在浏览器内存里,浏览器关闭后失效。
持久Cookie:保存cookie到客户端的硬盘中,下次继续使用。
由Cookie的Max Age和Expires决定了过期的时间。
Chrome开发者工具中Network功能介绍
第一列Name:请求的名称,一般会将URL的最后一 部分内容当作名称。
第二列Status: 响应的状态码,这里显示为200,代表响应是正常的。通过状态码,我们可 以判断发送了请求之后是否得到了正常的响应。
第三列Type: 请求的文档类型。这里为document, 代表我们这次请求的是一个HTML文档,内容就是一些HTML代码。
第四列initiator: 请求源。用来标记请求是由哪个对象或进程发起的。
第五列Size: 从服务器下载的文件和请求的资源大小。如果是从缓存中取得的资源,则该列会显示from cache。
第六列Time:发 ...
Pythonanywhere解决链接Mysql问题(部署flask)
由于在bash控制台里通过命令mysql -p(这其实是因为错误的连接方式,由于不是默认的端口3306,自然连接不到,官方文档中有正确的连接方式)链接不到Mysql时,再加上进虚拟环境用python manage db migrate也失败后,我是异常慌张的…然后立马发现关于pythonanywhere链接Mysql的解决不是很多,要么就是说免费账号是无法用的…心顿时拔凉,但最后还是找到了pythonanywhere官方的文档,解决了这个问题,发现都是配置的问题
一开始的我本地及阿里云链接mysql数据库配置文件是这样 ...
JS正则及常用方法函数总结
正则表达式作为一种匹配处理字符串的利器在很多语言中都得到了广泛实现和应用,web开发本质上是处理字符串(服务端接受请求处理后拼接字符串作为响应,这在早期的CGI编程中最明显,然后客户端解析字符串进行渲染和执行),所以说,JS作为一门常用于web开发的语言,必然要具备正则这种强大的特性,本文将对JS中的正则用法及常用函数进行一番总结。
1.正则对象及其属性
首先正则对象是JS中内置的一个对象,好比Array以及Math一样,不需要第三方库的支持,通常我们采取两种方式来定义一个正则对象.
1)构造函数方式
12345var reg=new RegExp('a ...
出现的问题
原因是在apt-get update时遇到了Unable to connect to 代理,(由于apt-get update一直显示无法连接172.17.18.141百度后发现这并不是个特殊的IP,而且也可以ping到百度)于是想到是否使用了代理。
apt代理的设置:
临时方法
export http_proxy=http://10.3.0.1:80
长久方法
(1) 需要在/etc/apt/apt.conf中添加以下代码: (如果您希望apt-get(而不是其他应用程序)一直使用http代理,您可以使用这种方式。)
Acquire::http::proxy &qu ...