开始专注于码农的数据分析
BIGGER

学习Python3.X新库:concurrent.futures 并发库 来提高效率

学习Python3.X新库:concurrent.futures 并发库 来提高效率
我在编写从excel导入数据库的小工具因为bat脚本的缘故导致多进程异常(实际上是自己代码问题) 那么刚好晚上没吃饭和大神一起聊聊天,有了不能忍受着渣代码的想法,立马开始学习多线程多进程,从新打开廖雪峰教程学了起来 我用simple_mind来总结一下(。。。simple min...

SLY 1天前 0评论 0喜欢

BIGGER

Python项下实现批量excel数据导入plsql数据库

Python项下实现批量excel数据导入plsql数据库
前言:项目采用的是java 数据库自然是oracle,但是客户公司上马的ERP 需要将大批的工作中的数据放置于网上,因此我得到了要将excel文件导入到oracle数据库 0x01:处理杂乱的excel数据 因此就需要将其一一按照数据库的要求一一整理出来 那么操作excel...

SLY 5天前 1评论 0喜欢

BIGGER

财大学生访问朱老师YouTube新闻的解决方案

财大学生访问朱老师YouTube新闻的解决方案
我自己搭建了一个Shadowsocks服务器,建立了一个公共账号,基本上访问480P的不会卡,资源有限,仅供字幕校对,不可以用于BT下载。如果你有访问外国网页或者下载的需求可以私聊。 我简单介绍一下shadowsocks(影梭) 和普通的vpn不同,他是一个程序员保证自己通信安全...

SLY 3周前 (07-07) 1评论 9喜欢

BIGGER

在AWS上安装shadowsocks 成功翻墙

在AWS上安装shadowsocks 成功翻墙
不知为何,原来用的是美国节点很卡很慢 后来莫名其妙还不能访问因此本次重新换到了日本东京节点和悉尼节点 希望能更快一些 文中的坑将会交大家避过。 AWS 使用一个私人秘钥登陆(pom转ppk的一个文件)登陆后你需要设置一下你的aws root 账号 sudo passwd root...

SLY 3周前 (07-06) 0评论 0喜欢

BIGGER

在AWS的VPS上安装owncloud私有云

在AWS的VPS上安装owncloud私有云
本方案应该来说是最快的 第一步:安装lamp服务 sudo apt-get update sudo apt-get install lamp-server^ 后面的server是需要加^ 中间会蹦出来设置root密码 设置完了就好了 第二步:安装ownclound sudo sh...

SLY 3周前 (07-06) 0评论 0喜欢

About me

凯捷实习的小小心得

凯捷实习的小小心得
最近没有跟新blog是因为在公司小小的实习还没有适应,以后大概一周会跟新三次的样子,具体内容有: python爬取大街网行业求职信息(百万级) JS前端和jqury框架 深入的python excel处理和管道控件插件模块的编写 可能会有一些关于JAVA入们 原本大三下三月...

SLY 1个月前 (06-15) 0评论 0喜欢

BIGGER

python如何将unix时间戳转换为默认时间

python如何将unix时间戳转换为默认时间
0x01 在上一次爬去投资信息的时候解决了这个时间戳转换为默认的事情,在一般网站上很难找到现成的代码,这次我就给大家带来这个转换思路 0x02 我们有的时候爬虫在python上提取到的unix时间戳张这样 1463624764 我们用站长工具来转换一下 我们来看到他给的那个解决...

SLY 2个月前 (05-19) 0评论 1喜欢

BIGGER

简单模拟登陆新浪微博,批量抓取我们想要的数据

简单模拟登陆新浪微博,批量抓取我们想要的数据
0X00 前言 本次需求的产生是由于要帮助中科院九所的女博士做语义分析,需要采集微博 标签为老师的用户一百位,并将它们的微博(至少二十条)保存下来。 0x01 准备工作 原来我在blog上介绍过呆毛亮童鞋他的微博模拟登陆爬取指定用户UID的爬虫   因此先手准备的是如何批量获取用...

SLY 2个月前 (05-18) 0评论 2喜欢

BIGGER

re 正则表达式匹配不到解决方案

re 正则表达式匹配不到解决方案
问题如下: 在正则表达式测试器中测试没有问题,但到了re的python模块中却发现获取为空 如图: 最后发现原因是传入的complile 可能经过了两次转译 正确的写法如下: uid=\\\\”\d{10} 也就是四根\ 忽然想到以前的正则表达式 不由得心中一凉 ...

SLY 2个月前 (05-16) 0评论 1喜欢