-
在家里无缝访问公司网络
有时候在家里时想访问公司网络，干点活（真是个好员工），主要就是开开内网的网页，连连内网的IM（Cisco Jabber）。本来这个事情只要有一个VPN就可以搞定了，但是！但是我没有权限申请VPN，于是只好另辟蹊径了。首先，找到一个用于搭建内网隧道的反向代理工具frp，通过它在家里开一个服务端，在公司开客户端，于是家里的机器上就有了一个socks5端口，通过该端口就可访问到公司内网的资源了。于是网络拓扑大体如下图所示：我把服务端放在占美x86小主机上，Banana Pi只负责拨号、路由和X墙...…
-
UMLGen开发踩坑
最近这段时间都在写一个叫UMLGen的GUI程序，从名字可以看出，就是一个用来画UML图的工具，与大多数现有的WYSIWYG（所见即所得）的UML画图工具（比如Visio，StarUML等等）不同的是，UMLGen使用代码的形式来描述UML图的呈现，与LaTeX的思想类似，即WYTIWYG（What You Think Is What You Get，所想即所得），我个人认为这种方式特别适合程序员使用。现在可用性已经很好了，主窗口截图如下：程序是用Qt写的，开发过程中还是遇到一些坑，记录一...…
-
Qt unzip
最近又要在一个Qt程序中解压缩一些zip文件，以前用过QuaZIP，总觉得如果能不引入一个额外的第三方库会更舒服一些，于是上网搜了一下，还真有办法！先在.pro文件中添加module：QT += gui-private然后在.cpp文件中添加头文件引用：#include <private/qzipreader_p.h>最后就是解压缩：QZipReader cZip("archive.zip");foreach(QZipReader::FileInfo item, cZip.fi...…
-
HAProxy for SS(R)
昨天在喵帕斯tg群里看到一张HAProxy的截图，经过了解，原来是梅林固件自带的，真是不错的想法。想当初，我为了实现$$的load balance，不惜花费大量的时间和精力，自己用Go写了个客户端，结果后来喵帕斯全面开启多用户单端口，而我的程序在带参数的混淆和协议上实现有问题，于是换回用libev版了。用libev版唯一的缺点就是线路变动（比如偶发性down掉，永久换IP，永久移除等等）时，需要手动去切换一下。虽然喵帕斯同时提供了几十条线路，却压根没发挥作用，如果线路稳定倒也好说，但是昨天...…
-
家中网络问题一则
某天早上起来，发现屋里手机、电脑都上不了网了，照惯例先后重启了一下路由器和WIFI中继，都不管用，感觉问题有点严重了。屋里的网络拓扑如图所示，略显繁杂：大多数情况下，都是R6300v2这个二级路由器不稳定，时不时WIFI连不上了，重启就好了，也遇到过TP-Link的WIFI中继不工作的情况，也是重启就好了。一般情况下我是不愿意重启用于拨号和翻墙的作为一级路由器的Banana Pi R1的，因为翻墙部分的程序有时候在板子起来后并不能自动运行，要ssh登录上去后手工输入命令运行起来，挺嫌麻烦的...…
-
Go微信公众号爬虫踩坑实录（二）
过去一周仍然花了些时间更新微信公众号爬虫，又踩到些坑，记录一下。 之前是用semaphore来控制并发下载的goroutine数，后来发现这种方法看起来比较粗放，于是改成固定数量的goroutine池，比如固定30或50个goroutine一直跑着只用于下载HTML，固定15个goroutine一直跑着只用于将HTML转换为PDF，前一种goroutine下载完一个HTML后通过channel告诉后一种goroutine开始转换，感觉好多了。 微信公众号文章中常常包含大量的图片，而且不...…
-
Go微信公众号爬虫踩坑实录
用Go开发微信公众号爬虫，踩到一些坑，记录如下。 爬虫必然会开启大量http.Client去抓取内容，于是使用sync.Pool来管理这些http.Client，但是马上就会遇到sync.Pool返回一个nil出来，尝试换成自己写一个简单的Pool实现，仍然有相同问题，后来才发现原来在下面把变量改成nil然后放回pool去了。 文章主体的HTML文本下载是很快的，内嵌的图片资源下载很花时间，尤其是有些文章会内嵌很多图片，所以要把下载HTML和下载图片的semaphore并发量按比例调整...…
-
抓取微信公众号文章
一直想要抓取微信公众号文章，目前终于可以一半手动一半自动地抓取指定公众号的所有文章了。现在主流的大概是两种方法，一种是从搜狗那里抓取，另一种是通过中间人攻击的方式从客户端直接抓取，我是用的第二种，各有优缺点吧。从搜狗抓，需要绕开验证码，而且只能抓最新的10篇文章，有些公众号并没有被收录，等等。从客户端抓取，不小心会被封号，这是最大问题。简单记录一下步骤和注意事项： 用OpenSSL生成一个自签名的证书，并导入到客户端所在的系统中，不同系统有不同反应，有些国产Android手机自定义的RO...…
-
开一次年会，失一次望
昨天是一年一次的年会，每年的年会都是大大的失望，虽然说没有期望就不会有失望，但是每年都看着旁边的人能抽中各种高低不同档次的奖品，怎么会没有期望呢！昨天仍然一如既往的没有抽中奖，酒店里面联通信号基本没有，酒店自己的WIFI用他们服务员的话说：“连了WIFI等于没网！”所以连红包都没抢多少。幸亏有一个踩报纸的游戏上去赢了一盒德芙巧克力。然后我们team的一个同事居然中了特等奖，一台iPhone X！已经无力羡慕嫉妒恨了。…
-
树莓派uptime达到365天
今天，我屋里的树莓派uptime已经达到365天了，整整一年，截图留念一下。…
-
初读《七周七并发模型》
前几天粗略翻阅了一下《七周七并发模型》，这是本从v2ex上收来的二手书，虽然算上快递费也并没比新买一本便宜多少，但是知识是无价的，呵呵。《七周七并发模型》讲了7种软件开发中最常使用的并发模型，分别是： 线程和锁，最基础最常用，也是其他并发模型的技术基础。我目前经历过的C++项目中基本上都是使用的这种方案，顶多就是选取不同的锁以应付不同的应用场景。 函数式编程，书中讲了Clojure语言，一种基于JVM而语法上又类似Lisp的语言。函数式编程本身有很多值得讲的，据说它天然的无副作用函数特...…
-
抓取网络小说到Kindle更新
抓取网络小说的小程序断断续续有了不少更新，除了支持更多的小说网站外，还有一些值得一提的内容： 程序结构更加紧凑灵活，新增或删除支持的小说网站只需要直接增加源代码文件或删除对应的源代码文件即可，不需要修改原有的代码。 新增了支持直接生成epub和pdf格式，其中默认的pdf排版针对Kindle DXG做了适配，包括版面大小，边框大小，字体名和字体大小，行间距等，全部都是往在DXG上看最舒服的方向上靠拢。 增加了并发下载的功能，默认以10个并发量下载，然后通过channel把下载的内容传...…
-
2018新年好
2017年完成了人生中的一件大事。其他的就混过去了。昨天厨房里水桶里的水满出来了，漫得满地都是，妹子说发水是大发，新年第一天就发，今年要发啦！晚上吃饭时又一不小心把妹子的饭碗给撞到地上摔碎了，阿姨就说碎碎平安。希望2018年会是个好年。2018年一定要挖一口井。…
-
将expat替换为libxml
我们维护的项目代码量不大，冗余度倒是不低，光是XML parser就有expat，tinyxml，libxml以及一个自己（其实好像是另一个第三方库自带的）手写的parser。我观察了一下，觉得可以把expat和tinyxml都替换为libxml，这段时间就在做这项工作。好在之前的人在expat之外做了一层封装，ExpatWrapper，所以只要修改ExpatWrapper就可以了，不过倒也折腾了不少时间。这个封装在Windows上是编译成一个独立的dll，导出符号跟内部使用的XML pa...…
-
抓取网络小说到Kindle
前些天突然心血来潮，写了个小程序，用于从网上抓取网络小说，然后生成content.html，content.opf和toc.ncx文件，再放入一个合适的字体文件，比如经过我几番比较，在我的Kindle4上使用方正准圆比较好，最后用kindlegen生成mobi文件，于是可以使用kindle来阅读网络小说了。这么多年来我基本上一直是使用电脑或手机来看网络小说，Kindle倒是也买了好几年了，但因为没找到方便的途径把小说弄到kindle上去，于是每次要是连续看3，4个小时小说，眼睛就会累得不行...…