-
Java 多线程爬虫及分布式爬虫架构探索
所属栏目:[优化] 日期:2019-10-23 热度:95
这是 Java 爬虫系列博文的第五篇,在上一篇 Java 爬虫服务器被屏蔽,不要慌,咱们换一台服务器 中,我们简单的聊反爬虫策略和反反爬虫方法,主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬[详细]
-
九个对Web开发者最有用的Python包,掌握这些,工资至少能涨涨
所属栏目:[优化] 日期:2019-10-23 热度:189
1、Matplotlib Matplotlib,正如其名称所暗示的那样,是一个用来绘制数学函数和模型的库;扩展了Numpy的作用,Matplotlib可以只用几行代码来创建图,条形图,散点图等诸多视觉表现。 2、BeautifulSoup4 BeautifulSoup4是go-to包,如果你为某些元素去解析HTM[详细]
-
如何使Pandas来加速你的代码?
所属栏目:[优化] 日期:2019-10-22 热度:119
Pandas对数据科学界来说是一份天赐的礼物。问任何一个数据科学家,他们喜欢如何使用Python处理他们的数据集,他们无疑会谈到Pandas。 Pandas是一个伟大的编程库的缩影:简单、直观、功能广泛。 然而,对数据科学家的一项常规任务,使用Pandas进行数千甚至[详细]
-
Go语言的中的For循环之大坑
所属栏目:[优化] 日期:2019-10-22 热度:72
For循环在我们日常编码中可能用的很多。在很多业务场景中我们都需要用for循环处理。但golang中的for循环有一个大大大的坑,大家可否遇到。直接上代码: 我们写一个测试类,定义一个切片数组,然后循环迭代每个元素,将元素的值放到另一个切片。循环finalAr[详细]
-
18个Python脚本可加速你的编码速度
所属栏目:[优化] 日期:2019-10-22 热度:52
在本文中,我们向您介绍一些提示和技巧,以帮助您更快地编写代码 Python的可读性和设计简单性是其广受欢迎的两个主要原因。 一些常见的Python技巧可以帮助你提高编码速度。在您的日常编码练习中,以下技巧将非常有用。 1.在字符串中查找唯一元素 以下代码[详细]
-
Kubernetes节点之间的ping监控
所属栏目:[优化] 日期:2019-10-21 热度:83
在诊断Kubernetes集群问题的时候,我们经常注意到集群中某一节点在闪烁*,而这通常是随机的且以奇怪的方式发生。这就是为什么我们一直需要一种工具,它可以测试一个节点与另一个节点之间的可达性,并以Prometheus度量形式呈现结果。有了这个工具,我们还希[详细]
-
网络爬虫程序员被抓,我们还敢爬虫吗?细数那些Java爬虫技术
所属栏目:[优化] 日期:2019-10-21 热度:84
最近,某大数据科技公司因为涉嫌非法抓取某招聘网站用户的简历信息,公司被查封,负责编写抓取程序的程序员也将面临坐牢。 事情的大概经过是这样的: 某大数据科技公司老板丢给一个小小的程序员一个网站,告诉他把这个网站的数据抓取下来,咱们做一做分析[详细]
-
数据科学中一些不常用但很有用的Python库
所属栏目:[优化] 日期:2019-10-21 热度:133
导读 提到数据科学的python包,大家想到的估计是numpy,pandas,scikit-learn之类的,这里给大家介绍一些不常用,但是非常有用的python包,就像是痒痒挠,虽然大部分时间用不上,但是真要用起来,还是挺爽的。 Python是个了不起的语言。事实上,这是世界上[详细]
-
架构师知识储备——深入理解BIO、NIO、AIO
所属栏目:[优化] 日期:2019-10-21 热度:196
本文你将获取到:同/异步 + 阻/非阻塞的性能区别;BIO、NIO、AIO 的区别;理解和实现 NIO 操作 Socket 时的多路复用;同时掌握 IO 最底层最核心的操作技巧。 BIO、NIO、AIO 的区别是什么? 同/异步、阻/非阻塞的区别是什么? 文件读写最优雅的实现方式是什么? N[详细]
-
久等了,提高开发效率的Vue 技巧来了
所属栏目:[优化] 日期:2019-10-21 热度:171
最近俩月正好用 vue 做了一个大数据的项目,积累了很多心得。今天终于有机会分享出来了。 组件(component)的使用 vue 提供的模块化无疑是提高开发效率的神器,而且对于后期代码优化和维护也提供的极大地便利。 组件使用简介 vue 提供了组件功能,组件又可[详细]
-
一文搞懂如何在Spring Boot正确中使用JPA
所属栏目:[优化] 日期:2019-10-21 热度:139
JPA 这部分内容上手很容易,但是涉及到的东西还是挺多的,网上大部分关于 JPA 的资料都不是特别齐全,大部分用的版本也是比较落后的。另外,我下面讲到了的内容也不可能涵盖所有 JPA 相关内容,我只是把自己觉得比较重要的知识点总结在了下面。很多地方我[详细]
-
开发十年面试过1000个人,总结出这份高薪Java 试秘诀
所属栏目:[优化] 日期:2019-10-21 热度:185
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 目录: 框架是重点,但别让人感觉你只会山寨别人的代码 别只看单机版的框架,分布式也需要了解 对于数据库,别只知道增删改查,得了解性能优化 Java核心,围绕数据结构和性能优化准备面试[详细]
-
2019 年可以选用这些 Rust IDE/DE
所属栏目:[优化] 日期:2019-10-21 热度:97
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 最近一段时间 Rust 似乎开始从默默无闻走向聚光灯下,从微软宣布探索采用 Rust 替代 C/C++,到 Linux 内核维护者表示愿意接受Rust 作为驱动开发语言,再到 AWS 公开表示赞助 Rust,同时连[详细]
-
女友闹别扭不用担心,python做个软件轻松哄好
所属栏目:[优化] 日期:2019-10-21 热度:176
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 学编程难免有时觉得枯燥,但我们可以自己用编程来做一些有趣的事情,不仅可以排解自己的无聊,还可以给女朋友一个惊喜,增进两人感情! 人们都喜欢记住一些重要的日子,比如说跟女朋友认识[详细]
-
Golang不到100行实现一套灵活的JWT库
所属栏目:[优化] 日期:2019-10-21 热度:177
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 JWT 全 chen JSON Web Tokens 现在被广泛的应用于各种前后端分离的场景,他比传统的 Token Session 方式,更具灵活性。 当然网上也有很多开源的 JWT 库,非常之多,开源组织也提供了官方[详细]
-
消灭 Java 代码的“坏味道”
所属栏目:[优化] 日期:2019-10-20 热度:176
代码中的坏味道,如私欲如灰尘,每天都在增加,一日不去清除,便会越累越多。如果用功去清除这些坏味道,不仅能提高自己的编码水平,也能使代码变得精白无一毫不彻。这里,一直从事Java研发相关工作的阿里高级地图技术工程师王超,整理了日常工作中的一些[详细]
-
透过现象看本质: 常见的前端架构风格和案例
所属栏目:[优化] 日期:2019-10-20 热度:64
所谓软件架构风格,是指描述某个特定应用领域中系统组织方式的惯用模式。架构风格定义一个词汇表和一组约束,词汇表中包含一些组件及连接器,约束则指出系统如何将构建和连接器组合起来。软件架构风格反映了领域中众多系统所共有的结构和语义特性,并指导[详细]
-
MySQL数据误删除怎么办?MySQL闪回工具来帮你
所属栏目:[优化] 日期:2019-10-20 热度:92
概述 Binlog2sql是一个Python开发开源的MySQL Binlog解析工具,能够将Binlog解析为原始的SQL,也支持将Binlog解析为回滚的SQL,去除主键的INSERT SQL,是DBA和运维人员数据恢复好帮手。 一、安装配置 1.1 用途 数据快速回滚(闪回) 主从切换后新master丢数[详细]
-
Java的神秘世界:为何说ClassLoader 是 Java最神秘的技术之一
所属栏目:[优化] 日期:2019-10-19 热度:120
ClassLoader 是 Java 届最为神秘的技术之一,无数人被它伤透了脑筋,摸不清门道究竟在哪里。网上的文章也是一篇又一篇,经过本人的亲自鉴定,绝大部分内容都是在误导别人。本文我带读者彻底吃透 ClassLoader,以后其它的相关文章你们可以不必再细看了。 Cl[详细]
-
将Java进程转移到“解剖台”之前,法医都干了什么?
所属栏目:[优化] 日期:2019-10-18 热度:73
作为法医,不怕高度腐烂的尸体,也不怕错综复杂的案情。最怕的,是没留下任何东西。空无一物,任何高超的技术,丰富的经验,都无从下手。 生产环境错综复杂,几分钟前活蹦乱跳的进程,此刻就奄奄一息的躺在那里,苟延残喘。作为第一时间发现的目击者,一定[详细]
-
Web架构之路:MongoDB集群及高可用实践
所属栏目:[优化] 日期:2019-10-17 热度:130
MongoDB集群有副本集及主从复制两种模式,不过主从模式在MongoDB 3.6已经彻底废弃,今天主要探讨副本集的搭建和使用,以及分片。 副本集介绍 副本集(Replica Set)即副本的集合,在MongoDB中通过先定义一个副本集合,然后将多个节点(副本)加入到这个集合中[详细]
-
使用 Golang 构建整洁架构
所属栏目:[优化] 日期:2019-10-17 热度:112
什么是整洁架构? 在《Clean Architecture: A Craftsmans Guide to Software Structure and Design》一书中,著名作家 Robert Uncle Bob Martin 提出了一种具有一些重要特性的体系结构,如框架、数据库和接口的可测试性和独立性。 整洁架构的约束条件是: 独[详细]
-
游戏开发中最常见的10种编程语言
所属栏目:[优化] 日期:2019-10-17 热度:65
游戏开发是非常有经验和熟练的程序员的工作。 它可能花费数亿美元。 这是一项非常有创意的工作,也需要技术水平。 他们需要具有特定需求的编程语言。 以下是用于 游戏 开发的十大编程语言的列表。 1、C# C#如今在许多游戏引擎中广泛使用,并且是游戏开发所[详细]
-
过去50年间,十大热门语言及发明者大盘点
所属栏目:[优化] 日期:2019-10-17 热度:173
软件领域有许多编程语言,每年还涌现出越来越的新语言。新发布的语言有Scala、Kotlin、Go和Closure,但历史证明,只有少数语言能存活下来,其中一些语言对软件领域的发展做出了巨大贡献。 编程语言是软件领域的重要一环,虽然大家对热门的编程语言了解较多[详细]
-
图解分布式一致性算法
所属栏目:[优化] 日期:2019-10-17 热度:163
今天的文章,咱们会通过图的方式,来深入学习和理解分布式一致性的实现原理。 开始的时候,咱们先来灵魂一问:什么是分布式一致性? 你的应用是单节点吗? 你的系统用户多吗、支持扩容吗? 你的系统扩容后数据能保持一致吗? 你的系统是否使用Raft、Paxos? 是[详细]
