博文

目前显示的是标签为“经历”的博文

在日本搬家所需要的注意事項

第一。搬入新家之前,给家里有瑕疵的地方拍照,做好备份,这样在退租的时候,尽量避免支付多余修复的钱。 第二,开通电力和瓦斯的那些事。 开通电力和瓦斯,建议在搬家的前一周联系东京电力公司。我是通过电话联系的,客服人员会很温柔的和你沟通,电力和瓦斯是一家的。注意区分下《东日本,西日本》自己住的区域是属于哪边。 第三,买家具。 这方面有很多网站,建议不要分开买。有《新生活セット》里面有套装,这样会更加优惠一些。我的是在乐天买的,注意好,他们送货是否收费。我就没注意好被坑了3000日元。 一定要区分好燃气灶的类型是LP的还是东京gas的,买错的话退起来很麻烦。 一般性:2点セット包含了《洗衣机,冰箱》,3点セット包含了《洗衣机,冰箱,微波炉》,根据自己选择即好 我买的是3点セット,然后有在他们店里掏2000日元买了把电脑椅子,又加了13000买了煤气灶,同一个店铺买,这样会比较超值一些。总共掏了58000。 要不是最后被坑了3000日元,我真会给他5星好评。一定要商量好价格,价格一定要明确,明确下来。 第四,开通网络 开通网络需要提前20天预约,从审核你的住所是否能安装他们公司的网络,到施工结束大概需要花这么多时间。不同的网络公司需要不同的网络设备,有些公司不用再另外掏钱买,有些则不行。 网络最快的就是 NURO 了,光纤实际下载速度可以达到60M一秒,IP是固定的。 现在用的是 《ぷらら 》不推荐使用,网络速度比较慢。ping baidu.com 的话,会有25%的掉包情况。ping google 倒是没啥问题,实际下载速度最大10M。 最后,总结 不要把日本人想象地多美好,不会坑你。他们只是没找到机会。如果你觉得我这句话是错的,不相信,我只能笑你还是太天真。 看房子的时候,一定要看好洗衣机的排水口,距离安装位置是否过远,怎么排水。

大ファイルアップロードする解決案

图片
調査 サンプル画面を書くときに、「400MB」以上のMP4ファイルをアップロード時、JVMからメモリー不足エラーが起こりました。 普段、この時、JVMの占用メモリー引数を修正するだけでいいですが、別の実現し方で、解決しようと思いました。 動作はユーザーさんが複数のファイルを選んでから、ファイルごとにアップロードする、しかし、ファイルが多き過ぎて、Jvmに配れたメモリー資源が足りないことになりました。 画面を見ると、管理画面のファイルアップロードテキストは制限されてない、追加アップロードボタンをクリックすると、ファイルテキストを画面に追加できます。 一つのファイルテキストは選択できるサイズが最大1GBまで、五つのテキストは5GBになる、このように換算する。 アーキテクチャ 処理フロー 解決案 大ファイルを分割して、何回にアップロードするように修正。ファイルを分割して、ファイルブロック単位として、アップロードする。 もちろん、サーバーにアップロードする後、組み合わせて、AmazonのS3に保存する。 幸せなことは、Java APIを見ると、ファイルブロックが直接にS3にアップロードする、全ブロックがアップロード完了する後、シンプルに「組み合わせる範囲」のAPIを呼び出すだけで、リモートのS3サーバーに正常に読み取りができる。 最後 テストする後、一つテキストは2GBでもかまいません、日常使用に対する問題なかった。 インターネットのスピードが調整不能のため、時間がかなりかかる インターネットの有無にも仕方ないだろうか、草 :)

スレッドで処理資源を制限する

图片
課題説明 今って、大きく課題にアサインしてもらった。現状は、データ数が多すぎるので、そして、データ抽出したあとにそのロジックコードも長すぎる、ざっくりみると、20000行以上である。中で別システム連携であるのみにならず、DBデータの再抽出も多い。 テストの最小単位で3万件のデータをダウンロードに試してましたが、ローカルの開発環境で全然無理です。15分ほどにかかったあと、すぐダンしてしまった。 プロジェクトリーダーは「エラーになる行を見て、解決してください。」と言った 僕にとって日本では技術のことが知らないリーダーが多いです、実際はこんなに簡単に解決ではなく、性能問題は開発の段階に考えられるものと思うですが、仕様不備やスケジュールを合わせるため、開発段階にもややこしかったかもしれない ほぼ、現状を把握から解決まで二週間を経った、問題は以下になる loopの中にLoopが多すぎる 全件数を抽出した、未出力のデータって長期にメモリーを占用する 全データ処理後一瞬にファイルを出力する、400MBくらい SQL:where id in(...2000個以上のストリング...) 本番環境のメモリーは4GBがあるのに、2GBだけ使われてる 実現目標 100000件以上のデータがダウンロードできるように修正 アーキテクチャはこうになる 解決案 一番目の解決案はリストタイプをMapタイプに修正すればOKです。 二番目は全件数を抽出したので、回数による処理件数を制御すると僕は考えてます。リーダーさんは、「処理件数」だけで制御いけないかという質問を頂きました。 1人は「500件」、10人同時にダウンロードすれば並列件数が5000件です。30人なら、15000件。 以上の問題をもって、実験したが、5000件以内は別の機能に性能影響が最も小さい。 三番目の解決案は、一行ずつファイルに出力する、処理後にCSVの該当オブジェクトをNullにして、JVMがメモリー資源を自動的に開放できる 四番目は根拠の問題はMySQLのインデックスに走らなかったです、INの結合句は2000以上であるので。これに対すて、新しくテーブルを作成しました、毎回処理の回数データは「 insert into  new_ table_name(申込ID) select * from  old_ table_d...

同步百万级别以上文件的做法

最近在一个场景下,要同步6百多万个文件,电脑挂机同步了半个月。经过这次实践,实际上、发现根本不需要花那么长时间。 首先先说下文件的构成: 大约1GB的文件大约占0.1% 小于1GB的文件占大约20% 大部分99%文件小于1MB 1、大文件可以充分使用带宽,能够最大发挥带宽的优势。同时也因为要考虑到断点续传,所以分块传输,利用开源软件、挂机同步是必不可少的。 2、小文件,小文件由于无法最大占用带宽,并且单次传输量并不多,平均最大1秒7个。加上文件一致性检查等,小文件花费的时间远远大于大文件同步所需要的时间。 所以建议,所有的小文件可以先通过linux 的命令 find 然后tar 到一个文件里,进行传输。最大地利用带宽。 无奈,我已经同步了14天了,已经不缺这一天了。写这篇文章,也算是警戒下自己多思考,思考!寻找解决问题的最简便方法。 大概的类似于命令: nohup find ./svn -size -1024 |xargs tar -zcf ./svn.tar.gz & 1024是1kb以下的文件。 当然上面地做法有些抱歉,除了没有好的带宽或者适当地云服务器之外可以这么做。

名無しインターネット会社に攻撃

图片
 最近、名無し会社のインターネット構成を研究していますが、プライバシー保護のため、会社情報を公開しませんです。実はこれが昨日の夢です、草。 まず、ソフトウェア開発会社なので、色々なシステムが取引先に使わています、ビッグデータのシステムとか、業界システムとか、先進な技術を使用されています、RedisやRabbitMQなど、色々なセキュリティー問題も持ってきていました。 まず、その会社の名前が知っているだけ、名前をグーグルして、ホームページが見つけました、しかし、価値のある情報がない。「nmap」して、1から65535まで、スキャンしました、同じ結果が出てきました。 困っている時に、外部IPアドレスは1から255までスキャンしました、3日もかかりました、やっとビッグデータのテスト用システムが発見しました、幸いのことにパスワードが「123」です、弱すぎるなー、ログインして、多く情報が発見しました。 システム構成 1、開発言語はJava 2、データベースはMysql 3、CDHクラスターと連携している システムに配置されたユーザーが多いですが、パスワード暗号テキストを取得しました、オープンソースの暗号アルゴリズムじゃくて、乱暴に計算できません。 また一週間を過ごしました、 もう3日ぐらい過ごしました、システムのプロセスが一つずつ研究します、システムプロセスを除いておいて、Javaのプロセスは色々なJarファイルが依存している、ほんとに大変です。 やっとROOT権限を取得しました、もう一回自分のパワーが証明しました。 また二週間ほど研究しました、内部ネットのサーバーが多すぎるので、スキャンのミッションが100時間以上を過ごした、まだ終わってない、この際に、多くのサーバーROOT権限をもらいました。 内部ネットに入りましたが、目標を達成しました、もう一回目標を失われてしまった、困っている際に、IT技術会社に対して、一番大切なことはなにという問題を浮かびました。 もちろん、ソースです!次は会社の管理者にとって、OAサーバーとメールサーバーです。 OK、目標が明確しました、SVNサーバーまたGITサーバー。 SVNサーバーのポートは3690です、GITポートは9418です、一日経過して、みつけた。 1、まず弱くパスワードをチェック、しかし、ダメです。 2、SVNサーバーの分...

在windows 编译 jsvc

图片
一、下载项目 http://commons.apache.org/proper/commons-daemon/jsvc.html 二、安装 cygwin64  https://cygwin.com/install.html gcc-core、gcc-g++、make、gcc-objc、gcc-objc++ 三、开始编译 Cannot find jni_md.h in C:\Program Files\Java\jdk1.8.0_231/Windows_NT ./configure LIBS="C:\Program Files\Java\jdk1.8.0_231\include\win32" ./configure LIBS="/cygdrive/d/Java/jdk1.8.0_231/include/win32" checking for JDK os include directory... Cannot find jni_md.h in D:\Java\jdk1.8.0_231/Windows_NT finally: $ ./configure --with-os-type=/include/win32 四、移动代码文件 五·、编译成功 configure tianq@DESKTOP-GNQ5792 /cygdrive/d/project/work/commons-daemon-1.2.2-src/src/native/unix $ ./configure --with-os-type=/include/win32 *** Current host *** checking build system type... x86_64-pc-cygwin checking host system type... x86_64-pc-cygwin checking cached host system type... ok *** C-Language compilation tools *** checking for gcc... gcc checking whether the C compiler works... yes checking for C compiler default outp...

学会专注!专注!专注!

图片
在这个大数据的年代,专注这种普遍能力倒成为了我最难以学习的东西。面对世界各种各样针对你的各种爱好推荐的经常饱含着免费赠送、免费试用这一类字眼的商品、零食、娱乐、甚至是视频时。如何才能取到你根本性所需要的? 【抖音】这种毒品,不但会根据你点击的播放的视频,浏览习惯,推荐你看过的相似度高的视频,这背后用到了大数据,机器学习,推荐等等技术。为了什么?就是让你上瘾!让你在视频里不能自己,沉迷下去,以至于浪费时间精力做毫无用途的事情。仔细想一下,你在看视频的时候脑袋是不是被动接受的状态,没有思想,如行尸走肉一般。这种状态长时间保持下去会浪费你大把时间与精力! 【youtube】YouTube和抖音类似,都是具有精神毒品一类的平台工具。相比抖音,youtube的话题、视频更加全面,不仅有政治话题,还有人身抨击等。可以说,比抖音更青出于蓝而胜于蓝。 精神鸦片平台如何盈利?最明显的一点即是靠收取广告费。看视频的人越多,插入的广告越多,盈利就越丰富。 如何利用这类平台化为己用?学会一样再学下一样。给自己划期限,划目标,确定一个在什么期限达成一个什么样的成就。然后再看相关视频,切勿看的视频分类太多,影响自己反而导致分心!其实、核心内容就两个。 拒绝 坚持 学不到任何东西即是浪费时间,因为人的大脑有“记忆存储期限”。首先,明确!明确自己需要学习什么,学习什么技能,学习什么才艺?然后在平台上浏览相关的视频,收藏,点赞,以及评论。因为平台会根据你在平台上等等操作,去给你推荐各类视频。若是你看的视频太多,各种各样,当然推荐给你的视频也是五花八门。 兴趣太多并不是好事!反而会限制你! 换句话说,可以根据给你推荐的视频列表,反应出来你是一个什么类型的人。

在Google Cloud Platform(谷歌云平台)使用 Kali Linux 镜像

图片
        创建 kali 镜像需要安装 VirtualBox 虚拟机,并在虚拟机里进行分区、安装操作系统、定制SSH服务开机自启等,一系列的自定义之后便是把虚拟机文件制作成 RAW 格式,把镜像文件压缩成 tar.gz 方式,通过命令上传到谷歌云存储,然后通过命令行创建实例,启动即可。 一、创建 Kali 镜像        这里要选择类型为 Linux,版本为Ubuntu(64-bit) 在内存选项中输入2048,过小的内存会影响使用效果 创建一个10G的虚拟硬盘,存储在本地硬盘 点击【专家模式】可以选择虚拟硬盘文件类型 这里选择QCOW(写入时复制),文件大小为10G。之后点击创建按钮 关闭声音(这个在云平台是不起作用的) 网络改为NAT(准虚拟化网络),有两个NAT,选择可以准虚拟化网络那个 关闭从光驱引导启动。 然后选择你要启动的 ISO 镜像,此镜像不能有任何损坏 二、安装 kali 镜像         安装是一件很简单的事情,特别注意的是分区那一块,这里是一个主分区,主分区是10.7GB。分区不能改变,如果改变则会造成不能安装系统,安装失败的操作。 之所以不使用 Graphical Install,是因为之前有安装失败的例子。 英语,如果你硬要选中文,建议你还是别搞IT了,IT不适合你 这个也是,保持一直 服务器位于美国,选这个就好了 默认 用不到域,空着就行 ROOT 用户密码,你自己的密码 central, 这里特别注意一定要选第四个 对硬盘进行分区,按回车键 选择是,创建一个空的硬盘 再选择,对这个空盘进行分区 创建一个分区 这里默认的是10.7GB即可 主逻辑盘 分区完毕 完成磁盘分区 这里选择NO,即不返回到磁盘分区工具 写入磁盘分区数据,并保存。选择YES 配置包管理器【NO】,以后我们...