V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  MrMike  ›  全部回复第 10 页 / 共 11 页
回复总数  206
1 ... 2  3  4  5  6  7  8  9  10  11  
2017-04-15 18:15:47 +08:00
回复了 MrMike 创建的主题 Python 请教下 supervisor 配置的问题
@ksupertu 已经启动过了。 command 我用 /usr/share/elasticsearch/bin/elasticsearch 也是不能用的。在日志里面也看不到错误提示呢。
2017-04-15 09:29:16 +08:00
回复了 MrMike 创建的主题 Python 请教下 supervisor 配置的问题
@zzlyzq supervisord.conf 用的是默认设置,我没修过过。

[unix_http_server]
file=/tmp/supervisor.sock ; (the path to the socket file)
chmod=0777 ; socket file mode (default 0700)
;chown=nobody:nogroup ; socket file uid:gid owner
;username=user ; (default is no username (open server))
;password=123 ; (default is no password (open server))

;[inet_http_server] ; inet (TCP) server disabled by default
;port=127.0.0.1:9001 ; (ip_address:port specifier, *:port for all iface)
;username=user ; (default is no username (open server))
;password=123 ; (default is no password (open server))

supervisord.log

2017-04-15 08:08:21,706 INFO RPC interface 'supervisor' initialized
2017-04-15 08:08:21,706 CRIT Server 'unix_http_server' running without any HTTP authentication checking
2017-04-15 08:08:21,707 INFO supervisord started with pid 14936
2017-04-15 08:43:04,969 CRIT Supervisor running as root (no user in config file)
2017-04-15 08:43:04,969 INFO Included extra file "/etc/supervisord/conf.d/elasticsearch.conf" during parsing
2017-04-15 08:43:04,980 INFO RPC interface 'supervisor' initialized
2017-04-15 08:43:04,980 CRIT Server 'unix_http_server' running without any HTTP authentication checking
2017-04-15 08:43:04,981 INFO daemonizing the supervisord process
2017-04-15 08:43:04,981 INFO supervisord started with pid 15044

貌似没看出有啥问题呢。也没有报错。
2017-04-15 09:15:19 +08:00
回复了 MrMike 创建的主题 Python 请教下 supervisor 配置的问题
@zzlyzq 文件是存在的。郁闷。。一直找不到原因。
2017-04-15 08:29:46 +08:00
回复了 MrMike 创建的主题 Python 请教下 supervisor 配置的问题
@zzlyzq 我安装完 supervisor 后,在 etc 下面没有 /etc/supervisord 文件夹的,我是自己创建的 /etc/supervisord/con.d/文件夹,然后把 elasticsearch.conf 放在里面。
2017-04-15 08:11:24 +08:00
回复了 MrMike 创建的主题 Python 请教下 supervisor 配置的问题
supervisord -c /etc/supervisord.conf

[root tmp]# ps aux | grep supervisord
root 10926 0.0 0.3 220120 11836 ? Ss Apr14 0:11 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 12554 0.0 0.2 217092 10664 ? Ss Apr14 0:10 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 12564 0.0 0.2 217128 10716 ? Ss Apr14 0:10 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 12575 0.0 0.2 217280 10824 ? Ss Apr14 0:11 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 12764 0.0 0.2 219728 11464 ? Ss Apr14 0:11 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 13844 0.0 0.2 217588 11164 ? Ss 00:11 0:05 /usr/bin/python /usr/bin/supervisord
root 14070 0.0 0.2 216964 9828 ? Ss 01:00 0:04 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 14117 0.0 0.2 217144 10644 ? Ss 01:02 0:04 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 14128 0.0 0.2 217520 11144 ? Ss 01:04 0:04 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 14936 0.0 0.2 216960 9832 ? Ss 08:07 0:00 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root 14938 0.0 0.0 112648 960 pts/0 S+ 08:07 0:00 grep --color=auto supervisord

[root tmp]# supervisorctl
supervisor> reload
Really restart the remote supervisord process y/N? y
Restarted supervisord
supervisor> reread
No config updates to processes
supervisor> update
supervisor> status
supervisor>

已经重启过很多次,还是一样的结果。

下面是 supervisor.conf 和 elasticsearch.conf 的配置内容。

supervisor.conf:

[include]
files = /etc/supervisord/conf.d/elasticsearch.conf

elasticsearch.conf:

[program=sticsearch]
command=systemctl restart elasticsearch.service
;command=/usr/share/elasticsearch/bin/elasticsearch
;directory=/usr/share/elasticsearch
autostart=true
autorestart=true
startsecs=10
startretries=3
redirect_stderr=true
user=root
stdout_logfile=/home/public/log/elasticsearch/elasticsearch-stdout.log
stderr_logfile=/home/public/log/elasticsearch/elasticsearch-stderr.log
2017-03-19 12:15:48 +08:00
回复了 MrMike 创建的主题 Elasticsearch 请教下如何优化设置 elasticsearch。
@sorra
@wayshall 我也查了硬盘空间,都还有 12%的空间呢。 es 需要的空间是如何计算的呢?
2017-03-19 12:14:04 +08:00
回复了 MrMike 创建的主题 Elasticsearch 请教下如何优化设置 elasticsearch。
@wayshall
@sorra

是因为硬盘的空间造成死机的?我在配置里面,还没有开启#path.data: 路径。。刚才试着开启了,倒是 es 不能正常运行。
2017-03-13 12:19:40 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@notgod 非常感谢。项目本身就已经用了 redis 来缓存,只是 redis 和项目在同一个服务器上,因为对它不熟悉,在其他功能上, redis 经常会出错,所以一直没想把数据全部缓存到 redis 上面。我再试试。
2017-03-13 10:52:10 +08:00
回复了 MrMike 创建的主题 PHP 如何优化 doctrine 的查询速度?
@minbaby 批量化查询数据,再比对,这个咋操作,能详细一点么?谢谢哈。
2017-03-13 10:49:38 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@Immortal 数据库结构是:
主表:product ,属性表: product_attribute(product_id 为外链),产品图片表: product_image(product_id 为外链),产品价格表: product_price(product_id 为外链),产品型号表: product_model ,型号表跟主表(product)是一对多的关系,同一个型号,可能因为型号里面的品牌不同,会有不同的产品,所以在主表 product 里面有一个 model_id 字段关联 product_model 表,主表 product 里面还有一个所有者 creator_id 字段,关联当前产品的所有者。
在循环中,需要根据传递的所有者 ID 和型号名称,去查询当前产品是否已经存在数据库中了,同一个用户只能上传一个相同型号的产品。

不知道这样的结构,有没有问题呢?谢谢哈。
2017-03-13 10:19:07 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@herozhang 都是要用的字符串,没有不用的哦。我现在发现,可能是因为在循环里面有数据库的查询的问题。但是又必须要针对数据库进行比对,这个有没有好的解决方案?
2017-03-13 10:16:25 +08:00
回复了 MrMike 创建的主题 PHP 如何优化 doctrine 的查询速度?
@jhdxr 我需要将循环的数据与数据库里的数据进行比对,用 IN ,咋个弄?
2017-03-13 09:42:48 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@herozhang 不是用 js 调用的,直接通过页面提交,然后后台代码执行的
2017-03-13 08:55:26 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@fork3rt 之前用 yield 来测试过的。
2017-03-13 08:55:04 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@fork3rt 现在貌似问题不是出在循环的问题上了,是我循环里面,需要去查询数据库,我用的是 doctrine 的 ORM 类去读取数据库,速度好像跟原生的 sql 查询有点不一样,不晓得是不是这个原因造成的。
2017-03-12 23:00:13 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@Ouyangan 我想让 cron 来自动执行,但是苦于自己对 shell 脚本不熟,只好暂时不花时间在这个上面了。
2017-03-12 22:58:24 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@AbrahamGreyson 之前用过这个,感觉数据不是太多,时间上没有节省多少。现在看来,是循环内,对数据库查询造成的问题了。我已经把代码贴在 11 楼了。
2017-03-12 22:56:58 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@iyaozhen 代码这里:
代码:
$total = count($importData);
$page = intval(ceil($total / $pageNumber));
for ($p = 0; $p < $page; $p++)
{
$start = $p * $pageNumber;
$sliceData = array_slice($importData, $start, $pageNumber, true);
$productSQLValue = false;
foreach ($sliceData as $fieldValue)
{
dump($fieldValue);
// if (!$fieldValue['modelName'] || !$fieldValue['type'] || !$fieldValue['category'])
// continue;
// $categoryID = $this->getProductCategoryID($fieldValue['category']);
// $typeID = $this->getProductTypeID($fieldValue['type']);
// if (!$categoryID || !$typeID)
// continue;
// $model = $this->getModel($fieldValue['brandName'], $fieldValue['modelName']);
// $resourceModel = $model['resourceModel'];
// if ($resourceModel)
// {
// $resourceModel = $resourceModel->getId();
// }
// $product = $this->entityManager->getRepository('DemoProductBundle:Product')->findOneBy(array('creator' => $productCreator, 'model' => $model['productModel']));
// $row = array();
// if ($product)
// {
// $row['id'] = $product->getId();
// $row['sn'] = $product->getSn();
// $row['created'] = $product->getCreated()->format('Y-m-d H:i:s');
// } else {
// $row['id'] = $latestProductID + $pID;
// $row['sn'] = $this->redis->getNumber('product-sku');
// $row['created'] = date('Y-m-d H:i:s');
// $pID++;
// }
// $row['title'] = $fieldValue['title'];
// $row['excerpt'] = $fieldValue['excerpt'];
// $row['description'] = $fieldValue['description'];
// $row['city'] = $this->getProductCityID($fieldValue['originPlace']);
// $row['model'] = $model['productModel']->getId();
// $row['resource_model'] = $resourceModel;
// $row['category'] = $categoryID;
// $row['type'] = $typeID;
// $row['retail_price'] = $fieldValue['retailPrice'];
// $row['status'] = 1;
// $row['modified'] = date('Y-m-d H:i:s');
// dump($row);
// $productSQLValue .= "('". implode("','", $row) . "'),";
}
dump($p);
// dump($productSQLValue);
// dump($sliceData);
dump(date('H:i:s'));

// if ($p > 3)
// break;
}

输出 dump($fieldValue);可以工作
// dump($productSQLValue);如果想输出组合后的 sql,就挂掉了。
2017-03-12 20:21:49 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@forelegance 咋个缓存?我就是想这样,固定循环多条数据,循环一部分,然后再将余下的数组生成一个新的数组再循环,但是现在还是要死掉。
2017-03-12 20:17:20 +08:00
回复了 MrMike 创建的主题 PHP 针对几千条以上的数组,如何循环呢?
@qiayue 我就是要把数组里的数据插入到数据库的。。。
1 ... 2  3  4  5  6  7  8  9  10  11  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5362 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 08:51 · PVG 16:51 · LAX 01:51 · JFK 04:51
Developed with CodeLauncher
♥ Do have faith in what you're doing.